Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

学习大模型请给我一张知识图谱

Answer

以下是为您提供的大模型知识图谱:

  1. 非技术背景,一文读懂大模型
    • 整体架构
      • 基础层:为大模型提供硬件支撑,数据支持等,例如 A100、数据服务器等。
      • 数据层:企业根据自身特性维护的垂域数据,分为静态的知识库和动态的三方数据集。
      • 模型层:LLm 或多模态模型,LLm 即大语言模型,如 GPT,一般使用 transformer 算法实现;多模态模型包括文生图、图生图等,训练所用数据与 llm 不同,用的是图文或声音等多模态的数据集。
      • 平台层:模型与应用间的平台部分,如大模型的评测体系,或者 langchain 平台等。
      • 表现层:也就是应用层,用户实际看到的地方。
  2. AI Agent 系列(二):Brain 模块探究
    • 知识
      • 内置知识
        • 常识知识:包括日常生活中广泛认可的事实和逻辑规则,帮助智能体具备泛化能力。
        • 专业知识:涉及深入特定领域的详细信息,如医学、法律、科技、艺术等领域的专有概念和操作方法。
        • 语言知识:包括语法规则、句型结构、语境含义以及文化背景等,还涉及非文字部分如语调、停顿和强调等。
  3. 大模型入门指南
    • 通俗定义:输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。
    • 类比学习过程
      • 找学校:训练 LLM 需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练大模型。
      • 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。
      • 找老师:用算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。
      • 就业指导:为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。
      • 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。
    • Token:被视为模型处理和生成的文本单位,可代表单个字符、单词、子单词等,在将输入进行分词时,会对其进行数字化,形成词汇表。
Content generated by AI large model, please carefully verify (powered by aily)

References

非技术背景,一文读懂大模型(长文)

首先为方便大家对大模型有一个整体的认知,我们先从大模型的整体架构着手,来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看,目前大模型整体架构可以分为以下几层:[heading3]1.基础层:为大模型提供硬件支撑,数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集,而是企业根据自己的特性,维护的垂域数据。分为静态的知识库,和动态的三方数据集[heading3]3.模型层:LLm或多模态模型[content]LLm这个大家应该都知道,large-language-model,也就是大语言模型,例如GPT,一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型,训练所用的数据与llm不同,用的是图文或声音等多模态的数据集[heading3]4.平台层:模型与应用间的平台部分[content]比如大模型的评测体系,或者langchain平台等,提供模型与应用间的组成部分[heading3]5.表现层:也就是应用层,用户实际看到的地方[content]这个就很好理解了,就不用我多作解释了吧

AI Agent系列(二):Brain模块探究

所以在深入讨论Brain模块的其他功能之前,我们首先需要了解大模型中所蕴含的知识类型。训练大模型其本质上就是将知识进行压缩,没有这些知识,模型是无法进行进一步推理、规划、反思的。[heading3]4.1内置知识[content]知识在大模型中通常被分为两大类。第一类是内置知识,这类知识在模型训练阶段就已经被整合进模型中。我们可以将内置知识进一步细分为三个主要类别:1.常识知识:常识知识包括了日常生活中广泛认可的事实和逻辑规则。这些信息帮助智能体具备了强大的泛化能力,使其在不进行特殊指导下也能进行基本的推理和判断。例如,它包括季节变化、物体的基本物理属性、社会行为准则等。这类知识对于构建智能体的世界观极为重要,使其能够在多种常见场景下作出符合逻辑的反应。1.专业知识:与常识知识不同,专业知识涉及深入特定领域的详细信息。这包括但不限于医学、法律、科技、艺术等领域的专有概念和操作方法。例如,在医学领域中,智能体需要了解疾病症状、治疗方法和药物作用机制;在法律领域,则需掌握法律条文、案例判例及其应用方式。这些专业知识使智能体在特定咨询或操作时更加精准有效。1.语言知识:语言是人类沟通的基础,对智能体同样重要。语言知识不仅仅是单纯的单词意义理解,更包括语法规则、句型结构、语境含义以及文化背景等。智能体通过这些复杂的语言系统来解析和生成自然语言,从而与人类进行有效交流。此外,语言知识还涉及到非文字部分如语调、停顿和强调等,这些都是理解和生成自然对话不可或缺的部分。

大模型入门指南

通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

Others are asking
RAG和知识图谱的结合,需要如何实现
要实现 RAG 和知识图谱的结合,可以参考以下步骤: 1. 数据加载:根据数据源的类型选择合适的数据加载器,如对于网页数据源,可使用 WebBaseLoader 利用 urllib 和 BeautifulSoup 加载和解析网页,获取文档对象。 2. 文本分割:依据文本特点选用合适的文本分割器,将文档对象分割成较小的文档对象。例如,对于博客文章,可使用 RecursiveCharacterTextSplitter 递归地用常见分隔符分割文本,直至每个文档对象大小符合要求。 3. 嵌入与存储:根据嵌入质量和速度选择合适的文本嵌入器和向量存储器,将文档对象转换为嵌入并存储。比如,可使用 OpenAI 的嵌入模型和 Chroma 的向量存储器,即 OpenAIEmbeddings 和 ChromaVectorStore。 4. 创建检索器:使用向量存储器检索器,传递向量存储器对象和文本嵌入器对象作为参数,创建用于根据用户输入检索相关文档对象的检索器。 5. 创建聊天模型:根据模型性能和成本选择合适的聊天模型,如使用 OpenAI 的 GPT3 模型,即 OpenAIChatModel,根据用户输入和检索到的文档对象生成输出消息。 此外,通用语言模型通过微调能完成常见任务,而对于更复杂和知识密集型任务,可基于语言模型构建系统并访问外部知识源。Meta AI 研究人员引入的 RAG 方法把信息检索组件和文本生成模型结合,能接受输入并检索相关文档,组合上下文和原始提示词送给文本生成器得到输出,适应事实变化,无需重新训练模型就能获取最新信息并产生可靠输出。Lewis 等人(2021)提出通用的 RAG 微调方法,使用预训练的 seq2seq 作为参数记忆,用维基百科的密集向量索引作为非参数记忆。
2025-03-28
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图、三元组等。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱产品
知识图谱(Knowledge Graph,KG)是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。 知识图谱于 2012 年 5 月 17 日被 Google 正式提出,其初衷是为了提高搜索引擎的能力,增强用户的搜索质量以及搜索体验。知识图谱可以将 Web 从网页链接转向概念链接,支持用户按照主题来检索,实现语义检索。 知识图谱的关键技术包括: 1. 知识抽取:通过自动化的技术抽取出可用的知识单元,包括实体抽取(命名实体识别(Named Entity Recognition,NER)从数据源中自动识别命名实体)、关系抽取(从数据源中提取实体之间的关联关系,形成网状的知识结构)、属性抽取(从数据源中采集特定实体的属性信息)。 2. 知识表示:属性图、三元组。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,达到数据、信息、方法、经验等知识的融合,形成高质量知识库。包括实体对齐(消除异构数据中的实体冲突、指向不明等不一致性问题)、知识加工(对知识统一管理,形成大规模的知识体系)、本体构建(以形式化方式明确定义概念之间的联系)、质量评估(计算知识的置信度,提高知识的质量)、知识更新(不断迭代更新,扩展现有知识,增加新的知识)。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。
2025-03-21
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图和三元组。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-03-21
知识图谱构建
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱构建的关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,如实体抽取(命名实体识别)、关系抽取(提取实体间关联关系)、属性抽取(采集特定实体的属性信息)。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐(消除实体冲突等不一致性问题)、知识加工(统一管理知识)、本体构建(明确定义概念联系)、质量评估(计算知识置信度)、知识更新(迭代扩展知识)。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 LLM 落地思考方面,NLP 与知识图谱是主要的落地类型,但存在一些问题。如实现某个 NLP 任务时,需要大量人工标注和长时间训练,交付后较难新增意图和泛化任务,有时使用句式规则方式更好维护更新;构建知识图谱复杂,需与行业专家深度讨论,预见企业长远业务发展制定 schema,周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升,带来更好更多的落地可能。 在以问题驱动的 AI+内容创作中,随着学习深入,可使用大模型帮助构建和扩展知识图谱。
2025-02-27
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图和三元组。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-02-27
阶跃星辰、通义千问、Gemini三个视频理解模型哪个收费更便宜
以下是阶跃星辰、通义千问、Gemini 三个视频理解模型的收费情况: 阶跃星辰:输入价格为 0.005~0.015 元/千 tokens,输出价格为 0.02~0.07 元/千 tokens。 通义千问:Qwenvlplus 模型调用价格为 0.008 元/千 tokens,训练价格为 0.03 元/千 tokens。 Gemini 未提及收费信息。 综上,从已有的信息来看,通义千问的收费相对可能更便宜,但具体还需根据您的使用情况和需求来判断。
2025-04-10
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10
200万字大模型
以下是关于大模型的相关信息: 4 月 6 日的 XiaoHu.AI 日报中提到:支持文本+图像+视频输入,采用 early fusion 技术整合多模态数据。Scout 支持 1000 万上下文,适合处理超长文本和复杂推理任务;Maverick 有 100 万上下文,长记忆优势适配多场景替代 RAG;Behemoth 是 2 万亿参数级别的大模型在训,已超越 GPT4.5 在 STEM 表现。相关详细介绍及评测的链接为: 。 在质朴发言:大模型未来发展:RAG vs 长文本,谁更胜一筹?|Z 沙龙第 8 期中提到:随着大模型上下文窗口长度不断增加,各个厂商对于文本生成模型呈现出“军备竞赛”的态势。目前,主流的文本生成模型是聊天模型,比如 GPT、Claude 3 等,也有少部分 Base 模型,例如 Yi34 开源模型。两位技术研究人员分享了他们对于大模型的看法:用户使用最多的是 GPT,但对外开放的版本性能较差,用户交互端无法传输大文件,只能通过 API 接口上传。月之暗面的 Kimi 模型大海捞针测试分数很高,但实际使用效果没有达到理想状态。百川 192K 的闭源模型,对于 6 万字的长文本,其表现的推理能力和回答效果很优秀。各种长文本的跑分数据,最高的是 Claude 3 模型。
2025-04-09
长文本模型有哪些
以下是一些常见的长文本模型: 1. 聊天模型:如 GPT、Claude 3 等。 2. Base 模型:例如 Yi34 开源模型。 3. 百川 192K 的闭源模型,对于 6 万字的长文本,其推理能力和回答效果优秀。 4. 通义千问的 Qwen2.51M 大模型,推出 7B、14B 两个尺寸,在处理长文本任务中稳定超越 GPT4omini,且开源推理框架在处理百万级别长文本输入时可实现近 7 倍的提速。 5. 文心一言 4.0、智谱清言、KimiChat 等国产大模型在长文本归纳总结能力方面也有所涉及。
2025-04-09
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍: 基本名词: 1. 过拟合&欠拟合:过拟合和欠拟合都是不好的现象,需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等,过拟合可减少训练集素材量,欠拟合则增加训练集素材量。 2. 泛化性:泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性,解决办法与过拟合和欠拟合类似,从训练集、正则化、训练参数等方面调整。 3. 正则化:是解决过拟合和欠拟合情况、提高泛化性的手段,给模型加规则和约束,限制优化参数,有效防止过拟合,提高模型适应不同情况的表现和泛化性。 方法: 1. 全面充分采集训练素材:例如在角色训练素材中,应包含各种角度、表情、光线等情况的素材,确保模型具有较好泛化性。 2. 图像预处理:对训练素材进行分辨率调整、裁切操作,并对训练集进行打标签处理。 3. 参数调优:尽量将训练时长控制在半小时左右,过长易导致过拟合,通过调整参数控制时长。 4. 观察学习曲线:通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理:测试训练好的模型,观察过拟合和欠拟合问题,进一步通过调整训练素材和正则化等手段优化。 此外,在模型训练中还需注意: 1. 数据集获取渠道:可通过网上收集、购买、使用无版权问题的如古画等,原则是根据生成图的需求找对应数据集,要清晰、主体元素干净、风格统一。 2. 数据集处理:包括基础处理如裁剪保证清晰和分辨率,更重要的是写标注。 3. 设置模型触发词:可自定义,完整形式可以是一句话,建议以王 flags 模型为主。 4. 统一标注风格与应用场景:例如未来高科技 3D 天然风格,用于互联网首页图像等,并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核:让 GPT 按要求描述,人工审核修改。 6. 模型训练的准备与流程:完成数据集描述后进入训练流程,选择模型训练分类和数据集,创建并上传数据集压缩包,注意数据名与图片命名一致。选择训练模式和参数,新手选用普通基础模式,训练集质量重要,训练参数中总步数与训练集图片数量相关,触发词设定要避免概念混乱。
2025-04-09
PPT生成模型
以下是为您整理的关于 PPT 生成模型的相关信息: 已备案的 PPT 生成模型有: iSlidePPT 合成算法:由成都艾斯莱德网络科技有限公司提供,应用于 PPT 生成场景,根据用户输入的 PPT 主题生成符合需求的 PPT 文件,备案编号为网信算备 510107114657401240015 号,备案日期为 2024 年 2 月 18 日。 关于 AI 生成文字的原理: 神经网络大模型根据输入的文字预测下一个字,不是一次性输出整段,而是通过反复调用模型一个字一个字地续写,直到输出结束符号。其输出不是一个确定的字,而是所有字的概率,可选择概率高的字作为输出结果,也可随机挑选。这种方式可拓展到图像、声音等领域,只要定义好“下一个”的信号即可。 关于 SD 入门讲解 PPT: 主模型后缀一般为.ckpt 或者.safetensors,体积较大,在 2G 7G 之间,管理模型需进入 WebUI 目录下的 models/Stablediffusion 目录。在使用 WebUI 时左上角切换主模型。safetensors 支持各种 AI 模型,具有足够安全、防止 DOS 攻击、加载迅速、支持懒加载、通用性强等优势,现在大部分开源模型会提供这种格式。
2025-04-09
知识空间
以下是关于知识空间的相关介绍: LangGPT 提示词知识空间: 这里汇集了高质量的提示词工程技术、教程和工具相关内容。 内容来源于 LangGPT 提示词社群,社群内汇聚了大批提示词爱好者,群内讨论气氛热烈,交流质量高,在主要大城市建立了提示词交流小分队。 具有开源、开放、共享、共建的特点: 开源:知识空间内的文档阅读、复制无限制,但请勿搬运。 开放:欢迎加入“LangGPT 社群”分享交流 Prompt 工程技术。 共享:群里的优质资源和知识会吸收进知识空间开放共享。 共建:欢迎投稿优质内容,成为共建者(私信江树,微信:zephyr_ai)。 权益声明:开源不代表可以随意搬运,未经授权禁止搬运内容。 知识库文章索引包括: 《通往 AGI 之路》知识空间: 旨在提供全面系统、易于理解的 AI 学习路径,帮助了解 AI 从概念到应用等各方面知识,引发思考“我可以用 AI 做什么,帮助自己更强大”。 相关链接: 直播回放:https://www.bilibili.com/video/BV1QN411j719/ 欢迎订阅 X(Twitter):https://twitter.com/WaytoAGI 最新知识库精选同步:(小红书)
2025-04-10
知识库
以下是关于知识库的相关内容: 在 Coze 中配置知识库: 智能体中配置知识库:创建好知识库后,在 Coze 主页的个人空间>项目开发中,打开需要添加知识库的智能体,可选择配置“文本”、“表格”、“照片”三种知识库。以配置文本知识库为例,点击加号选择提前创建好的知识库并添加。之后配置提示词,让智能体自动使用知识库回答问题,可点击右上角“优化”自动优化提示词。最后在“预览与调试”中测试智能体是否正常调用知识库。 【智能体】创建智能体的知识库: 手动清洗数据:创建画小二课程的 FAQ 知识库,飞书在线文档中每个问题和答案以分割,可选择飞书文档、自定义等进行操作,添加 Bot 后在调试区测试效果。 本地文档:对于本地 word 文件,注意拆分内容以提高训练数据准确度,按章节进行人工标注和处理,然后选择创建知识库自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能搜到。 知识库概述: 扣子提供了几种存储和记忆外部数据的方式,以便 Bot 精准回复用户。知识库是大量知识分片,通过语义匹配为模型补充知识,如车型数据中每个分段保存一种车型基础数据。同时还介绍了数据库、AI 便签、单词本等相关内容。
2025-04-10
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
如何打造个人知识库
以下是关于如何打造个人知识库的相关内容: 使用 GPT 打造个人知识库: 1. 利用 embeddings 技术:将文本转换成向量(一串数字),可理解为索引。把大文本拆分成若干小文本块(chunk),通过 embeddings API 转换为 embeddings 向量并保存,当用户提问时,将问题也转换为向量,比对查找距离最小的几个向量对应的文本块,与问题组合成新的 prompt 发送给 GPT API。 例如,对于一篇万字长文拆分成多个文本块,如“文本块 1:本文作者:越山。xxxx。”等,当提问“此文作者是谁?”,通过比较 embeddings 向量可提取关联度高的文本块。 2. 理解 embeddings:embeddings 是浮点数字的向量(列表),向量之间的距离衡量关联性,小距离表示高关联度。例如,“猫”和“狗”距离近,与“汽车”距离远。 3. 注意 GPT3.5 一次交互支持的 Token 数量有限,OpenAI 提供了 embedding API 解决方案。 此外,张翼然在“AI 引领未来课堂的探索与实践”中提到: 1. 学习有效收集、整理和检索信息来打造个人知识库。 2. 进行知识管理,通过实际操作体验工具在教学准备和科研中的应用。 3. 例如: 早晚速读朋友圈文章。 编写小代码、小脚本。 转换数据并呈现。 从图像和图形中提取数据。 翻译、改换风格。 总结视频内容。 私人导师,探究问题。 分新闻、观点、访谈、论文翻译来进行提炼。 用通义听悟整理录音笔记(https://tingwu.aliyun.com)。 用 React 实现选中即解释。 在本机跑大语言模型工具(https://ollama.com)。 选词翻译、解读、拓展(https://snapbox.app)。 与各种 AI 机器人聊天(https://opencat.app、https://chathub.gg/、https://www.elmo.chat/)。 用 Downie 下载视频或用 OBS 录制视频文件,开源免费屏幕录制工具 OBS 下载地址(https://obsproject.com/),Mac 用 Downie,Windows 推荐 IDM 淘宝数码荔枝店购买,用 losslessCut 快速切块。
2025-04-10
单独调用知识库
以下是关于知识库的相关内容: 创建并使用知识库: 在 Bot 内使用知识库: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项,包括最大召回数量(Bot 在调用知识库匹配用户输入内容时,返回的数据片段数量,数值越大返回的内容越多)、最小匹配度(Bot 在调用知识库匹配用户输入内容时,会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度,则不会被召回)、调用方式(自动调用:每轮对话将自动从所有关联的知识库中匹配数据并召回;按需调用:需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法,以约束 Bot 在指定时机从知识库内匹配数据)。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 Coze 打造 AI 私人提效助理实战知识库: 在上述步骤中创建好知识库后,就可以在智能体中配置知识库了。在 coze 主页,个人空间 > 项目开发中,打开一个需要添加知识库的智能体,可以选择配置“文本”、“表格”、“照片”三种知识库。下面以配置文本知识库作为例子。点击加号,选择在 1.3 中已经提前创建好的知识库,点击添加。下一步就是配置提示词,让智能体自动使用知识库回答问题。在进行大概地描述以后,点击右上角“优化”,可以自动优化提示词,获得更好的结果。最后,在网页最右方的“预览与调试”中,测试智能体是否正常调用知识库。 集合 Deepseek 提示词方法论: DeepSeek R1 提示词系统完全指南: 三、进阶控制技巧: 1. 思维链引导:分步标记法(请逐步思考:1. 问题分析→2. 方案设计→3. 风险评估)、苏格拉底式追问(在得出最终结论前,请先列举三个可能存在的认知偏差)。 2. 知识库调用:领域限定指令(基于 2023 版中国药典,说明头孢类药物的配伍禁忌)、文献引用模式(以 Nature 2022 年发表的论文为参考,解释 CRISPR Cas9 最新突破)。 3. 多模态输出。 四、高级调试策略: 1. 模糊指令优化: 问题类型:宽泛需求,修正方案:添加维度约束,示例对比:原句:"写小说"→修正:"创作以 AI 觉醒为背景的悬疑短篇,采用多视角叙事结构"。 问题类型:主观表述,修正方案:量化标准,示例对比:原句:"写得专业些"→修正:"符合 IEEE 论文格式,包含 5 项以上行业数据引用"。 2. 迭代优化法: 1. 首轮生成:获取基础内容。 2. 特征强化:请加强第三段的技术细节描述。 3. 风格调整:改用学术会议报告语气,添加结论部分。 4. 最终校验:检查时间逻辑一致性,列出可能的事实性错误。
2025-04-09
我想找一个可以把服装图片用ai的方式直接‘穿’在另一张图片的模特身上
以下是两种可以将服装图片用 AI 的方式“穿”在另一张图片的模特身上的方法: 方法一:使用 ComfyUI GeminiAPI 1. 在 Google 的 AI Studio 申请一个 API key(需要网络环境),有免费的额度,网址为:https://aistudio.google.com/apikey?hl=zhcn 。 2. 安装相关依赖,根据使用的情况选择手动安装(如果使用 ComfyUI 便携版或自己的 Python 环境)或通过 ComfyUI Manager 安装。 手动安装:安装相关依赖。 通过 ComfyUI Manager 安装:在 ComfyUI 中安装并打开 ComfyUI Manager,在 Manager 中搜索“Gemini API”,然后点击安装按钮。 方法二:使用【SD】 1. 进行 SAM 模型分割:来到图生图中,提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为 1。 2. 处理可能出现的问题:如蒙版区域较大导致的衔接问题,可以通过降低重绘幅度或添加一个 openpose 来控制人物的身体,得到正确的姿势。 3. 选择合适的重绘功能:除了使用图生图的局部重绘,还可以使用 controlnet 的局部重绘功能,控制模式选择“更注重提示词”,具体效果可自行试验选择。
2025-04-09
如何让一张卡通人物动起来
要让一张卡通人物动起来,可以参考以下几种方法: 1. 使用 AnimateX :类似 Animate Anyone,输入角色图片和参考动作序列,即可实现角色动画,尤其适配拟人化的角色。 2. 借助 Pika : 账号注册:访问完成免费注册。 素材整理: 视频:准备一段视频,可手机实拍,≥5 秒,生成时会自动截取前 5 秒,横屏/竖屏均可(建议 1080p 以上)。 图片:准备一张主体清晰无遮挡的角色图片,生成的视频中将参考此图片的角色并融入视频。 文案思路:提前构思角色动态关键词(如“奔跑/挥手/发光”),也可让模型自由发挥。 3. 运用即梦进行图生视频:只需上传图片至视频生成模块,用简单提示词描绘画面中的动态内容,能生成时长为 3 秒钟的画面,运镜类型可根据剧本中的镜头描绘设置,以随机运镜为主,生成速度可选择慢速。 此外,在制作过程中,还可以像桂大羊的教程那样,通过描绘人物的提示词、上传角色参考图、扣除角色背景以便于进行角色加背景的融合生成时进行垫图操作等方式,提高人物和场景的融合度。
2025-03-30
用什么AI可以把一张图重新制作成另一张图
以下是一些可以将一张图重新制作成另一张图的 AI 工具和相关知识: 1. Stable Diffusion: 图生图功能:上传图片后,它会根据您的图片、选择的模型、输入的 prompt 等信息进行重绘。重绘幅度越大,输出的图和输入的图差别就越大。 尺寸:需注意选择合适的图片生成尺寸,太小可能导致 AI 生成内容有限,太大则可能使 AI 失控。 采样算法:决定了 AI 用何种算法生图。 采样次数:调整图片内容的次数,并非越多越好,过多可能效果提升不明显且耗时增加。 提示词相关性:影响图像与 prompt 的匹配程度,过高可能导致图像质量下降。 随机种子 seed:固定种子可对图片进行“控制变量”操作,首次生成图时无需设置。 Clip Skip:一般设为 2,早期无需过多关注。 ENSD:eta 噪声种子增量,默认设为 0 即可。 例如,将一幅图再次放入以图生图中,通过 DeepBooru 反推关键词,并使用新的大模型和 LORA 进行重新生成,可以改变图片风格。但生成的图可能存在细节瑕疵,需要不断调整参数或借助 PS 修补。 此外,在全国首例 AI 生成图片著作权案例中,法官认定利用 Stable Diffusion 等工具,根据使用者输入的提示词、增删修改相关参数生成的具有独创性和智力投入的图片属于美术作品,受到著作权保护,使用者享有生成图片的著作权。
2025-03-24
生成一张图片,把楼顶的裂缝做成人体表皮的感觉,冒着微红的血液,有施工工人正在刷涂料修补这个伤口
很抱歉,暂时无法直接为您生成这样的图片。但您可以使用一些 AI 绘画工具来尝试实现,比如 DALL·E2、StableDiffusion 等。您可以在这些工具中输入详细的描述,如“楼顶的裂缝呈现人体表皮的质感,冒着微红的血液,有施工工人正在刷涂料修补这个伤口”,然后通过不断调整参数和提示词来获得您期望的效果。
2025-03-21
做一张图片一只巨大的手稳稳托着一座房子,房子上有人正在努力施工补修裂缝,天空中倾盆而下瓢泼大雨
很抱歉,暂时无法为您生成您所描述的这张图片。但您可以使用一些 AI 绘画工具来实现,比如 DALL·E2、StableDiffusion 等。您可以在这些工具中输入详细的描述关键词,如“巨大的手稳稳托着一座房子,房子上有人正在努力施工补修裂缝,天空中倾盆而下瓢泼大雨”,来尝试生成您想要的图片。
2025-03-21
做一张图片有内涵的图片一只大手托着一座房子,房子上有人在施工补修裂缝,天空下着瓢泼大雨
很抱歉,暂时无法直接为您生成这样一张图片。但您可以使用一些 AI 绘画工具来实现,比如 DALL·E2、StableDiffusion 等。您可以在这些工具中输入详细的描述,如“一只巨大的手稳稳托着一座房子,房子上有人正在努力施工补修裂缝,天空中倾盆而下瓢泼大雨”,然后通过不断调整参数和尝试,来获得您想要的有内涵的图片。
2025-03-21