Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

构建知识库有什么要注意的？

Answer

构建知识库时需要注意以下几点：

  1. 在使用在线检索流程生成结果时：
    • 重排序的结果通常因大模型上下文有限制而不会都被使用，可以设置阈值进行截断，如只使用前 3 - 5 个文档，或只取相关性分数大于某个值的文档。
    • 一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限空间内包含更多相关信息。
  2. 对于后置处理，可能包括敏感内容检测和移除、格式化输出等。
  3. 创建智能体的知识库时：
    • 手动清洗数据可提高准确性，如创建画小二课程的 FAQ 知识库时，飞书在线文档中每个问题和答案以###分割。
    • 对于本地文档，不能一股脑全部放进去训练，应先放入大的章节名称内容，再按固定方式细化处理。
  4. 使用 Coze 搭建知识库时：
    • 文档的分片策略会严重影响查询结果，RAG 方案存在跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等问题。

希望以上内容对您有所帮助。

Content generated by AI large model, please carefully verify (powered by aily)

References

胎教级教程：万字长文带你理解 RAG 全流程

从用户提出问题开始：我们经历了用户问题的理解根据用户问题进行路由进行初步的检索对初步检索的结果进行重排序现在终于要到了生成结果的时候了，这个环节的流程可以简化如下：将重排序后的结果和用户的查询意图组合成上下文输入给大模型大模型通过指定的提示词生成输出结果这个环节理解起来很简单，但是同样有几个需要注意的点重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制可以设置一个阈值进行截断，比如只使用前3-5个文档可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档一些先进的RAG系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。[heading3]后置处理[heading3][content]在大模型输出结果后就是一些后置的处理了，这可能包括敏感内容检测和移除格式化输出.....这些不是本文的重点，我们就不再这里展开了至此，关于普通的RAG的原理基本就全部讲完了，非常感谢你能耐心看到这里！这里我再引用智谱清言的一张图给大家复习，看完上述流程，我理解这张图理解起来更容易

【智能体】让Coze智能体机器人连上微信和微信群详细配置文档

本次创建知识库使用手动清洗数据，上节课程是自动清洗数据：[【智能体】用Coze在微信里搭建一个机器人，还能挖掘销售线索](https://a1i1hjmvcf0.feishu.cn/docx/JSdDd8ybLo7OHqxmePwcHlbLn3b?from=from_copylink),自动清洗数据会出现目前数据不准的情况，本节视频就尝试使用手动清洗数据，提高数据的准确性。[heading3]3.1在线知识库[content]点击创建知识库，创建一个画小二课程的FAQ知识库知识库的飞书在线文档，其中每个问题和答案以###分割，暂时不要问为什么。选择飞书文档选择自定义的自定义输入###然后他就将飞书的文档内容以###区分开来，这里可以点击编辑修改和删除。点击添加Bot添加好可以在调试区测试效果[heading3]3.2本地文档[content]本地word文件，这里要注意了~~~如何拆分内容，提高训练数据准确度，将海报的内容训练的知识库里面画小二这个课程80节课程，分为了11个章节，那训练数据能不能一股脑全部放进去训练呢。答案是~~不能滴~~~正确的方法，首先将11章的大的章节名称内容放进来，如下图所示。章节内详细内容格式如下如所示，如果你再分节的内容，依次类推细化下去。每个章节都按照这种固定的方式进行人工标注和处理然后选择创建知识库自定义清洗数据，这里不再赘述。[heading3]3.3发布应用[content]点击发布确保在Bot商店中能够搜到，如图所示可以搜索到画小二智能小助手，这个很重要，没有通过发布的获取不到API的。

大圣：胎教级教程：万字长文带你使用Coze打造企业级知识库

这里我使用一款名为外贸大师产品的帮助文档进行演示。其帮助文档的地址为：[外贸大师使用秘籍·Yuque](https://www.yuque.com/charlotteyang/lbvyfu)为了简单，我选择其中一个文档来创建知识库：[购买后新人常见问题汇总·语雀](https://www.yuque.com/charlotteyang/lbvyfu/gvzs7qt313zg0svr)1.点击创建知识库1.从知识库中添加知识单元为了更好的检索效果，这个例子里使用Local doucuments的方式，并且上传的Markdown格式文档首先看下文档数据的格式：每个问题都是使用###作为开头（这是Markdown的语法）准备开始上传文件至此，一个完整的知识库就构建完成啦！接下来我们就可以去创建我们的产品资料问答机器人特别需要注意的是：文档的分片策略会严重影响查询的结果，这是当前RAG自身的方案原理导致的。基于Coze的知识库问答是典型的RAG方案，其重要一环就是文档切片（Segment）。然而，不管是单分片是800 token还是2000 token，都显著暴露了RAG方案的缺点：跨分片总结和推理能力弱。这是基于RAG方案自身原理导致的。文档有序性被打破。这是基于RAG方案自身原理导致的。表格解析失败。最后一点很诧异。虽然在业内把PDF解析为结构化文本，本就是一个难题。但是Coze对PDF的解析结果甚至不如直接用pypdf这个开源Python组件解析的效果好。说明Coze这个产品对细节的打磨还不够好。在这里我们不讨论如何组织文档形式，从而可以更好的分片。后面我会专门研究这块，并产出教程。

Others are asking
我是一位程序开发小白，不会用代码开发程序。我现在有一台安装Window 11操作系统的笔记本电脑，配置为14代i7CPU、32G内存、1TB硬盘、1张RTX4070显卡。我想部署一套本地的大模型＋智能体＋知识库。我要怎么样才能实现无代码部署，请列出详细的安装步骤。
以下是为您提供的无代码部署本地大模型、智能体和知识库的详细安装步骤： 1. 硬件评估：您的笔记本电脑配置为 14 代 i7 CPU、32G 内存、1TB 硬盘、1 张 RTX4070 显卡，基本满足部署要求。但需要注意，运行内存最低 32GB，越高越好，最低配可能会经常爆显存。建议将软件和模型部署在 SSD（固态硬盘）上，以提高加载模型的速度。 2. 选择合适的部署工具：ComfyUI 是一个相对配置要求较低、系统资源占用少、出图速度快的工具。它最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。 3. 安装准备：如果您的电脑能顺畅清晰地玩 3A 游戏，那么运行相关部署工具一般也没问题。 4. 预算和需求：根据您的需求和预算来选择合适的配置。例如，如果有做 AIGC 视频、建模渲染和炼丹（lora）的需求，可能需要更高的配置。 请注意，以上步骤仅为参考，实际部署过程可能会因具体情况而有所不同。
2025-03-26
flowith知识库的用法
Flowith 知识库的用法包括以下方面： 1. 拆解创作任务： 将复杂的创作任务拆解到合适的颗粒度，为 AI 提供指导，例如拆解创作“科幻预见未来”的步骤。 明确关键任务节点和围绕其展开的主线任务。 2. 建立定向知识库： 将相关内容导入到 flowith 的知识花园中作为 AI 可调用的知识库，例如将《梦想与颠覆》卡牌的相关内容转化为文字上传。 打开智能拆分模式，让 AI 自动分析和优化拆分逻辑，形成知识“种子”。 激活知识库后，AI 会启用知识关联功能，使输出内容更具针对性。 可以发布或分享自己的知识库，也可在知识市场中使用他人的。 3. 构建知识库： 选择“Manage Your Knowledge Base”进入知识库管理页面。 点击左上角的加号添加新的知识库，并起一个便于分辨的名字。 点击添加文件，建议使用 Markdown 格式的文件。 等待 Flowith 处理文件。 4. 选择知识库提问： 在页面左侧可看到检索资料的来源，并可点击显示按钮展现所有原始信息。 Flowith 可以进行“可视化”的追问，能明确看到问答之间的序列关系。 可以在画布上平行提问，默认延续前面的问题，鼠标点击画布其他部分可新开问题。 不同的提示词面对同样的上下文会有不同结果，详细和强化的提示词能使答案更聚焦、详细。
2025-03-26
用扣子的时候怎么让大模型严格按照知识库内容进行输出
以下是关于让大模型严格按照知识库内容进行输出的相关信息： 扣子的知识库功能强大，可上传和存储知识内容，提供多种查找方法。在智能体中使用知识库，收集相关内容，当智能体回答用户时会先检索知识库，使回复更准确。 在“掘金 x 扣子 Hackathon 活动 深圳站”的总冠军工作流中，对于用户向小说人物角色的提问，通过一系列节点，包括开始节点接收问题、知识库节点检索、大模型节点生成答案等，本质上是一个根据用户 query 进行检索增强生成（RAG）的任务，每个工作流中都嵌入了知识库节点，维护了如小说合集等知识库。 大模型节点是调用大语言模型，使用变量和提示词生成回复。按需选择基础版或专业版模型，基础版支持扣子预设的一批模型资源，专业版除默认添加的豆包模型外，还支持按需接入火山引擎方舟平台的模型资源。模型选择右下角生成多样性可从多个维度调整不同模型在生成内容时的随机性，有精确模式、平衡模式和创意模式等预置模式。输入方面，开启智能体对话历史后，上下文信息将自动携带进入大模型，参数名可随意设置但建议有规律，变量值可引用前面链接过的节点的输出或进行输入。
2025-03-26
是什么类似本地知识库的模型
本地知识库相关的模型主要涉及 RAG（Retrieval Augmented Generation，检索增强生成）技术。以下是对 RAG 技术的详细介绍： 背景：大模型的训练数据有截止日期，当需要依靠不在训练集中的数据时，RAG 技术发挥作用。 过程： 文档加载：从多种来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据以及代码等。 文本分割：把文档切分为指定大小的块。 存储：包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：把问题及检索出来的嵌入片提交给 LLM，生成更合理的答案。 如果想要对本地知识库进行更灵活的掌控，可以使用额外的软件 AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 选择大模型。 2. 选择文本嵌入模型。 3. 选择向量数据库。 在 AnythingLLM 中有 Workspace 的概念，可以创建独有的 Workspace 与其他项目数据隔离。构建本地知识库的步骤包括： 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 4. 测试对话。 在一个政府政策问答的项目实践中，由于传统智能问答产品在政策咨询方面存在困难，而大模型具有诸多优势，选择 LangChainChatchat 框架构建政策文档的本地知识库，实现基于本地知识库内容生成回答，为用户提供政策问答和解读服务。
2025-03-26
你这个知识库和检索是用什么搭建的？
我们的知识库和检索主要基于以下原理和流程搭建： 1. 文本预处理：包括去除无关字符、标准化文本（如将所有字符转换为小写）、分词等，以清洁和准备文本数据。 2. 嵌入表示：将预处理后的文本（词或短语）转换为向量。通常通过使用预训练的嵌入模型，如 Word2Vec、GloVe、BERT 等，将每个词或短语映射到高维空间中的一个点（即向量）。 3. 特征提取：对于整个问题句子，可能应用进一步的特征提取技术，比如句子级别的嵌入，或使用深度学习模型（如 BERT）直接提取整个句子的表示，以捕捉句子的上下文信息。 4. 向量优化：在某些情况下，问题的向量表示可能会根据具体任务进行优化，例如通过调整模型参数来更好地与检索系统的其他部分协同工作。 在知识库检索阶段： 1. 首先需要有一个知识库。在大模型的检索中，并非依靠传统的关键字搜索，而是依靠问题在空间中的向量位置，去寻找距离这个向量最近的其他词句，然后完成检索。 2. 要在向量中进行检索，我们的知识库会被转化成一个巨大的向量库。具体流程包括文档向量化、文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）以及输出（把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起生成更加合理的答案）。
2025-03-25
我想搭建个人rag知识库，实现本地化部署，可以调用本地大模型去分析知识库的内容进行解答
以下是搭建个人 rag 知识库并实现本地化部署，调用本地大模型分析知识库内容进行解答的详细步骤： 一、通过 Open WebUI 使用大模型 1. 访问相关网址，使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题，这是构建知识库的基础之一）。 3. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现与大模型对话。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。 二、本地知识库进阶 1. 若要更灵活掌控知识库，需使用额外软件 AnythingLLM，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 2. 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 3. 在 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。 三、RAG 是什么 利用大模型搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括非结构化、结构化数据及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 文本加载器是将用户提供的文本加载到内存中，便于后续处理。
2025-03-25
flowith根据自然语言构建一个直接使用的工作流吗，如何向flowith提出要求
Flowith 可以根据自然语言构建工作流。即使没有专业编程技能，只要能用清晰的自然语言描述出想要的各个 Agents 具备的行为和功能，就可以快速制作多 Agents 应用或创建代理式工作流。 使用工作流的步骤如下： 1. 配置工作流： 在 Code 节点内使用 IDE 工具，通过 AI 自动生成代码或编写自定义代码逻辑，来处理输入参数并返回响应结果。 该节点支持 JavaScript、Python 运行时，需注意不同运行时的特定事项。 可在 IDE 底部单击尝试 AI，并输入自然语言设定代码逻辑，也可选中代码片段通过快捷键唤起 AI 并输入自然语言让其修改代码。 2. 通过工作流数据库节点操作数据表： 在工作流中添加数据库节点对数据表进行操作，可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。 参考以下操作添加并配置工作流节点： 单击页面顶部的工作流页签，然后单击创建工作流。 输入工作流名称和使用描述，然后单击确认。 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 根据相关信息配置数据库节点，包括输入添加 SQL 执行中需要的参数，输入要执行的 SQL 语句，可单击自动生成使用大模型生成 SQL。 需注意不支持 Select语法、多表 Join 操作，最多返回 100 行数据。在配置数据库节点前，要确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。
2025-03-26
如何构建知识库
构建知识库的方法主要有以下两种： 使用 flowith 构建知识库： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 点击左上角的加号，添加新的知识库，并为其起一个易于分辨的名字。 3. 点击添加文件，建议使用 Markdown 格式的文件。 4. Flowith 会对文件逐个进行抽取等处理，无需操心具体过程，等待处理完毕。 5. 处理完毕后，可以在知识库管理页面测试检索，输入关键词过滤相关内容。 使用 Dify 构建知识库： 1. 准备数据：收集需要纳入知识库的文本数据，包括文档、表格等格式，并对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集：在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集，为数据集编写良好的描述。 3. 配置索引方式：Dify 提供了三种索引方式供选择，包括高质量模式、经济模式和 Q&A 分段模式，根据实际需求选择合适的索引方式。 4. 集成至应用：将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用，在应用设置中配置数据集的使用方式。 5. 持续优化：收集用户反馈，对知识库内容和索引方式进行持续优化和迭代，定期更新知识库，增加新的内容以保持时效性。 总的来说，Dify 提供了一个可视化的知识库管理工具，关键步骤包括数据准备、数据集创建、索引配置，以及将知识库集成到应用中并持续优化。
2025-03-20
我是新手小白，如何用最简单的方式构建多智能体
对于新手小白构建多智能体，以下是一种较为简单的方式： 1. 快速搜索补充参考信息：根据用户的任务调研市场上主流的开源搜索引擎技术架构，使用搜索工具 API WebSearchPro 补充更多信息，具体可参考。 2. 用模型规划和分解子任务：使用大模型如 GLM40520 帮助规划，把用户问题拆分成若干子搜索任务，并转换为 JSON 格式。JSON 格式处理可参考。 3. 用搜索智能体完成子任务：AI 搜索智能体具备联网搜索和自主分析并进行多轮搜索任务的能力。智能体 API 的调用方式可参考。智能体 id 为 659e54b1b8006379b4b2abd6，简介为连接全网内容，精准搜索，快速分析并总结的智能助手。 4. 总结子任务生成思维导图：智能体能调用各种插件，如思维导图、流程图、PPT 工具等，可根据工作需要选择。智能体 API 的调用方式可参考。智能体 id 为 664e0cade018d633146de0d2，简介为告别整理烦恼，任何复杂概念秒变脑图。 另外，OpenAI 官方开源的多智能体框架「Swarm」具有一定优势，其「Handoffs」处理了不同智能体之间交接的逻辑。例如构建客服多智能体，可能只需要准备普通接线客服和宽带客服两个 Agent 。 在实际操作中，如创建 Coze 智能体获取笔记和评论信息，要创建智能体并使用单 Agent 对话流模式，编排对话流，进行测试和发布等步骤。发布时要注意相关配置，如输出类型、输入类型等。
2025-03-20
如何构建多模态知识库？
构建多模态知识库可以参考以下步骤： 1. 图像知识库方面：通过多模态的能力对图片信息进行检索理解。效果测试时，上传一张图片，在图像数据库里找到相关信息，然后结合内容进行回复。 2. 构建图片索引： 新建结构化数据表时，将图片索引所在列的字段类型设置为 link。需注意新建数据表后，无法再新增或修改字段类型为 link。 创建结构化知识库时，对于需要建立图片索引的 link 类型字段，在旁边的下拉列表中选择图片。创建知识库后，无法再新建或修改图片索引。 3. 多模态知识库还包括构建图片型索引需结构化数据表，字段类型设置为 link，以实现 FAQ 中向用户推送图片信息。
2025-03-19
如何构建一个优秀的ai的知识库
构建一个优秀的 AI 知识库可以参考以下步骤和要点： 1. 明确概念和原理：了解 AI 时代知识库的概念、实现原理以及能力边界。 2. 掌握获取资料的原理：比如在通往 AGI 之路大群中通过对话获取知识库中资料的原理。 3. 利用相关平台组件：更好地使用 Coze 等 AI Agent 平台中的知识库组件，打造更强大的智能体。 4. 规划内容： 数据库：让 Coze 拥有记忆的组件 1。 知识库：让 Coze 拥有记忆的组件 2。 变量：让 Coze 拥有记忆的组件 3。 JSON：让您更好地使用 Coze 插件。 API：外部应用程序接入 Coze 的方式。 操作系统与服务器：那些接入了 Coze 的微机器人的运行位置。 Docker：以最简单的方式部署微信机器人。 5. 确定功能范围：编写 prompt 提示词，设定 Bot 的身份和目标。 6. 整理对应关系：创建知识库，整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。 支持的文档类型：本地文档、在线数据、飞书文档、Notion 等，可使用本地文档。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧：知识库的好用程度与内容切分粒度有关，可以在内容中加上特殊分割符，如“”，分段标识符号选择“自定义”，内容填“”。如果内容有误需要编辑，可以点击具体内容，鼠标右键会看到“编辑”和“删除”按钮进行操作。 同时，“通往 AGI 之路”是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库，在这里，您既是知识的消费者，也是知识的创作者。它不仅是一个知识库，还是连接学习者、实践者和创新者的社区，让大家在这里碰撞思想，相互鼓舞，一同成长。
2025-03-12
如何构建一个ai的知识库
构建一个 AI 知识库可以参考以下步骤： 1. 了解基础知识：一系列的信息和知识聚集在一起就可以构成知识库。例如“通往 AGI 之路”就是一个使用飞书软件搭建的 AI 知识库。 2. 参考相关文章：如“大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库”，读完可收获 AI 时代的知识库的概念、实现原理以及能力边界，了解通往 AGI 之路大群中通过对话获取知识库中资料的原理，以及更好地使用 Coze 等 AI Agent 平台中的知识库组件，打造更强大的智能体。 3. 搭建步骤： 确定功能范围，编写 prompt 提示词，设定 Bot 的身份和目标。 创建知识库，整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。创建知识库路径为个人空间知识库创建知识库。知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等，可使用本地文档，并按照操作指引上传文档、分段设置、确认数据处理。注意知识库好不好用，跟内容切分粒度有很大关系，可以在内容中加上一些特殊分割符，比如“”，分段标识符号选择“自定义”，内容填“”。 4. 在网站上增加 AI 助手的私有知识： 上传文件：在百炼控制台的中的非结构化数据页签中点击导入数据，根据引导上传相关文档。 建立索引：进入，根据引导创建一个新的知识库，并选择刚才上传的文件，其他参数保持默认即可。选择向量存储类型时，如果希望集中存储、灵活管理多个应用的向量数据，可选择 ADBPG。 引用知识：完成知识库的创建后，返回进入到刚才创建的应用设置界面，打开知识检索增强开关、选择目标知识库，测试验证符合预期后点击发布。 希望以上内容对您构建 AI 知识库有所帮助。
2025-03-12
使用RAG要注意什么？
使用 RAG 时需要注意以下几点： 1. 不能随意输入任何文档就期望得到准确回答。尽管 RAG 的基本概念不难理解，但有效实现 RAG 系统需要考虑多个复杂因素，如文档预处理、高效索引、相关性排序等，这些都需要专业知识和持续优化。 2. RAG 不能完全消除 AI 的幻觉。虽然它可以显著减少幻觉，但模型仍可能在检索到的信息基础上进行不当的推理或生成错误信息，只要有大模型参与，就有可能产生幻觉。 3. RAG 仍然消耗大模型的 Token。从流程上看，最终还是将知识库中检索的结果给到 LLM，然后由 LLM 进行重新整理输出。 4. 从评估角度看，如果检索到的知识是无效的，会严重影响 LLM 应用的表现，因此将检索过程的精确度和召回率与整个 LLM 应用程序分开进行研究尤为重要。 5. RAG 存在局限性，它适合打造专才，不适合打造通才，能够为模型提供新的信息、专有领域知识等，但并不适合为模型提供通用领域知识。同时，在让模型保持稳定的风格或结构输出、降低 token 消耗等方面存在不足，这两点需要使用微调技术解决。
2025-03-25
背景：我是一名高中生，想学习AI知识，逐步从入门到精通 目标：希望在<3个月>内具备一定能力。 请结合我的背景和优势，为我设计一份学习路线： - 列出每阶段（例如每一个礼拜）的学习重点（比如编程基础、数学）。 - 为每个阶段推荐<具体资源>（书籍、在线课程、练习项目等）。 - 提供一些学习技巧或注意事项。
以下是为您设计的一份在 3 个月内从入门到具备一定能力的 AI 学习路线： 第一个月： 学习重点：了解 AI 基本概念，包括术语、主要分支及它们之间的联系；掌握编程基础，如 Python 语言。 推荐资源： 书籍：《人工智能：一种现代方法》 在线课程：Coursera 上的“人工智能入门”课程 练习项目：使用 Python 实现简单的数据分析和可视化 学习技巧和注意事项：多做笔记，理解概念，注重实践。 第二个月： 学习重点：深入学习数学基础，包括统计学、线性代数和概率论；了解算法和模型中的监督学习和无监督学习。 推荐资源： 书籍：《概率论与数理统计》《线性代数及其应用》 在线课程：edX 上的“机器学习基础”课程 练习项目：使用监督学习算法进行数据分类预测 学习技巧和注意事项：通过实际案例加深对数学知识的理解，多做练习题。 第三个月： 学习重点：掌握神经网络基础，包括网络结构和激活函数；学习模型的评估和调优。 推荐资源： 书籍：《深度学习》 在线课程：Udacity 上的“深度学习入门”课程 练习项目：构建并优化一个简单的神经网络模型 学习技巧和注意事项：积极参与在线讨论，及时解决学习中的问题。 在整个学习过程中，您还可以： 体验 AI 产品，如 ChatGPT、文心一言等，了解其工作原理和交互方式。 掌握提示词的技巧，提高与 AI 的交互效果。 参与相关的社区和论坛，分享学习经验和成果。
2025-03-21
知识库搭建注意事项
以下是关于知识库搭建的注意事项： 1. 数据清洗方式： 可选择手动清洗数据以提高准确性，避免自动清洗数据可能出现的不准确情况。 对于本地文档，要注意合理拆分内容以提高训练数据准确度，不能将所有内容一股脑放入训练。 2. 在线知识库： 点击创建知识库，可创建如画小二课程的 FAQ 知识库。 飞书在线文档中每个问题和答案以分割，可点击编辑修改和删除。 选择飞书文档，选择自定义的自定义，输入。 点击添加 Bot 并在调试区测试效果。 3. 本地文档： 对于本地 word 文件，要注意拆分内容的方法。例如，对于画小二课程，将 80 节课程分为 11 个章节，先放入大章节名称内容，再按固定方式细化章节内详细内容。 选择创建知识库自定义清洗数据。 4. 发布应用： 点击发布，确保在 Bot 商店中能够搜到，否则无法获取 API。 5. 文档格式和分片策略： 以创建外贸大师产品的帮助文档知识库为例，可选择使用 Local doucuments 方式上传 Markdown 格式文档，每个问题以开头。 文档的分片策略会严重影响查询结果，RAG 方案存在跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等缺点。 此外，在信息管理和知识体系搭建中，“拎得清、看得到、想得起、用得上”是四个核心步骤： 1. 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎筛选信息，加入优质社群、订阅号等建立信息通路。 2. 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 3. 想得起：做好信息的索引和关联，存储时做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 4. 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时从知识库中调取相应信息。
2025-03-17
出图是动漫/真人有什么区别和需要注意的点？
动漫出图和真人出图有以下区别和需要注意的点： 版权和法律意识：对于知名动漫角色的使用，要特别注意版权和法律问题。 模型和文件：LORA 在提炼图片特征方面功能强大，其文件通常有几十上百兆，承载的信息量远大于 Embedding，在还原真人物品时，LORA 的细节精度更高。下载的 LORA 需放在特定文件夹，使用时要注意作者使用的大模型，通常配套使用效果最佳，同时还需加入特定触发词保证正常使用。 提示词：设置文生图提示词时，正向提示词和负向提示词的准确设定对出图效果有重要影响。 参数设置：包括迭代步数、采样方法、尺寸等参数的合理设置，会影响出图的质量和效果。
2025-03-16
trae与cursor有什么区别，用它开发微信小程序需要注意些什么？
Trae 与 Cursor 的区别主要体现在以下方面： 1. 在处理自然语言提出的非常具体的需求时，Trae 可能会在查找文件的步骤中出错，而 Cursor 在某些复杂任务中的表现可能更好。 2. Trae 中很多功能是免费的，而 Cursor 可能并非如此。 3. Trae 从底层架构开始就围绕着 AI 能力构建，比传统在 IDE 里集成 AI 的逻辑更具优势，使用起来更流畅、准确和优质。在插件式的使用方式下，用户使用 Cursor 仍需要具备一定的编程知识，而完全零编程知识也可以用 Trae 开发出应用，降低了编程门槛。 用 Trae 开发微信小程序需要注意以下几点： 1. 打开 Trae 并打开创建的文件夹，使用 Chat 模式明确需求，然后切换到 Builder 模式进行开发。 2. Trae 会在本地文件夹内生成代码，微信开发者工具从同一本地文件夹读取代码，且有实时预览功能。 3. 开发过程中若有报错需修改错误，直至在微信开发者工具内调试正常。 4. 上传时需在微信开发者工具右上角点击“上传”，在弹出的弹窗里选择“确定”，接着在弹出的选项里填写版本号和项目备注。 5. 上传完毕后，可在微信小程序后台的版本管理里查看开发版本的信息，可选择点击体验版进行线上体验或提交审核。
2025-03-10
我是一个小白，但是想学习AI相关的知识，你有什么推荐吗，我需要注意什么，有什么技术学习路线
对于想学习 AI 的小白，以下是一些推荐和需要注意的方面，以及技术学习路线： 一、基础知识 1. 了解 AI 基本概念 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 数学基础 学习线性代数、概率论、优化理论等。 3. 编程基础 掌握 Python、C++等编程语言。 二、学习路径 1. 偏向技术研究方向 机器学习基础：监督学习、无监督学习、强化学习等。 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 自然语言处理：语言模型、文本分类、机器翻译等。 计算机视觉：图像分类、目标检测、语义分割等。 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 科研实践：论文阅读、模型实现、实验设计等。 2. 偏向应用方向 机器学习基础：监督学习、无监督学习等。 深度学习框架：TensorFlow、PyTorch 等。 应用领域：自然语言处理、计算机视觉、推荐系统等。 数据处理：数据采集、清洗、特征工程等。 模型部署：模型优化、模型服务等。 行业实践：项目实战、案例分析等。 三、深入学习和实践 1. 选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 2. 实践和尝试 理论学习之后，通过实践巩固知识，尝试使用各种产品做出自己的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 3. 体验 AI 产品 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-03-08