知识库目录

以下是部署自己知识库的详细步骤： 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 是指检索增强生成（Retrieval Augmented Generation）。当需要依靠不包含在大模型训练集中的数据时，通过检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时，使用任意邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，可让模型根据文档内容来回答问题，这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控，需要一个额外的软件：AnythingLLM。这个软件包含了所有 Open WebUI 的能力，并且额外支持了以下能力：选择文本嵌入模型、选择向量数据库。 安装地址：https://useanything.com/download 。安装完成后，会进入到其配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： 1. 在 AnythingLLM 中有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式：Chat 模式，大模型会根据自己的训练数据和上传的文档数据综合给出答案；Query 模式，大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后，就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可以联系作者或者加其免费知识星球（备注 AGI 知识库）。

要构建自己的知识库，以下是一些可行的方案： 1. 基于 GPT API 打造： 给 GPT 输入定制化知识，但需注意 GPT3.5（免费版 ChatGPT）一次交互的 Token 限制。 OpenAI 提供了 embedding API 解决方案，embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 可将大文本拆分成小文本块，转换为 embeddings 向量并保存，用户提问时将问题转换为向量与储存库比对，提取关联度高的文本块与问题组合成新 prompt 发送给 GPT API。 2. 本地部署大模型及搭建： 访问特定网址，使用邮箱注册账号。 Open WebUI 一般有聊天对话和 RAG 能力（让模型根据文档内容回答问题）两种使用方式，RAG 能力是构建知识库的基础之一。 若要求不高，已可实现本地大模型通过 Web UI 对话功能。但 ChatGPT 访问速度快、回答效果好，原因在于服务器配置高、训练参数多、数据更优及训练算法更好。若想更灵活掌握知识库，可进一步操作。

个人知识库与大模型的结合是一个关键问题。目前大模型在通用知识方面表现出色，但对专业领域知识了解有限。将两者结合有以下 5 种方法： 1. 重新训练：使用私域数据重新训练大模型。 2. 微调：利用私有数据对大模型进行 finetuning。 3. RAG：将知识库里的知识搜索送进大模型。 4. 关键词工程：写好提示词。 5. 加长 Context：当 Context 能无限长时，理论上可将个人知识和记忆都 prefill 到 Context 里。 对于哪种方法最有希望，学术界存在分歧。做深度学习的人偏向于用 RAG，而以前做过搜索的人则偏向于用 Long Context。有人认为最终会采用仿生的方法，即拥有一个足够长的 Context，例如谷歌的一篇论文 infinite context transform 提到，不需要把 Context 做得太长，可以将以前可能需要被扔掉的 token 深度压缩后依然保存在 Context 里。 此外，运行一个几百亿个参数的大模型，存算一体的架构是最佳选择，因为能避免所有数据的搬运。使用存算一体的方式也是未来 AI 硬件的发展趋势。

搭建个人知识库主要包括以下内容： 1. 了解 RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过检索增强生成 RAG 实现。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种来源加载文档，LangChain 提供 100 多种文档加载器，包括非结构化、结构化数据和代码等。 文本分割：把文档切分为指定大小的块。 存储：包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：把问题及检索出来的嵌入片提交给 LLM 生成答案。 2. 基于 GPT API 搭建： 涉及给 GPT 输入定制化知识，但 GPT3.5 一次交互容量有限，可使用 OpenAI 的 embedding API 解决方案。 embeddings 是浮点数字的向量，向量之间的距离衡量关联性，小距离表示高关联度。 3. 本地知识库进阶： 若要更灵活掌控，需额外软件 AnythingLLM，其包含 Open WebUI 能力，并支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 构建本地知识库包括创建工作空间、上传文档并嵌入、选择对话模式（Chat 模式综合给出答案，Query 模式仅依靠文档数据给出答案）、测试对话。 最后，“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系或加入免费知识星球（备注 AGI 知识库）。

“通往 AGI 之路”知识库具有以下重要作用： 1. 它是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库，在这里，用户既是知识的消费者，也是知识的创作者。 2. 以“无弯路，全速前进”为目标，助力每一个怀揣 AI 梦想的人疾速前行。 3. 其生长得益于每一位用户的支持，通过大家的努力不断探寻 AGI 领域的无限可能。 4. 不仅是知识库，还是连接学习者、实践者和创新者的社区，让大家在这里碰撞思想，相互鼓舞，一同成长。 5. 提供了一系列开箱即用的工具，如文生图、文生视频、文生语音等详尽的教程，将文字化为视觉与听觉的现实。 6. 追踪 AI 领域最新的进展，时刻更新，让用户紧跟 AI 领域的步伐，每次访问都能有新的收获。 7. 无论用户是 AI 初学者还是行业专家，都可以在这里发掘有价值的内容，让更多的人因 AI 而强大。 相关链接： https://waytoagi.com/（通往 AGI 之路） 即刻体验：https://waytoagi.com/

以下是一些可用于建立知识库的工具及相关步骤： 使用 Dify 构建知识库的步骤： 1. 准备数据：收集需要纳入知识库的文本数据，包括文档、表格等格式。对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集：在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集。为数据集编写良好的描述，描述清楚数据集包含的内容和特点。 3. 配置索引方式：Dify 提供了三种索引方式供选择，包括高质量模式、经济模式和 Q&A 分段模式。根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。 4. 集成至应用：将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用。在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。 5. 持续优化：收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。定期更新知识库，增加新的内容以保持知识库的时效性。 使用扣子创建并上传文本内容到知识库的方式： 1. 在线数据： 自动采集方式：适用于内容量大，需要批量快速导入的场景。 在文本格式页签下，选择在线数据，然后单击下一步。 单击自动采集。 单击新增 URL。在弹出的页面完成以下操作： 输入要上传的网站地址。 选择是否需要定期同步网站内容，如果需要选择内容同步周期。 单击确认。 当上传完成后单击下一步。系统会自动根据网站的内容进行内容分片。 手动采集：适用于需要精准采集网页上指定内容的场景 安装扩展程序，详情请参考。 在文本格式页签下，选择在线数据，然后单击下一步。 点击手动采集，然后在弹出的页面点击权限授予完成授权。 在弹出的页面输入要采集内容的网址，然后单击确认。 在弹出的页面上，点击页面下方文本标注按钮，开始标注要提取的内容，然后单击文本框上方的文本或链接按钮。 单击查看数据查看已采集的内容，确认无误后再点击完成并采集。 使用 Coze 智能体创建知识库： 1. 手动清洗数据： 在线知识库：点击创建知识库，创建一个画小二课程的 FAQ 知识库。知识库的飞书在线文档，其中每个问题和答案以分割。选择飞书文档、自定义的自定义，输入，然后可编辑修改和删除。点击添加 Bot，添加好可以在调试区测试效果。 本地文档：本地 word 文件，注意拆分内容以提高训练数据准确度。将海报的内容训练的知识库里面。画小二这个课程 80 节课程，分为了 11 个章节，不能一股脑全部放进去训练。正确的方法是首先将 11 章的大的章节名称内容放进来，章节内详细内容依次类推细化下去。每个章节都按照这种固定的方式进行人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到。

很抱歉，暂时不清楚智能体目录下体验地址打不开的具体原因。可能是网络问题、服务器故障、链接失效等多种因素导致。您可以尝试以下方法： 1. 检查您的网络连接，确保网络稳定畅通。 2. 刷新页面或更换浏览器再次尝试访问。 3. 确认该体验地址是否仍在有效服务期内。 4. 若问题仍未解决，建议您联系相关技术支持人员获取帮助。

智能体快速创建需要以下 3 个步骤： 1. 选择智能体类型： 点击创建智能体。 在“从空白创建”中，选择合适的智能体类型，鼠标悬浮后，点击按钮。 对话型智能体一般用于角色扮演、智能客服、业务助理等场景，以对话形式与用户进行交互，体验链接：https://appcenter.bigmodel.cn/appcenter_v2/chat?share_code=mSBrkrJBKdyKPeeyLHLFi 。 文本型智能体一般用于文本写作、信息抽取、文案生成等场景，提供以单轮、多字段的输入形式进行交互，体验链接：https://appcenter.bigmodel.cn/console/appcenter_v2/chat?share_code=zOro1s77ljW4zqop8vMS 。 2. 在画布上配置节点。 但关于您提到的智能体目录下的体验地址打不开的问题，目前提供的信息中未明确相关原因，建议您检查网络连接是否正常，或者稍后再试。

以下是为初级小白设计的 AI 课程目录： 1. 初学者课程推荐 微软的 AI 初学者课程 名称：微软的 AI 初学者课程 作者/来源：微软 总结：推荐阅读《Introduction and History of AI》从这里起步 链接： 发布日期：2023/02/10 必看星标：👍🏻 AI for every one（吴恩达教程） 名称：AI for every one 作者/来源：吴恩达 总结：前 ChatGPT 时代的 AI 综述 链接： 发布日期：2023/03/15 必看星标：👍🏻 大语言模型原理介绍视频（李宏毅） 名称：大语言模型原理介绍视频 作者/来源：李宏毅 总结：可以说在众多中文深度学习教程中，李宏毅老师讲的应该是最好的，最通俗易懂 链接： 发布日期：2023/05/01 谷歌生成式 AI 课程 名称：谷歌生成式 AI 课程 作者/来源：谷歌 总结：注：前 4 节课为入门课 链接： ChatGPT 入门 名称：ChatGPT 入门 作者/来源：OpenAI 总结：注册、登录、简单使用方法等 链接： 2. 新手学习 AI 的指南 了解 AI 基本概念 建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅 在「」中，找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），可以根据自己的兴趣选择特定的模块进行深入学习。 3. 微软 AI 初学者入门课程 编号：I 课程：人工智能导论 介绍：人工智能导论 PyTorch：人工智能导论 Keras/TensorFlow：人工智能导论 实验：人工智能导论 编号：1 课程：人工智能简介和历史 介绍： 编号：II 课程：符号人工智能 介绍：符号人工智能 PyTorch：符号人工智能 Keras/TensorFlow：符号人工智能 实验：符号人工智能 编号：2 课程：知识表示和专家系统 介绍：