知识库目录

以下是关于如何搭建个人知识库的详细介绍： 要搭建基于 GPT API 的定制化知识库，首先需要给 GPT 输入（投喂）定制化的知识。但 GPT3.5（即当前免费版的 ChatGPT）一次交互（输入和输出）只支持最高 4096 个 Token，约等于 3000 个单词或 2300 个汉字，这个容量对于绝大多数领域知识是不够的。为解决此问题，OpenAI 提供了 embedding API 解决方案，可参考 OpenAI embedding documents。 embeddings（直译为嵌入）是一个浮点数字的向量（列表）。两个向量之间的距离衡量它们的关联性，小距离表示高关联度，大距离表示低关联度。向量是数学中表示大小和方向的一个量，通常用一串数字表示，在计算机科学和数据科学中，向量通常用列表（list）来表示，列表是一种包含一组有序元素的数据结构。向量之间的距离是一种度量两个向量相似性的方法，最常见的是欧几里得距离，其计算方法是将两个向量的对应元素相减，然后取平方和，再开平方。在 OpenAI 词嵌入中，靠近向量的词语在语义上相似，例如“猫”和“狗”距离近，它们都是宠物，与“汽车”距离远，相关性低。文档上给了创建 embeddings 的示例。 将文本转换成向量能大大节省空间，可简单理解为索引，发送给 GPT API。 LlamaIndex 是更高一层 LangChain 的抽象，之前叫 GPT Index。之前的文章中的例子就是使用的 LlamaIndex 包。它简化了 LangChain 对文本分割、查询这块的接口，提供了更丰富的 Data Connector。LlamaIndex 只针对 GPT Model 做 Index，而 LangChain 是可以对接多个 LLMs，可扩展性更强。参考 https://gptindex.readthedocs.io/en/latest/ 。 最近各家大厂接连放大招，AI 技术和应用突飞猛进，GPT4 接口已经支持最大 32K 输入，AI 的开发和使用门槛肯定会越来越低。垂直领域知识库的搭建和优化可能更多的是一个业务问题，而不是一个技术问题。欢迎关注公众号“越山集”，多交流。

SiliconFlow 本身并不能直接搭建 RAG 知识库。但一般搭建 RAG 知识库的步骤通常包括以下方面： 1. 准备数据：收集需要纳入知识库的文本数据，包括文档、表格等格式，并对数据进行清洗、分段等预处理，确保数据质量。 2. 创建知识库： 访问相关平台的知识库索引，如阿里云百炼，单击创建知识库。在创建知识库界面填入知识库名称与描述。 选择文件，类目位置单击默认类目，文件名称选择准备好的数据文件。 进行数据处理，使用默认的智能切分或根据需求选择合适的处理方式。 3. 配置相关设置：如在 Dify 中提供了三种索引方式供选择，包括高质量模式、经济模式和 Q&A 分段模式，可根据实际需求选择合适的索引方式。 4. 集成至应用：将创建好的数据集集成到相应的应用中，作为应用的上下文知识库使用，并在应用设置中配置数据集的使用方式。 5. 持续优化：收集用户反馈，对知识库内容和索引方式进行持续优化和迭代，定期更新知识库，增加新的内容以保持时效性。 需要注意的是，不同的平台和工具在具体操作上可能会有所差异。

以下是搭建知识库的相关内容： 使用 Dify 构建知识库的步骤： 1. 准备数据：收集纳入知识库的文本数据，包括文档、表格等格式，进行清洗、分段等预处理以确保数据质量。 2. 创建数据集：在 Dify 中创建新数据集，上传准备好的文档，并编写良好的描述。 3. 配置索引方式：Dify 提供三种索引方式，根据实际需求选择，如追求更高准确度可选高质量模式。 4. 集成至应用：将数据集集成到 Dify 的对话型应用中，在应用设置中配置数据集使用方式。 5. 持续优化：收集用户反馈，对知识库内容和索引方式持续优化和迭代，定期更新增加新内容。 使用 Coze 智能体机器人搭建知识库的步骤： 1. 手动清洗数据：本次创建知识库使用手动清洗数据，提高数据准确性。 2. 在线知识库：点击创建知识库，创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义，输入，可编辑修改和删除，添加 Bot 并在调试区测试效果。 3. 本地文档：注意拆分内容提高训练数据准确度，将海报内容训练到知识库，按章节进行人工标注和处理，选择创建知识库自定义清洗数据。 4. 发布应用：点击发布，确保在 Bot 商店中能搜到。 本地部署大模型以及搭建个人知识库中关于 RAG 的介绍： 利用大模型的能力搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需先了解 RAG。RAG 是当需要依靠不包含在大模型训练集中的数据时，通过检索增强生成的技术。其应用可抽象为 5 个过程：文档加载、文本分割、存储（包括将文档块嵌入转换成向量形式并存储到向量数据库）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成更合理答案）。文本加载器是将用户提供的文本加载到内存中以便后续处理。

WaytoAGI 知识库具有以下应用场景： 1. 在飞书 5000 人大群中，内置了智能机器人“waytoAGI 知识库智能问答”，可根据文档及知识进行回答。使用时在飞书群里发起话题时即可，它能自动回答用户关于 AGI 知识库内的问题，对多文档进行总结、提炼；在内置的“waytoAGI”知识库中搜索特定信息和数据，快速返回相关内容；提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解；通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念；分享有关 AGI 领域的最新研究成果、新闻和趋势；促进群内讨论，提问和回答，增强社区的互动性和参与度；提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接；支持多语言问答，满足不同背景用户的需求。 2. WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库，目前知识库的内容覆盖：AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践。 3. WaytoAGI 里有个离谱村，是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易，更感兴趣。参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。离谱村是一个没有被定义的地方，每个人心中都有自己想象中的离谱村，不仅代表着一个物理空间，更是灵魂的避风港，激励着每一个生命体发挥其无限的想象力，创造属于自己的独特生活方式。

RAG（检索增强生成，Retrieval Augmented Generation）是一种利用大模型能力搭建知识库的技术应用。当需要依靠不包含在大模型训练集中的数据时，可通过该技术实现。 RAG 的应用可抽象为以下 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储（Storage）：涉及两个环节，一是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，二是将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：数据进入向量数据库后，通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更加合理的答案。 离线数据处理的目的是构建知识库这本“活字典”，知识会按照某种格式及排列方式存储在其中等待使用。在线检索则是利用知识库和大模型进行查询的过程。以构建智能问答客服为例，可了解 RAG 所有流程中的 What 与 Why。 相关资源： 文本加载器：将用户提供的文本加载到内存中，便于后续处理。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

在 Coze 中传变量的相关知识如下： 在创建工作流时，Start 节点可以定义输入变量，如“question”，该变量会在启动工作流时由 Bot 从外部获取信息传递过来。 变量节点有两个能力：设置变量给 Bot 和从 Bot 中获取变量。例如，可以从 Bot 中获取“user_language”这个变量，传给后面的大模型节点以控制其输出语言。 此外，关于 Coze 的工作流： 工作流由多个节点构成，节点是组成工作流的基本单元，本质是一个包含输入和输出的函数。 Coze 平台支持的节点类型包括 LLM（大语言模型）、Code（代码）、Knowledage（知识库）、Condition（条件判断）、Variable（获取变量）、Database（数据库）。 关于创建和使用工作流，可参考以下官方教程： 海外参考文档：https://www.coze.com/docs/zh_cn/use_workflow.html 国内参考文档：https://www.coze.cn/docs/guides/use_workflow 国内版本还提供了一些示例，如搜索新闻：https://www.coze.cn/docs/guides/workflow_search_news ；使用 LLM 处理问题：https://www.coze.cn/docs/guides/workflow_use_llm ；生成随机数：https://www.coze.cn/docs/guides/workflow_use_code ；搜索并获取第一个链接的内容：https://www.coze.cn/docs/guides/workflow_get_content ；识别用户意图：https://www.coze.cn/docs/guides/workflow_user_intent 。 创建知识库并上传文本内容的操作如下： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在页面顶部进入知识库页面，并单击创建知识库。 4. 在弹出的页面配置知识库名称、描述，并单击确认。一个团队内的知识库名称不可重复，必须是唯一的。 5. 在单元页面，单击新增单元。 6. 在弹出的页面选择要上传的数据格式，默认是文本格式，然后选择一种文本内容上传方式完成内容上传。

以下是 AIPO 共学的相关目录： 【已结束】AIPO：校园 AI 创投活动 10 月 8 日10 月 20 日 10 月 8 日 时间：20:00 分类：活动说明 讲师：AJ 课程标题：通往 AGI 之路知识库使用指南 课程回放： 相关资料： 作业： 10 月 9 日 时间：20:00 分类：理论基础 讲师：银海 课程标题：基础通识课 课程回放： 相关资料：产品体验地址见下表：通义、kimi、即梦、扣子、豆包 作业： 2024 年历史更新（归档） 10 月 11 日 Kimi 和智谱同时发布了深度推理的功能：《》 这两天的 《》 校园 AIPO 系列共学 2024 年 10 月 17 日 智能纪要 总结 AIPO 共学课之厚德云模型训练分享 AIPO 共学课倒数第二节：10 月 17 日是 AIPO 共学课倒数第二节，由黄忠忠分享厚德云模型训练，8 点开始直播。 线下活动安排：10 月 20 日下午 2 点到 6 点，全国 35 个学校将同时启动 AIPO 线上模拟创投活动，北京有清华、北大等学校举办分会场。 模型训练流程：包括处理数据集、设置参数训练、生成模型和生图等步骤。 数据集获取渠道：有网上收集、购买、使用无版权问题的如古画等，原则是想生成什么图就找对应数据集，且要清晰、主体元素干净、风格统一。 数据集处理：包括基础处理如裁剪保证清晰和分辨率，更重要的是写标注。 模型训练的数据标注与流程 设置模型触发词：模型触发词可自定义，如 BD icon 等，完整形式可以是一句话，建议以王 flags 模型为主。 统一标注风格与应用场景：例如未来高科技 3D 天然风格，用于互联网首页图像等，并概括主题内容、描述物体特征等。 利用 GPT 辅助描述并人工审核：可以让 GPT 按要求描述，人工审核修改，之前课程有相关教学，后续会提供参考提示词。 模型训练的准备与流程：完成数据集描述后进入训练流程，选择模型训练分类和数据集，创建并上传数据集压缩包，注意数据名与图片命名一致。 选择训练模式和参数：新手选用普通基础模式，训练集质量重要，训练参数中总步数与训练集图片数量相关，触发词可任意设定但要避免概念混乱。

以下是知识库的目录内容： 1. 关于我们&致谢 我们是一个开源 AI 社区，坚信人工智能将重新塑造思考和学习方式，为创建知识库的决心提供动力。 特别感谢一路上支持和推荐知识库的伙伴们，使我们有信心持续探索 AGI 的无限可能。 WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库，大家贡献并整合各种 AI 资源，方便不同水平的人学习和应用。 2. 元子：WayToAGI 知识库究竟咋用？ 知识库起飞指南 把知识库想象成 24 小时在线的 AI 老师、永不嫌烦的知识管家、不断成长的智慧宝库。 里面藏着 AI 工具的“傻瓜式说明书”、大神们的“踩坑经验分享”、实用的“一招制胜”秘籍。 新手探索指南：点击飞书链接（）。 知识库界面：左边的导航栏是指南针，上面的搜索框是探宝雷达，中间的内容区是知识的海洋。 3. 信鑫：基于大模型+知识库的 Code Review 实践 实现思路 官方文档知识库（内置） 避免大家将官方文档重复录入、embedding，CR Copilot 内置了官方文档，目录包含： React 官方文档： TypeScript 官方文档： Rspack 官方文档： Garfish： 公司内 Go/Python/Rust 等编程规范等，并通过一个简单的 CURD 来管理内置向量知识库。

很抱歉，暂时不清楚智能体目录下体验地址打不开的具体原因。可能是网络问题、服务器故障、链接失效等多种因素导致。您可以尝试以下方法： 1. 检查您的网络连接，确保网络稳定畅通。 2. 刷新页面或更换浏览器再次尝试访问。 3. 确认该体验地址是否仍在有效服务期内。 4. 若问题仍未解决，建议您联系相关技术支持人员获取帮助。

智能体快速创建需要以下 3 个步骤： 1. 选择智能体类型： 点击创建智能体。 在“从空白创建”中，选择合适的智能体类型，鼠标悬浮后，点击按钮。 对话型智能体一般用于角色扮演、智能客服、业务助理等场景，以对话形式与用户进行交互，体验链接：https://appcenter.bigmodel.cn/appcenter_v2/chat?share_code=mSBrkrJBKdyKPeeyLHLFi 。 文本型智能体一般用于文本写作、信息抽取、文案生成等场景，提供以单轮、多字段的输入形式进行交互，体验链接：https://appcenter.bigmodel.cn/console/appcenter_v2/chat?share_code=zOro1s77ljW4zqop8vMS 。 2. 在画布上配置节点。 但关于您提到的智能体目录下的体验地址打不开的问题，目前提供的信息中未明确相关原因，建议您检查网络连接是否正常，或者稍后再试。

以下是为初级小白设计的 AI 课程目录： 1. 初学者课程推荐 微软的 AI 初学者课程 名称：微软的 AI 初学者课程 作者/来源：微软 总结：推荐阅读《Introduction and History of AI》从这里起步 链接： 发布日期：2023/02/10 必看星标：👍🏻 AI for every one（吴恩达教程） 名称：AI for every one 作者/来源：吴恩达 总结：前 ChatGPT 时代的 AI 综述 链接： 发布日期：2023/03/15 必看星标：👍🏻 大语言模型原理介绍视频（李宏毅） 名称：大语言模型原理介绍视频 作者/来源：李宏毅 总结：可以说在众多中文深度学习教程中，李宏毅老师讲的应该是最好的，最通俗易懂 链接： 发布日期：2023/05/01 谷歌生成式 AI 课程 名称：谷歌生成式 AI 课程 作者/来源：谷歌 总结：注：前 4 节课为入门课 链接： ChatGPT 入门 名称：ChatGPT 入门 作者/来源：OpenAI 总结：注册、登录、简单使用方法等 链接： 2. 新手学习 AI 的指南 了解 AI 基本概念 建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅 在「」中，找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），可以根据自己的兴趣选择特定的模块进行深入学习。 3. 微软 AI 初学者入门课程 编号：I 课程：人工智能导论 介绍：人工智能导论 PyTorch：人工智能导论 Keras/TensorFlow：人工智能导论 实验：人工智能导论 编号：1 课程：人工智能简介和历史 介绍： 编号：II 课程：符号人工智能 介绍：符号人工智能 PyTorch：符号人工智能 Keras/TensorFlow：符号人工智能 实验：符号人工智能 编号：2 课程：知识表示和专家系统 介绍：