直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

基于飞书的知识库RAG的搭建，需要什么接口进行全文搜索

回答

基于飞书的知识库 RAG 搭建，可用于全文搜索的接口方式主要有以下几种：

  1. 语义检索：语义匹配关注查询和文档内容的意义，而非仅仅表面的词汇匹配。通过向量的相似性来判断语义的相似性。
  2. 全文检索：这是基于关键词的检索方式。例如，对于句子“猫的饮食习惯包括吃鱼和鸡肉”，输入“猫”“饮食”“猫的饮食习惯”“吃鱼”等关键词可搜索到该句子，但输入“猫喜欢吃什么呀”则无法搜索到。
  3. 混合检索：结合了语义匹配和全文检索的优点，通常系统先进行全文检索获取初步结果，然后再对这些结果进行语义匹配和排序。

此外，在本地部署资讯问答机器人实现 RAG 时，会涉及加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型。还会为文档内容生成向量，如使用文本向量模型 bge-m3 等。

在开发 LangChain 应用开发指南中，实现 LangChain 和 RAG 的结合时，需要加载数据、分割文档、转换嵌入并存储到向量存储器、创建检索器以及聊天模型等步骤。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

这可能是讲 Coze 的知识库最通俗易懂的文章了

检索就是根据用户的问题从向量数据库中获取匹配的内容。要理解检索环节，最主要的是理解检索有那几种方式，这里我们先不用技术语言，我们先来思考下你期望的检索方式是怎样的。假设你有一个问答对：问题：你的产品多少钱？答案：199元/年针对这个问答对，你肯定期望只要用户问了跟产品价格相关的问题，都能获取准确的答案。例如用户的问题可能是：你的产品这么卖的呀这个产品是怎么收费的你的产品多贵......无论上面是哪个问题，你肯定期望都能够检索出来：199元/年这个答案你期望的这种检索方式使用专业术语来表达就是：语义检索[heading3]语义检索[content]语义匹配关注的是查询和文档内容的意义，而不仅仅是表面的词汇匹配那语义匹配是怎么做到的呢，这里就要提到前面说的向量。我们可以通过向量的相似性来判断语义的相似性，这里就不展开了[heading3]全文检索[content]语义检索成本是比较高的，成本较低的方案则是全文检索。全文检索是基于关键词的检索方式，这里我们还是直接通过例子的方式进行说明：有一个句子是：“猫的饮食习惯包括吃鱼和鸡肉”如果用户输入了“猫”、“饮食”、“猫的饮食习惯”、“吃鱼”都可以搜索到这个句子。但是如果用户搜索了猫喜欢吃什么呀，这个时候是无法搜索到上面这个句子的。你可以简单的理解为全文检索就是根据关键词进行匹配的。[heading3]混合检索[content]混合模式结合了语义匹配和全文检索的优点，同时利用关键词匹配和语义理解来提高检索效果。通常，系统先进行全文检索获取初步结果，然后再对这些结果进行语义匹配和排序。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG加载所需的库和模块。其中，feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型，使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容，这里只是给了一个url，如果需要接收多个url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里，我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型，它具有以下特点：支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（M ulti-Lingual）最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（M ulti-Granularity）同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（M ulti-Functionality）从hf下载好模型之后，假设放置在某个路径/path/to/bge-m3，通过下面函数，利用FAISS创建一个高效的向量存储。|实现RAG

开发：LangChain应用开发指南-大模型的知识外挂RAG

[title]开发：LangChain应用开发指南-大模型的知识外挂RAG[heading3]LangChain和RAG的结合首先，我们需要加载我们的数据。我们可以使用数据加载器来实现这一步，根据数据源的类型选择合适的数据加载器。例如，如果我们的数据源是一个网页，我们可以使用WebBaseLoader，它可以使用urllib和BeautifulSoup()来加载和解析网页，返回一个文档对象。然后，我们需要将我们的文档对象分割成较小的文档对象。我们可以使用文本分割器来实现这一步，根据文本的特点选择合适的文本分割器。例如，如果我们的文本是一个博客文章，我们可以使用RecursiveCharacterTextSplitter，它可以递归地使用常见的分隔符（如换行符）来分割文本，直到每个文档对象的大小符合要求。接下来，我们需要将我们的文档对象转换为嵌入，并存储到向量存储器中。我们可以使用文本嵌入器和向量存储器来实现这一步，根据嵌入的质量和速度选择合适的文本嵌入器和向量存储器。例如，如果我们想要使用OpenAI的嵌入模型和Chroma的向量存储器，我们可以使用OpenAIEmbeddings()和ChromaVectorStore。然后，我们需要创建一个检索器，用于根据用户的输入检索相关的文档对象。我们可以使用向量存储器检索器来实现这一步，-传递一个向量存储器对象和一个文本嵌入器对象作为参数，创建一个向量存储器检索器对象。最后，我们需要创建一个聊天模型，用于根据用户的输入和检索到的文档对象生成一个输出消息。我们可以使用LangChain提供的聊天模型来实现这一步，根据模型的性能和成本选择合适的聊天模型。例如，如果我们想要使用OpenAI的GPT-3模型，我们可以使用OpenAIChatModel。下面是一个使用LangChain构建RAG应用的示例代码：

其他人在问
飞书群机器人
在飞书 5000 人大群里，内置了一个智能机器人「waytoAGI 知识库智能问答」，它是基于飞书 aily 搭建的。（） 使用方法：在飞书群里发起话题时，它会根据 waytoAGI 知识库的内容进行总结和回答。 它可以做以下事情： 1. 自动问答：自动回答用户关于 AGI 知识库内涉及的问题，可以对多文档进行总结、提炼。 2. 知识搜索：在内置的「waytoAGI」知识库中搜索特定的信息和数据，快速返回相关内容。 3. 文档引用：提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解。 4. 互动教学：通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念。 5. 最新动态更新：分享有关 AGI 领域的最新研究成果、新闻和趋势。 6. 社区互动：促进群内讨论，提问和回答，增强社区的互动性和参与度。 7. 资源共享：提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接。 8. 多语言支持：支持多语言问答，满足不同背景用户的需求。 2024 年 2 月 22 日，在「WaytoAGI」飞书千人大群里新增了。 AGI 大群的机器人原理：飞书的官方技术同学使用 RAG 技术将的内容进行处理，然后在飞书大群中接入一个智能机器人，当机器人被艾特回答问题的时候，其背后就是针对这个 AI 知识库进行的提问。RAG 技术会将知识库中最符合的相关文档回复给用户。
2024-10-10
怎么制作链接飞书知识库与微信群的AI机器人？
以下是制作链接飞书知识库与微信群的 AI 机器人的步骤： 1. 配置极简未来（Link.AI）平台： 按照官方教程进行操作，教程地址为：https://docs.linkai.tech/platform/createapp ，学习补充可参考：https://docs.linkai.tech/platform/quickstart 。 注意以下几点： 教程中的应用是创建一个具体的 AI 问答机器人应用。 教程中的知识库是给绑定到指定问答机器人的资料数据集，让机器人基于这些内容回答问题。 知识库应用中的应用设定是给 AI 机器人的提示词内容或者人设，关于提示词可查看教程：https://waytoagi.feishu.cn/wiki/OqJQwzq2wi9EIOkFtFkclM24nSe 。 记住创建成功的 AI 应用的应用 ID，后续会用到。 2. 生成 API Key 用于后续功能对接： 地址为：https://linkai.tech/console/interface 。 点击创建 API Key，并记住这个 API Key，后续会用到。 另外，在「AI 学习三步法：实践」中用 Coze 免费打造自己的微信 AI 机器人的步骤如下： 1. 设计 AI 机器人： 确定功能范围。 开始节点配置：输入变量名写“Question”，描述写“用户输入的问题”，变量类型选“String”。 知识库配置：将开始节点和知识库左侧节点连接，知识库输入引用开始节点的变量“Question”，添加创建好的知识库，将知识库右侧节点与结束节点左侧连接。 结束节点配置：输出变量定义“question”引用“开始节点的 Question”，“answer”引用“知识库节点的输出 output”，回答模式选择“使用设定的内容直接回答”。 试运行测试：点击右上角“试运行”，输入问题进行测试。
2024-10-01
利用飞书多维表格，搭建与知识库对话能力
利用飞书多维表格搭建与知识库对话能力的步骤如下： 1. 前期准备 设计 AI 稍后读助手的方案思路 简化“收集”：实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。考虑到待阅读内容通常有网页链接，理想方式是输入一个 URL 完成收集，借鉴微信文件传输助手的方式，通过聊天窗口输入更符合用户习惯。 自动化“整理入库”：系统在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。同时，阅读清单支持跨平台查看，提高可访问性。 智能“选择”推荐：根据当前收藏记录和用户阅读兴趣进行相关性匹配，生成合适的阅读计划。 基于以上思路，同在字节生态中的 Coze、飞书、飞书多维表格可为 AI 稍后读构建完整的 AI 工作流，通过飞书机器人与 Coze 搭建的智能体对话，在聊天窗口完成链接输入和阅读计划输出，由 Coze 调用大模型、插件完成内容的整理、推荐。 2. 逐步搭建 AI 智能体 经过配置得到两个可用工作流（整理入库、选择内容），将其编排为完整智能体。 配置过程：创建 Bot，填写 Bot 介绍，切换模型为“通义千问”（测试下来效果最好），把配置好的工作流添加到 Bot 中，新增变量{{app_token}}，添加外层 bot 提示词（可按需求和实际效果优化调整）。完成后可在「预览与调试」窗口与 AI 稍后读智能体对话并使用全部功能。
2024-09-27
如何在飞书使用 coze创建的聊天机器人
在飞书使用 Coze 创建的聊天机器人，步骤如下： 1. 通过 Coze 建立定时任务，执行工作流二，并添加如分析文章和搜索文章等能力，使其成为一个消息情报官的 Agent。 2. 将其发布到飞书等平台即可使用。可以构建多个分身，收集整理不同领域和行业的情报信息。 3. 创建 Bot 时，系统默认创建一个 Personal 的个人团队，该团队内创建的资源无法分享给其他团队成员。您也可以创建团队或加入其他团队，更多信息请参考。 4. 进入团队空间后，默认打开 Bots 页面。在 Bots 页面，单击创建 Bot，输入 Bot 名称和介绍，然后单击图标旁边的生成图标自动生成一个头像，最后单击确认。 5. Bot 创建后，会直接进入 Bot 编排页面。可以在左侧人设与回复逻辑面板中描述 Bot 的身份和任务，单击复制可使用模板格式添加描述；在中间技能面板为 Bot 配置各种扩展能力；在右侧预览与调试面板中，实时调试 Bot。 chatgptonwechat（简称 CoW）项目是基于大模型的智能对话机器人，支持飞书接入，可选择多种模型，能处理文本、语音和图片，通过插件访问操作系统和互联网等外部资源，支持基于自有知识库定制企业 AI 应用。配置时，点击“Docker”中的“编排模板”中的“添加”按钮，将编译好的内容复制进来，在“容器编排”中“添加容器编排”，选择在“编排模板”里创建的“coze2openai”，提示运行成功，如果无法正常启动，请看文档后面的“常见问题”。
2024-09-26
coze怎么读取飞书的文档
要读取飞书的文档来使用 Coze，您可以按照以下步骤进行操作： 1. 因为前面需要对多维表格操作，所以先在 http://open.feishu.cn 上建一个飞书机器人，并添加知识库或多维表格编辑权限，具体操作可以阅读飞书文档。得到机器人的 app_id 和 app_secret 后即可获得租用 token:tenant_access_token 来获取多维表格数据和编辑能力。 2. Coze 国内版本（https://www.coze.cn/store/plugin）提供了丰富的插件，其中 LinkReader 插件可以读取文档。 3. 创建智能体时，点击创建知识库，创建一个画小二课程的 FAQ 知识库。知识库的飞书在线文档中，每个问题和答案以分割。选择飞书文档，选择自定义的自定义，输入，然后就将飞书的文档内容以区分开来，这里可以点击编辑修改和删除。添加好 Bot 后可以在调试区测试效果。
2024-09-10
飞书怎么用AI
以下是飞书中使用 AI 的一些方式和案例： 工作流方面： 起床时让 AI 为您排 TODO 优先级并进行私董会的脑暴。 工作中有阳光会撒娇/卖萌的傲娇 AI 小助理加油。 重点事项如内容创作，可拆成 bot 团队组，包括选题、标题、框架、扩写等环节，并让 A/B 组两个 AIbot 互相改，要点是提供反常识、梗，学习喜欢的 UP 创作方法论。 优化的 bot 包括内容选题 bot、短视频脚本 bot、数据分析 bot（GPT4）、网页 Perplexity 的资料库 bot 等。 将知识库、Prompt 资产放入飞书的知识库+多维表单中维护，等待飞书的 AI 进化。 备选 50 多个生产力 AI 放在工具库里待命输出。 未来计划把整个公司业务搬入飞书中，外接 MJ、ChatBot 分身以及咨询日程预约。 线下活动方面： 活动宣传：用飞书文档制作活动宣传页面，用 AI 快速制作海报，用 GPTs 写人员分配和主持人台词，活动从策划到开始仅用 2 天。 活动报名：完全用飞书的多维表格完成报名及数据统计。 活动过程：大家在线协同，一起编辑文档，演示时共同展示一个文档。 活动记录：有相应的记录文档。
2024-09-09
有没有RAG 基本架构的中文图示
以下是关于 RAG 基本架构的介绍： RAG 是当今大多数现代人工智能应用程序的标准架构。以 Sana 的企业搜索用例为例，其工作原理如下： 1. 应用程序加载和转换无结构文件（如 PDF、幻灯片、文本文件），跨越企业数据孤岛（如 Google Drive 和 Notion），通过数据预处理引擎（如 Unstructured）转换为 LLM 可查询格式。 2. 这些文件被“分块”成更小的文本块，作为向量嵌入并存储在数据库（如 Pinecone）中，以实现更精确的检索。 3. 当用户提出问题时，系统检索语义上最相关的上下文块，并将其折叠到“元提示”中，与检索到的信息一起馈送给 LLM。 4. LLM 从检索到的上下文中合成答复返回给用户。 RAG 的基本概念： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成的质量和准确性。其基本流程为： 首先，给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文）。 然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。 最后，从大模型的输出中提取或格式化所需信息返回给用户。
2024-10-17
如何在个人电脑中部署本地RAG
在个人电脑中部署本地 RAG 可以按照以下步骤进行： 1. 加载所需的库和模块： 确保 ollama 服务已开启并下载好模型，ollama 用于在 python 程序中跑大模型。 feedparse 用于解析 RSS 订阅源。 2. 从订阅源获取内容： 函数用于从指定的 RSS 订阅 url 提取内容，如需接收多个 url 可稍作改动。 通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，用于进一步的数据处理或信息提取任务。 3. 为文档内容生成向量： 使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，如 /path/to/bgem3，通过函数利用 FAISS 创建一个高效的向量存储。 4. 创建 Python 虚拟环境： 创建 python 虚拟环境，并安装相关库，版本如下： ollama：0.1.8 langchain：0.1.14 faisscpu：1.8.0（有 gpu 则安装 gpu 版本） gradio：4.25.0 feedparser：6.0.11 sentencetransformers：2.6.1 lxml：5.2.1 5. 导入依赖库。 6. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。 7. 创建网页 UI：通过 gradio 创建网页 UI，并进行评测。 8. 问答测试：对于同样的问题和上下文，基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。
2024-10-13
知识图片与RAG
RAG 分为离线数据处理和在线检索两个过程。离线数据处理旨在构建知识库，就像准备一本“活字典”，知识会按特定格式和排列方式存储在其中以待使用。在线检索则是利用知识库和大模型进行查询的过程。 LangChain 是专注于大模型应用开发的平台，提供一系列组件和工具帮助构建 RAG 应用，包括： 1. 数据加载器（DocumentLoader）：能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据）的文档对象。 2. 文本分割器（DocumentSplitter）：将文档对象分割成多个小文档对象，方便后续检索和生成，因大模型输入窗口有限，短文本更易找相关信息。 3. 文本嵌入器（Embeddings）：将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索。 4. 向量存储器（VectorStore）：存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：基于大模型如 GPT3，根据输入序列生成输出消息。 使用 LangChain 构建 RAG 应用的一般流程如下：（具体流程未给出）
2024-10-11
RAG什么意思
RAG 是检索增强生成（RetrievalAugmented Generation）的缩写，是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。 RAG 的最常见应用场景包括知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 大模型存在一些缺点，如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高，而 RAG 具有一些优点，如数据库对数据的存储和更新稳定、数据更新敏捷且可解释、能降低大模型输出出错的可能、便于管控用户隐私数据、可降低大模型的训练成本。 一个 RAG 的应用可以抽象为 5 个过程：文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量形式并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、输出（把问题以及检索出来的嵌入片一起提交给 LLM 生成答案）。
2024-10-08
什么是RAG技术
RAG 是检索增强生成（RetrievalAugmented Generation）的缩写，是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。 RAG 由两部分组成：一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案。这种结合使得 RAG 非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 一个 RAG 的应用可以抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档。 2. 文本分割（Splitting）：把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储（Storage）：包括将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2024-10-06
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大语言模型（LLM）需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳，还存在丢失原有知识的风险。 3. 输出难以解释和验证，结果可能受幻觉等问题干扰，且内容黑盒不可控。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 在 Natural Questions、WebQuestions 和 CuratedTrec 等基准测试中表现出色，在使用 MSMARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、具体且多样，FEVER 事实验证使用 RAG 后也有更好结果。基于检索器的方法越来越流行，常与 ChatGPT 等流行 LLM 结合使用以提高能力和事实一致性。 在商业化问答场景中，优化 AI 更准确回答问题的过程中，RAG 是一个专业术语。RAG 由检索器和生成器组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，能提供详细准确的回答。
2024-10-01
知识库都有哪些提示词框架
以下是一些常见的提示词框架： ICIO 框架：包括 Instruction（指令）、Context（背景信息）、Input Data（输入数据）、Output Indicator（输出引导）。 CRISPE 框架：涵盖 Capacity and Role（能力和角色）、Insight（见解）、Statement（声明）、Personality（个性）、Experiment（实验）。 BROKE 框架：包含 Background（背景）、Role（角色）、Objectives（目标）、Key Result（关键结果）。 TRACE 框架：有 TASK（任务）、REQUEST（请求）、ACTION（行动）、CONTEXT（上下文）、EXAMPLE（示例）。 ERA 框架：包括 EXPECTATION（期望）、ROLE（角色）、ACTION（行动）。 CARE 框架：由 CONTEXT（上下文）、ACTION（行动）、RESULT（结果）、EXAMPLE（示例）组成。 ROSES 框架：包含 ROLE（角色）、OBJECTIVE（目的）、SCENARIO（方案）。 Evolve 框架：包括试验并改进，通过改进输入、改进答案、重新生成等方法。 APE 框架。 COAST 框架：包含 CONTEXT（上下文背景）、OBJECTIVE（目的）、ACTION（行动）、SCENARIO（方案）、TASK（任务）。 TAG 框架：包括 TASK（任务）、ACTION（行动）、GOAL（目标）。 RISE 框架。
2024-10-17
推荐一些知识库系统
以下为您推荐一些知识库系统： 1. 专家系统： 是符号人工智能的早期成就之一，为充当有限问题领域的专家而设计。 包含从人类专家提取的知识库、推理引擎以及问题记忆。 推理引擎协调问题状态空间的搜索过程，必要时向用户提问。 例如根据动物物理特征判断动物的专家系统，可通过绘制 ANDOR 树或使用规则来表示知识。 2. AI Agent 中的外置知识： 由外部数据库提供，特点是能够动态更新和调整。 涉及多种数据存储和组织方式，包括向量数据库、关系型数据库和知识图谱。 实际应用中常采用 RAG 架构，结合检索和生成，增强模型的生成能力。 3. 知识管理体系： 是组织和管理信息、数据和知识的方法，帮助个人或组织有效捕捉、组织、访问和使用知识，提高效率、创新能力和决策质量。 包括收集信息、整理知识、分享经验、促进学习和创新等流程，以及分类、标签和索引等组织方式。 关键组成部分有知识的捕捉、组织、分享和应用。 创建知识管理体系可提高效率、增强决策能力、促进创新和增强适应能力。
2024-10-16
如何创建知识库？
创建知识库主要有以下两种方式： 1. 创建并上传表格数据： 在页面顶部进入知识库页面，并单击创建知识库。 在弹出的页面配置知识库名称、描述，并单击确认。需注意一个团队内的知识库名称不可重复，必须是唯一的。 在单元页面，单击新增单元。 在弹出的页面，选择表格格式，然后选择一种上传方式完成数据上传。 2. 创建并上传文本内容： 登录。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入知识库页面，并单击创建知识库。 在弹出的页面配置知识库名称、描述，并单击确认。同样一个团队内的知识库名称不可重复，必须是唯一的。 在单元页面，单击新增单元。 在弹出的页面选择要上传的数据格式，默认是文本格式，然后选择一种文本内容上传方式完成内容上传。 此外，还可以参考以下文章获取更详细的信息：
2024-10-15
你好，你的知识库管理采用的大模型流程是什么，请勇mermaid说明一些
以下是关于大模型流程的详细说明： RAG（Retrieval Augmented Generation，检索增强生成）技术应用于利用大模型能力搭建知识库，其流程主要包括以下 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割（Splitting）：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出（Output）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 从用户提出问题开始，还经历了以下流程： 1. 用户问题的理解。 2. 根据用户问题进行路由。 3. 进行初步的检索。 4. 对初步检索的结果进行重排序。 5. 将重排序后的结果和用户的查询意图组合成上下文输入给大模型。 6. 大模型通过指定的提示词生成输出结果。 需要注意的是，重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制。可以设置一个阈值进行截断，比如只使用前 3 5 个文档；也可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档。一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。 在大模型输出结果后还有后置处理，可能包括敏感内容检测和移除、格式化输出等。 LLM 的工作原理可以这样理解：以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对这句话加入更多的信息来补充，比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个 Attention 层进行补充。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。总结起来就是大模型以词向量和 Transformer 的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这就像人脑在阅读学习的过程，记忆的不是点状的知识，而是网状的经验。
2024-10-15
如何通过ollama 搭建本地知识库
以下是通过 Ollama 搭建本地知识库的步骤： 1. 了解背景：本文思路来源于视频号博主黄益贺，旨在分享如何部署本地大模型及搭建个人知识库，让您了解相关核心技术及流程。 2. Ollama 简介：Ollama 是一个开源框架，用于简化本地运行大型语言模型的过程，是轻量级、可扩展的，提供简单 API 和预构建模型库，适合初学者和非技术人员，能推动大型语言模型的发展和应用。 3. 安装 Ollama：官方下载地址为 https://ollama.com/download ，安装完成后可通过访问特定链接判断是否安装成功。 4. 运行本地大模型：安装完成后，在命令行中运行相应命令，模型名称可通过查看，如选择 llama2 大模型，可根据机器配置选择合适参数的模型，运行时 Ollama 会自动下载大模型到本地。 此外，还有关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG 的相关内容，包括加载所需库和模块、从订阅源获取内容、为文档内容生成向量等步骤。
2024-10-12
请简要介绍WaytoAGI知识库
WaytoAGI 是一个由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库。 在短短一年间，靠着口口相传拥有高达数千万的访问量。其知识库内容丰富，涵盖了 AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，还包含赛事和活动以促进大家动手实践，有 AI 领域的最新进展、教程、工具和一线实战案例。 WaytoAGI 不仅是一个普通的技术社区，更是一个汇聚行业顶尖创作者和 KOL 的思想交流平台，社区制作的优质作品多次登上央视首页，广受好评。 它还孵化了如离谱村等大型共创项目，离谱村是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易、更感兴趣。参与者不分年龄层，都可以通过 AI 工具创作出各种各样的作品。 “通往 AGI 之路”的品牌 VI 融合了独特的设计元素，以彩虹色彰显多元性和创新，以鹿的形象象征智慧与优雅，通过非衬线字体展现现代感和清晰性，共同构建了一个充满活力和前瞻性的品牌形象。
2024-10-11
openai的接口怎么调用，提示词怎么写
以下是关于 OpenAI 接口调用和提示词编写的相关知识： OpenAI 接口调用： OpenAI API 可应用于众多涉及生成自然语言、代码或图像的任务。提供了不同能力级别的模型，适用于不同任务，还能微调自定义模型。这些模型可用于内容生成、语义搜索、分类等众多领域。 提示词编写： 1. 设计提示词本质上是对模型进行“编程”，通常通过提供指令或示例完成，与多数专为单个任务设计的 NLP 服务不同，补全和聊天补全几乎可用于任何任务，如内容或代码生成、摘要、扩展、对话、创意写作、风格转换等。 2. 遵循最简化原则： 不需要包含作者信息，如“author”“version”等不相关信息。 避免分类错误，将输出错误分类到目标中，如“提供改进建议，以及改进原因”和“对用户的 Prompt 进行评分 1~10 分，10 分为满分”应明确区分。 注意拼写正确，如“Constraints”的正确拼写。 常见的限制条件包括内容长度限制、内容类型限制、逻辑和一致性限制、风格和语调限制。 避免无意义或重复的描述，如“理解中文语义”“评估和打分文本质量”“提供文本改进建议”等。 注意 Markdown 格式的正确使用，如“ Profile: Goals:”的结构错误，应将 Goals 放到“ Role”层级下面。 在给定的 API 请求中处理的 Token 数量取决于输入和输出长度。对于英文文本，1 个 Token 大约相当于 4 个字符或 0.75 个单词。您的文本提示词和生成的补合起来不能超过模型的最大上下文长度（对于大多数模型，这是 2048 个 Token，或大约 1500 个单词）。可以查看 OpenAI 的分词器工具来了解有关文本如何转换为 Token 的更多信息。
2024-10-17
opeai api接口在哪里
OpenAI 通过两种方式提供服务： 1. 通过 ChatGPT，提供开箱即用的服务，直接对话即可，简单直观。 2. 通过 OpenAI API，提供更加灵活的服务，通过代码调用，来完成更多自动化任务，比如全自动将本地的 1 万本小说从中文翻译成英文。 如果您想获取 OpenAI API 接口，可以按照以下步骤进行： 1. 搭建 ，这东西是为了汇聚整合多种大模型接口，方便您后面更换使用各种大模型。下面会告诉您怎么去白嫖大模型接口。 2. 搭建 ，这东西就是个知识库问答系统，您把知识文件放进去，再把上面的大模型接进来，作为分析知识库的大脑，最后回答您的问题。如果您不想接到微信去，自己用用，其实到这里搭建完就 OK 了，它也有问答界面。 3. 搭建 ，里面的 cow 插件能进行文件总结、MJ 绘画的能力。 完成上面 3 步就算 OK 了。
2024-10-05
图片去文字的接口
以下是一个移动端图片视觉处理以去除试卷拍照中书写笔迹的方法： 1. 图像预处理 图像去噪：运用去噪算法，例如高斯滤波、中值滤波，来去除图像中的噪声。 图像增强：通过增强算法，像直方图均衡化、对比度增强，提高图像的清晰度和对比度。 2. 图像分割 采用图像分割算法将试卷图像中的书写笔迹和背景分离，常用的分割算法有阈值分割、边缘检测和基于区域的分割方法。 3. 文字检测 在分割后的图像中，使用文字检测算法，比如基于深度学习的文本检测模型，识别出试卷上的文字区域。 4. 文字识别 对检测到的文字区域进行文字识别，将文字内容转变为计算机可处理的文本数据。常用的文字识别技术包含基于深度学习的端到端文本识别模型和传统的 OCR（Optical Character Recognition）技术。 5. 后处理 根据需求进行后处理，例如去除残余的噪点、填补文字区域的空白等。 6. 机器学习模型训练（可选） 若有充足的数据，可以利用机器学习技术训练模型，通过学习样本中的书写笔迹特征来自动去除试卷上的笔迹。 7. 优化算法
2024-09-18
哪个国内写作ai可以提供免费接口
目前国内有以下写作 AI 可以提供免费接口： 阿里的接口，创建 API key 即可。 有免费接口。 也有免费接口。但国内的大模型大多限制一定免费额度的 Token。 此外，还有以下辅助编程的 AI 产品： 6.CodeFuse：蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手，该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。 7.Codeium：一个由 AI 驱动的编程助手工具，旨在通过提供代码建议、重构提示和代码解释来帮助软件开发人员，以提高编程效率和准确性。更多辅助编程 AI 产品，还可以查看这里：https://www.waytoagi.com/category/65 。 在写作方面，以下是一些相关信息： 最佳免费选项：。 付费选项：带有插件的4.0/ChatGPT 。目前，GPT4 仍然是功能最强的人工智能写作工具，您可以在 Bing（选择“创新模式”）上免费访问，或者通过购买 ChatGPT 的$20/月订阅来访问。然而，Claude 是紧随其后的第二名，也提供了有限的免费选项。这些工具也被直接集成到常见的办公应用程序中。Microsoft Office 将包括一个由 GPT 提供支持的副驾驶，Google Docs 将整合 Bard 的建议。
2024-09-08
哪个写作ai可以提供免费接口
以下是一些可以提供免费接口的写作 AI： 1. Bing：可通过访问。 2. Claude 2： 3. 国内的通义千问大模型：，创建 API key 即可。 4. 智谱 AI（ChatGLM）： 5. 科大讯飞（SparkDesk）： 需要注意的是，国内的大模型大多限制一定免费额度的 Token。此外，谷歌的 Gemini 大模型（gemini 1.5）、海外版 Coze 的 GPT4 模型是免费且能图片识别，但需要给服务器挂梯子。想使用的话，可参考张梦飞同学写的教程，里面有手把手教您怎么给服务器科学上网以及怎么使用海外版 Coze 的方法。
2024-09-08
写作ai免费提供接口
以下是一些关于写作 AI 免费接口的信息： 最佳免费选项：4.0/ChatGPT。目前，GPT4 是功能最强的人工智能写作工具，可在 Bing（选择“创新模式”）上免费访问，或通过购买 ChatGPT 的$20/月订阅来访问。Claude 紧随其后，也提供有限免费选项。 儿童汉语词典的免费 API ：API 文档为 http://ccdb.hemiola.com/ 。接口包括：通过拼音进行汉字搜索的 http://ccdb.hemiola.com/characters/mandarin/(拼音数字=>声） ；按照康熙部首偏旁编号来查询某一个部首下汉字的 http://ccdb.hemiola.com/characters/radicals/数字 ；包含两个参数（第一个为康熙部首编号，第二个为去掉部首后的笔画数）的 http://ccdb.hemiola.com/characters/radicals/数字1?strokes=数字2 ；按照笔画总数来查字的 http://ccdb.hemiola.com/characters/strokes/数字 。但该 API 于 2018 年停止更新。 ChatGPT API 接入条件：已成功注册 OpenAI 的账号即可访问网站。注意 API 调用收费，但 OpenAI 免费提供 5 美元用量。
2024-09-08