Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

RAG工作流搭建

Answer

RAG（检索增强生成）工作流搭建主要包括以下步骤：

  1. 文档加载：从多种不同来源加载文档，如包括 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。
  2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。
  3. 存储：
    • 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。
    • 将 Embedding 后的向量数据存储到向量数据库。
  4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。
  5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

RAG 是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。其基本流程为：首先，给定一个用户的输入，如问题或话题，RAG 会从数据源中检索出相关的文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型，并包含提示指导模型生成期望输出。最后，从大模型输出中提取或格式化所需信息返回给用户。

此外，还有相关的学习资源，如用 Coze 学习 RAG 的视频演示，包括 Query 改写效果对比 Bot 和 RAG 全流程学习 Bot 等。同时，也有关于如何使用 LangChain 开发简单 RAG 问答应用的介绍。

Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前，我们需要先对RAG有一个大概的了解。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程：文档加载（Document Loading）：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等文本分割（Splitting）：文本分割器把Documents切分为指定大小的块，我把它们称为“文档块”或者“文档片”存储（Storage）：存储涉及到两个环节，分别是：将切分好的文档块进行嵌入（Embedding）转换成向量的形式将Embedding后的向量数据存储到向量数据库检索（Retrieval）：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片Output（输出）：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案[heading2]文本加载器（Document Loaders）[content]文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理

胎教级教程：万字长文带你理解 RAG 全流程

视频演示：[20240831233346_rec_.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/JdVJb2UpCohFVkxEUxzcSLYbn6d?allow_redirect=1)Query改写效果对比Bot这个Bot用来对比Query改写和未改写的区别。使用之前秘塔搜索的案例，通过对Query进行改写和非改写，对比搜索结果来理解Query改写的优势Bot地址：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15视频演示：[20240831234101_rec_.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/T2d3bP5T0oTEvSx7jfocql9Xnw0?allow_redirect=1)RAG全流程学习Bot这个Bot我花费了很长的时间，通过结合对RAG全流程的了解，使用Coze的工作流，主要是结合大模型，模拟了RAG的离线存储和在线检索全流程PS：这个流程还是一个玩具，因为对于向量化这块我直接使用了提示词和大模型，这是非常不严谨的，理论上应该直接介入Embedding模型的API，这个后面我会考虑，这里只是给大家展示思路我们直接看视频[20240925235024_rec_.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Y8OcbANyto0UytxZha7c700XnWh?allow_redirect=1)

开发：LangChain应用开发指南-大模型的知识外挂RAG

原创AI小智AI小智2023-12-11 08:10发表于湖北AI大模型能够处理广泛主题的文本生成，但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用，你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中，即检索增强生成（Retrieval Augmented Generation，RAG）。在本文中，我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构，讨论相关的LangChain组件，并展示如何跟踪和理解我们的应用。[heading3]RAG的基本概念[content]RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。

Others are asking
目前的 rag 框架都有哪些
目前常用的 RAG 框架有 LangChain。 LangChain 是一个为简化大模型应用开发而设计的开源框架。它具有以下特点： 1. 提供一套模块化的工具和库，便于开发者轻松集成和操作多种大模型。 2. 设计注重简化开发流程，能让开发者将更多精力投入到创造应用的核心价值上。 3. 支持广泛的模型，具备良好的可扩展性，以适应不断变化的业务需求。 4. 作为得到社区广泛支持的开源项目，拥有活跃的贡献者和持续的更新。 5. 提供了全面的文档和示例代码，有助于新用户快速掌握。 6. 在设计时充分考虑了应用的安全性和用户数据的隐私保护。 7. 是一个多语言支持的灵活框架，适用于各种规模的项目和不同背景的开发者。 LangChain 官方手册：https://python.langchain.com/docs/get_started/introduction/
2025-01-07
RAG工作流对话调试
RAG（检索增强生成）工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 的基本概念： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成的质量和准确性。其基本流程为，首先给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文），然后将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示指导模型生成期望输出（如答案或摘要），最后从大模型的输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出多个内容块。 2. 大模型对话部分：将相关信息传递给 LLM 最终得到 AI 的回答。
2025-01-06
RAG工作流搭建
RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如非结构化的 PDF 数据、结构化的 SQL 数据、代码等，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入，如问题或话题，从数据源中检索出相关文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型，并包含提示指导模型生成期望输出。最后，从大模型输出中提取或格式化所需信息返回给用户。 此外，您还可以通过以下方式学习 RAG： 1. 观看视频演示，如： 2. 利用相关 Bot 进行学习，如： Query 改写效果对比 Bot：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 RAG 全流程学习 Bot：结合大模型，模拟 RAG 的离线存储和在线检索全流程。 您还可以参考如何使用 LangChain 开发一个简单的 RAG 问答应用。
2025-01-06
RAG与Agent如何结合应用
RAG 与 Agent 的结合应用可以通过以下步骤实现： 1. 数据加载：根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader 加载和解析，返回文档对象。 2. 文本分割：依据文本特点选择合适的文本分割器，将文档对象分割成较小的对象，如博客文章可用 RecursiveCharacterTextSplitter 分割。 3. 嵌入与存储：使用文本嵌入器和向量存储器将文档对象转换为嵌入并存储，根据质量和速度选择合适的，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 4. 创建检索器：通过向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数，创建用于根据用户输入检索相关文档对象的检索器。 5. 创建聊天模型：根据性能和成本选择合适的聊天模型，如使用 OpenAI 的 GPT3 模型，根据用户输入和检索到的文档对象生成输出消息。 以餐饮生活助手为例，基于结构化数据来 RAG 实战： 1. 定义餐饮数据源：将餐饮数据集转化为 Langchain 可识别和操作的数据源，如数据库、文件、API 等，并注册到 Langchain 中，提供统一接口和方法供 LLM 代理访问和查询。 2. 定义 LLM 的代理：通过 Langchain 的代理（Agent）实现，代理管理器可让开发者定义不同的 LLM 代理及其功能和逻辑，提供统一接口和方法供用户交互。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-01-06
RAG的经典应用场景
RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提问后，RAG 从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
2025-01-06
RAG技术基本了解
RAG（Retrieval Augmented Generation，检索增强生成）是一种结合信息检索和文本生成能力的技术，主要用于处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 其基本流程包括以下几个步骤： 1. 文档加载：从多种不同来源加载文档，如 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 由两部分组成：一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案。 在实际应用中，例如构建能够利用私有数据或实时数据进行推理的 AI 应用时，将相关信息检索并插入到模型的输入中，即检索增强生成，可以提高生成的质量和准确性。首先给定一个用户的输入，RAG 会从一个数据源中检索出与之相关的文本片段作为上下文，然后将用户的输入和检索到的上下文拼接成一个完整的输入传递给大模型，最后从大模型的输出中提取或格式化所需的信息返回给用户。
2025-01-06
知识库搭建流程
搭建知识库的流程通常包括以下几种情况： 本地部署大模型及搭建个人知识库： 1. 了解 RAG 技术：RAG 是利用大模型能力搭建知识库的应用，在需要依靠不在大模型训练集中的数据时，通过检索增强生成。其过程包括文档加载（从多种来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据及代码）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块嵌入转换为向量形式并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 2. 文本加载器：将用户提供的文本加载到内存中以便后续处理。 利用 Coze 搭建知识库： 1. 收集知识：确认知识库支持的数据类型，收集知识通常有三种方式，包括企业或个人沉淀的 Word、PDF 等文档，企业或个人沉淀的云文档（通过链接访问），互联网公开的一些内容（可安装 Coze 提供的插件采集）。 2. 创建知识库。 3. 创建数据库用以存储每次的问答。 4. 创建工作流。 5. 编写 Bot 的提示词。 6. 预览调试与发布。 信息管理与知识体系构建： 1. 信息源的选择：明确需求和兴趣点，选择相关信息源，保证信息质量和相关性。 2. 信息通路的建立：通过工具和方法，如浏览器插件、笔记应用等，建立稳定的信息获取和存储机制。 3. 知识结构化：使用笔记方法和工具，对收集的信息分类、标签化和链接，形成结构化知识体系，便于检索和应用。 4. 知识内化与应用：定期复习、思考和实践，将外部信息转化为个人知识，并在实际中应用解决问题。
2025-01-06
dify智能体搭建
搭建 Dify 智能体的步骤如下： 1. 理解智能体母体：智能体母体可视为智能体的原型或基础形式，是创建智能体的原始模板，通过它能衍生出众多子智能体。其设计和功能为子智能体的特定任务和特性提供基础，扩展了应用范围和多样性。 2. 准备提示词：分享了用于构建和定制子智能体的提示词，可直接复制应用到项目中以创建和优化智能体满足特定需求和目标。 3. 实践创建智能体母体： 登录后台系统，点击“工作室”按钮，进入智能体管理界面。 点击“创建空白应用”选项，选择“Agent”，输入智能体名称并点击“创建”按钮。 完成创建后，点击所创建的智能体，进入编排页面。调整模型，选择所需模型并设置温度及输出长度参数（默认输出长度通常为 512，常需调整），然后输入提示词，可使用准备好的提示词模板编排进智能体。 另外，在搭建 AI 智能体时，还可参考以下步骤： 1. 设计 AI 智能体架构。 2. 规定稍后读阅读清单的元数据：新建飞书多维表格，根据管理需要定义元数据字段，如“内容”（超链接格式，显示页面标题，可点击跳转具体页面）、“摘要”（总结内容主题、关键信息、阅读价值，并指出适合的读者群体）、“作者”、“平台”、“状态”（收藏的默认态为“仅记录”）、“发布日期”、“收集时间”等。为方便操作，可直接复制准备好的模板：
2025-01-06
RAG工作流搭建
RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如非结构化的数据（包括 PDF）、结构化的数据（如 SQL）以及代码（如 Python、Java 等）。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），从数据源中检索出相关文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入，并添加提示传递给大模型（如 GPT）。最后，从大模型的输出中提取或格式化所需信息返回给用户。 您还可以通过以下资源进一步学习 RAG： 视频演示： Query 改写效果对比 Bot：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 视频演示： RAG 全流程学习 Bot：
2025-01-06
RAG技术路线知识库搭建流程
RAG 技术路线知识库搭建流程主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 在构建知识库的过程中，还涉及到文档解析环节，即将各种类型的资料（包括但不限于 Word、PDF、Excel 和图片等）转换成文字，为后续流程奠定基础。针对图片一般使用 OCR 图像识别技术，针对文档一般将其转换成 Markdown 格式。文档解析完成之后，要进行预处理。 基于 Coze 的知识库问答是典型的 RAG 方案，其重要一环是文档切片（Segment），但 RAG 方案存在一些缺点，如跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等。
2025-01-06
如何搭建一个本地的ai助手，通过学习本地文档进行训练
搭建一个本地的 AI 助手并通过学习本地文档进行训练，可参考以下步骤： 1. 设计 AI 机器人： 编写【prompt】提示词，设定 Bot 的身份和目标。 2. 创建知识库： 整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。 创建知识库路径：个人空间 知识库 创建知识库。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等，本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧：在内容中加上特殊分割符“”，以便于自动切分数据。分段标识符号选择“自定义”，内容填“”。 同一颜色代表同一个数据段，如果内容有误需要编辑，可以点击具体内容，鼠标右键会看到“编辑”和“删除”按钮，可以编辑或删除。 3. 创建工作流： 告诉 AI 机器人应该按什么流程处理信息。 创建工作流路径：个人空间 工作流 创建工作流。 工作流设计好后，先点击右上角“试运行”，测试工作流无误后，就可以点击发布。 如果任务和逻辑复杂，可以结合左边“节点”工具来实现。比如：可以在工作流中再次调用【大模型】，总结分析知识库内容；可以调用【数据库】存储用户输入的信息；可以调用【代码】来处理复杂逻辑等。 个人建议：工作流不必复杂，能实现目的即可，所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。 另外，您还可以参考以下 10 分钟在网站上增加一个 AI 助手的方法： 1. 搭建示例网站： 点击打开提供的函数计算应用模板，参考下图选择直接部署、并填写前面获取到的百炼应用 ID 以及 APIKEY。 其他表单项保持默认，点击页面左下角的创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 2. 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，然后取消③所在位置的代码注释即可。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了 AI 助手图标，点击即可唤起 AI 助手。
2025-01-06
0基础如何学习AI，并找到合适的工作
对于 0 基础学习 AI 并找到合适工作，以下是一些建议： 1. 基础知识学习： 了解 AI 的基本概念，包括人工智能、机器学习（监督学习、无监督学习、强化学习）、深度学习、生成式 AI 等。 学习相关技术名词的含义和关系，例如神经网络、神经元、大语言模型等。 2. 学习资源： 可以通过通俗易懂的视频来学习，比如了解什么是 AI 大模型及其原理。 3. 技术原理： 掌握 Transformer 模型，它基于自注意力机制处理序列数据，比传统的循环神经网络或卷积神经网络更适合处理文本的长距离依赖性。 4. 实践与项目： 从简单的项目入手，如使用 Scratch 项目进行编程练习。 逐渐参与更复杂的实践项目，积累经验。 5. 就业准备： 根据目标工作的要求，有针对性地提升技能。 制作优秀的简历和项目作品集，展示自己的能力和成果。 需要注意的是，学习 AI 需要时间和努力，并且要不断跟进领域的最新发展。
2025-01-07
RAG工作流对话调试
RAG 工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），RAG 从数据源（如网页、文档、数据库记录）中检索出相关文本片段（即上下文）。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。最后，从大模型输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用 qwen 语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出 11 个内容块。 2. 大模型对话部分：将相关信息传递给 LLM（大语言模型），最终得到 AI 的回答。
2025-01-06
工作流调用的提示词
以下是关于工作流调用的相关内容： 在百炼相关的问题中： 存在提示词让大模型调用工作流但实际未调用，且文档未写明调用方式的情况。 探讨了如何把开始节点的输入参数接入到代码节点中进行处理。 提到千问模型处理标点符号的问题，如在提示词要求句尾不要有句号但仍出现，以及在工作流中处理后回到应用中又加上标点符号，而同样的提示词在扣子中可以去掉标点符号。 询问规定模型不能用搜索和投喂输出文本，比赛是否只限在提示词调试范围内。 对同样的问题给出答案区别大的情况进行了讨论。 存在无论 prompt 怎么变，模型生成完内容后自动被“不生成任何标点符号”所替换的情况。 询问 COW 调用百炼应用是否支持多轮对话。 在安仔：Coze 全方位入门剖析中： 工作流是整个 AI Bot 的核心和灵魂部分。 开始节点定义了用户传入赋值的变量及变量描述，该描述就是工作流的提示词，当用户输入相关关键词如“查询航班”“查询机票”“查询航班信息”等，AI Bot 会调用工作流。 第二步通过大模型组件解析用户输入信息是否满足提示词条件，借助大模型组件可实现动态用户需求传入。 接着是条件判断，包括不满足条件时的处理方式。 在 ComfyUI JoyCaption 相关中： 整体工作流程包括用户输入图片、视觉模型提取关键特征、适配器转换特征为语言模型可理解形式、语言模型生成文本描述、系统输出最终图像描述文本。 工作流中分别使用了 JoyCaption、MiniCPM、ollama，也可只使用一个，但同时使用需要较高显存。 JoyCaption 出来的提示词有截断，解决办法是在开头加上“: ”和空格。
2025-01-04