单轮对话与多轮对话调用

在飞书上可以上传您的相关文档并将其作为知识库进行对话。具体操作如下： 1. 您需要一个额外的软件：AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 2. 在 AnythingLLM 中，有一个 Workspace 的概念，您可以创建自己独有的 Workspace 与其他项目数据进行隔离。操作步骤为： 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，AnythingLLM 提供了两种对话模式： Chat 模式：大模型会根据自己的训练数据和您上传的文档数据综合给出答案。 Query 模式：大模型仅仅会依靠文档中的数据给出答案。 测试对话。 3. 另外，您还可以参考以下操作在飞书上创建知识库并上传文本内容： 登录 。 在左侧导航栏的工作区区域，选择进入指定团队。 在页面顶部进入知识库页面，并单击创建知识库。在弹出的页面配置知识库名称、描述，并单击确认（一个团队内的知识库名称不可重复，必须是唯一的）。 在单元页面，单击新增单元。 在弹出的页面选择要上传的数据格式（默认是文本格式），然后选择一种文本内容上传方式完成内容上传。上传方式如下： 本地文档： 在文本格式页签下，选择本地文档，然后单击下一步。 将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档。目前支持上传.txt、.pdf、.docx 格式的文件内容，每个文件不得大于 20M，一次最多可上传 10 个文件。当上传完成后单击下一步。 选择内容分段方式： 自动分段与清洗：系统会对上传的文件数据进行自动分段，并会按照系统默认的预处理规则处理数据。 自定义：手动设置分段规则和预处理规则。分段标识符：选择符合实际所需的标识符。分段最大长度：设置每个片段内的字符数上限。文本预处理规则：替换掉连续的空格、换行符和制表符，删除所有 URL 和电子邮箱地址。单击下一步完成内容上传和分片。

多轮对话的实现方式如下： 1. 核心思路是让 AI 和您对目标的理解达成共识，保持一致，然后再开始创作，这样能增加创作的可控性。比如通过对生成图像的理解诱导和迭代来实现。 2. 有效的部分包括： 约束的弹性，在探索阶段给 AI 一定自由空间，而 prompt 一般是强约束的，更适合确定性的目标或者用于总结阶段。 情绪，情绪化能局部提升 AI 效能。 共识，您的理解和 AI 的理解要高度一致，在高共识性的背景下，调整和控制会更有效。 3. 注意事项： 如果经历很多轮的对话，可能会导致此次对话超过模型的 token 限制，ChatGPT 会遗忘之前的内容。建议当经历多轮对话后，可以新建一个聊天窗口，把完整的代码和需求背景输入给 ChatGPT，重新开启新的提问。 在自然的人类语言交流中，多轮对话常常伴随着指代问题的产生。为了提升对话系统的性能和用户体验，需要开发提示词来解决多轮对话中的指代消解问题，并确保模型能够在连续的交流中提供准确、连贯的回答。由于“指代消解”需要多轮对话来完成，单次交互无法达成，所以需要将测试形式进行转换，先解决“指代消解”的问题，然后再进行下一轮答复。

RAG（检索增强生成）工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 的基本概念： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成的质量和准确性。其基本流程为，首先给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文），然后将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示指导模型生成期望输出（如答案或摘要），最后从大模型的输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出多个内容块。 2. 大模型对话部分：将相关信息传递给 LLM 最终得到 AI 的回答。

单轮对话与多轮对话调用： 聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息格式化，然后交替使用用户消息和助手消息。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 百炼相关 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 记得第一天提到，规定模型不能用搜索和投喂输出文本。比赛是不是只限在提示词调试的范围内呢？ 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？

RAG 工作流主要包括以下几个阶段： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本，整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），RAG 从数据源（如网页、文档、数据库记录）中检索出相关文本片段（即上下文）。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。最后，从大模型输出中提取或格式化所需信息返回给用户。 在实际调试预览中，例如： 1. 知识库检索部分：把输入的问题通过 Embedding 做向量化，使用 qwen 语言模型优化问题、添加接近的检索词，知识库向量检索时抽取条件包含相似度 0.85，通过检索抽取出 11 个内容块。 2. 大模型对话部分：将相关信息传递给 LLM（大语言模型），最终得到 AI 的回答。

目前通过对话来全面了解一个人的生平并生成其回忆录或自传具有一定的挑战性。虽然自然语言处理和人工智能技术在理解和处理语言方面取得了显著进展，但要准确、完整地捕捉一个人一生的复杂经历、情感和细节仍然存在困难。 然而，利用 AI 技术可以在一定程度上辅助这一过程。例如，可以通过与个人的多次深入交流，提取关键信息和重要事件，并运用语言生成模型来初步构建相关内容。但这需要大量的交互和精细的引导，并且生成的结果可能还需要人工进一步的编辑和完善，以确保其准确性和真实性。 总之，虽然完全依靠对话实现完美的个人回忆录或自传生成尚有难度，但 AI 可以作为一个有潜力的辅助工具来参与这一过程。

以下是优化 AI 对话脚本和逻辑（多轮对话测试提升 AI 上下文理解）的方法： 1. 样例驱动的渐进式引导法 评估样例，尝试提炼模板：独自产出高质量样例较难，可借助擅长扮演专家角色的 AI 改进初始正向样例，如使用 Claude 3.5 进行对话，输入初始指令，通过其回复侧面印证对样例的理解与建议。 多轮反馈，直至达到预期：AI 可能犯错输出要求外内容，需多轮对话引导，使其不断修正理解，直至达成共识。 用例测试，看看 AI 是否真正理解：找 13 个用例，让 AI 根据模板生成知识卡片，根据结果验证是否符合预期，不符合则继续探讨调整。用例测试和多轮反馈步骤灵活，可根据需要自由反馈调整。 2. Coze 全方位入门剖析 标准流程创建 AI Bot（进阶推荐） 为 Bot 添加技能：国内版暂时只支持使用“云雀大模型”作为对话引擎，可根据业务需求决定上下文轮数。在 Bot 编排页面的“技能”区域配置所需技能，可选择自动优化插件或自定义添加插件。还可根据需求配置知识库、数据库、工作流等操作，参考相关介绍和实战操作或官方文档学习。 测试 Bot：在“预览与调试”区域测试 Bot 是否按预期工作，可清除对话记录开始新测试，确保能理解用户输入并给出正确回应。

在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。

在多轮对话训练中，让模型掌握情感需求可以通过以下几种方式： 1. 利用相关数据集进行训练，例如： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 2. 在创建提示时采用结构化模式，为模型提供一些情感需求的示例，如： |输入|输出| ||| |一部制作精良且有趣的电影|积极的| |10 分钟后我睡着了|消极的| |电影还行|中性的| 然后单击页面右侧的提交按钮。该模型现在可为输入文本提供情绪。还可以保存新设计的提示。 3. 在多轮次对话中，定期总结关键信息，重申对话的目标和指令，有助于模型刷新记忆，确保准确把握对话的进展和要点。 4. 进行意图识别和分类，特别关注在单一模型或情境中处理多个小逻辑分支的情况。例如在客户服务场景中，快速确定用户提出咨询、投诉、建议等多种类型请求的意图，并分类到相应处理流程中。

目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说，要训练模型掌握情感需求，可以从以下几个方面考虑： 1. 数据收集：收集包含丰富情感表达的车载语音对话数据，包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取：从语音和文本数据中提取能够反映情感的特征，如语音的语调、语速、音量，文本中的词汇、句式、语义等。 3. 模型选择：选择适合处理情感分析任务的模型架构，如基于深度学习的循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）等。 4. 情感标注：对收集的数据进行准确的情感标注，以便模型学习不同情感的模式。 5. 多模态融合：结合语音和文本等多模态信息，提高情感识别的准确性。 6. 优化算法：采用合适的优化算法来训练模型，调整模型的参数，以提高模型的性能。 7. 模型评估：使用合适的评估指标来评估模型在情感需求掌握方面的性能，并根据评估结果进行调整和改进。

以下是通过 API 调用大模型的相关步骤： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件：需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 4. 本地部署教学（node.js）小白推荐： 申请大模型的 API 接口： silicon 硅基接口：官方提供的接入 API 的教学文档。以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。silicon 注册和使用地址：邀请码：ESTKPm3J（谢谢支持）。注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥。单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 智普 GLM4 接口：正在 BigModel.cn 上用智谱 API 打造新一代应用服务，通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利，期待和您一起在 BigModel 上探索 AGI 时代的应用；链接：https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D。进入个人中心，先完成实名认证，再单击左边栏 API KEYS 或右上角的 API 密钥，进入后单击右上角的添加 API，鼠标移至密钥上方，单击复制即可得到智普的 APIkey。这一步做的是注册 silicon 和智普 GLM 的大模型账号，申请 API 密钥，保存密钥，等下配置需要填写。密钥一定要保管好不能公开，否则后果很严重。

以下是关于开源模型与闭源模型调用的相关信息： 1. 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为。Compass Arena 集齐了国内主流的 20 多款大模型，用户可在平台选择大模型的两两“对战”。 2. 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构，但坚称发布的模型从零开始训练并进行了大量原创优化和突破。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型，此行为触犯了 OpenAI 使用协议中禁止的条款。 3. 在 LLM 应用程序中，OpenAI 已成为语言模型领域领导者，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。项目投入生产并规模化时，有更多选择，如切换到 gpt3.5turbo，其比 GPT4 便宜约 50 倍且速度更快；与其他专有供应商如 Anthropic 的 Claude 模型进行实验；将一些请求分流到开源模型，这通常与微调开源基础模型结合更有意义。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。

以下是通过 API 调用大模型的相关步骤： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 4. 申请大模型的 API 接口（以 silicon 硅基接口为例）： 官方提供的接入 API 的教学文档。 以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。 silicon 注册和使用地址： 邀请码：ESTKPm3J（谢谢支持） 注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥。 单击密钥即可完成 API 密钥的复制。 silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。 这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 5. 申请大模型的 API 接口（以智普 GLM4 接口为例）： 正在 BigModel.cn 上用智谱 API 打造新一代应用服务，通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利，期待和您一起在 BigModel 上探索 AGI 时代的应用；链接：https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D 进入个人中心，先完成实名认证，再单击左边栏 API KEYS 或右上角的 API 密钥，进入后单击右上角的添加 API。 鼠标移至密钥上方，单击复制即可得到智普的 APIkey。 这一步做的是注册 silicon 和智普 GLM 的大模型账号，申请 API 密钥，保存密钥，等下配置需要填写。 密钥一定要保管好不能公开，否则后果很严重。

开源模型与闭源模型调用相关信息如下： 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为：https://opencompass.org.cn/arena 。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台，集齐了国内主流的 20 多款大模型。 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型。 在 LLM 应用程序中，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。当项目投入生产并规模化时，常见的选择包括切换到更便宜且速度更快的 gpt3.5turbo，与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验，将一些请求分流到开源模型等。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。

开源模型与闭源模型调用相关信息如下： 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已经上线中国大语言模型评测竞技场 Compass Arena，所有人都可以登录体验 Qwen2 的性能，或者选择 Qwen2 模型与其他大模型进行对比测评。测评地址：https://opencompass.org.cn/arena 。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台，集齐了国内主流的 20 多款大模型。 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构，但坚称发布的模型都是从零开始训练的，并进行了大量原创性的优化和突破。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型，这触犯了 OpenAI 使用协议中明确禁止的条款。 在 LLM 应用程序中，OpenAI 已成为语言模型领域的领导者，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。当项目投入生产并开始规模化时，常见的选择包括切换到 gpt3.5turbo、与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验、将一些请求分流到开源模型等。开源模型可以使用多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、来自主要云提供商的原始计算资源等。