基于TTS+LLM流式数字人的问答系统

系统学习 LLM 开发是一个系统性的过程，涵盖以下方面： 1. 掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理：熟悉 Transformer 模型架构及自注意力机制原理，掌握 BERT 的预训练和微调方法，阅读相关论文如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调：进行大规模文本语料预处理，使用 LLM 预训练框架如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署：掌握模型压缩、蒸馏、并行等优化技术，进行模型评估和可解释性研究，实现模型服务化、在线推理、多语言支持等。相关开源工具有 ONNX、TVM、BentoML 等。 5. LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。 以下是 2 月 19 日的 Xiaohu.AI 日报相关内容： 1. Large World Model探索：介绍了百万 Token 的通用世界大模型，旨在理解长视频和超长文本。LWM 在 100 万个令牌的上下文中超越 GPT4V 和 Gemini Pro 的检索精度，特色能力包括长视频理解、高精度事实检索和多格式内容生成。相关链接：https://largeworldmodel.github.io 、https://github.com/LargeWorldModel/LWM 、https://x.com/xiaohuggg/status/1759566391693504940?s=20 2. 世界上最快的大型语言模型：Mixtral 8X7B 输出速度为 500 token/s，Llama 2 7B 的速度是 750 tokens/s，速度快但准确性有待提高。相关链接：http://groq.com 、http://wow.groq.com 、https://x.com/xiaohuggg/status/1759457147962941852?s=20 3. Reddit 用户自制 GLIGEN GUI：由于缺少直观的 GUI，一个 Reddit 大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系，强调了用户对生成图像细节的控制能力。相关链接：https://github.com/mutex/gligengui 、https://gligen.github.io 、https://x.com/xiaohuggg/status/1759431911951450437?s=20

以下是关于 LLM 提示词编写的相关内容： 在“艾木：提示词编程｜有必要用 Lisp 语言写提示词吗？”中，“小确幸”这段提示词用 Lisp 语言描述了一个简单工作流，包含对用户输入文本的处理和生成 SVG 卡片等步骤，内部还有一系列子步骤和 fewshot examples。但大语言模型按程序描述的逻辑运行这类复杂程序有难度。 在“走入 AI 的世界”中，提示词（Prompt）是输入给大模型的文本内容，其质量会显著影响大模型回答的质量。 在“藏师傅教你用 AI 三步制作任意公司的周边图片，不用到处找样机文件”中，介绍了用 LLM 生成图像提示词的流程，包括获取 Logo 图片的描述，根据描述和生成意图生成图片提示词，将图片和提示词输入 Comfyui 工作生成等步骤，并给出了相关示例。

以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。

LLM（大型语言模型）和 AI Agent（人工智能智能体）存在以下区别： LLM 主要侧重于语言的理解和生成，具有强大的语言处理能力。它们在大规模语料库上进行预训练，能够通过少量样本展现出泛化能力。然而，其缺点是计算资源消耗大，可能存在偏见和误解。 AI Agent 则为人工智能应用程序提供了全新的功能，包括解决复杂问题、对外界采取行动以及在部署后从经验中学习。它们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这些功能。AI Agent 能够进行令人难以置信的演示，但目前大多数框架仍处于概念验证阶段，还不能可靠、可重现地完成任务。 基于 LLM 的 AI Agent 以 LLM 置于“大脑”或“控制器”的核心位置，赋予强大的语言理解和生成能力。为扩展感知和行动范围，采用多模态感知技术和工具利用策略，能理解和响应多种类型输入，并与环境有效互动。通过思维链和问题分解技术展现出推理和规划能力，还能从反馈中学习并执行新行动，表现出类似反应式 Agent 的特性。其已在软件开发、科学研究等现实场景中应用，能利用自然语言理解和生成能力与其他 Agent 交流协作。特点是基于大规模神经网络，特别是 Transformer 架构，技术上有 Llama、GPT 等预训练大型语言模型，优点是强大的语言理解、生成和对话能力，缺点是计算资源消耗大，可能存在偏见和误解。

以下是关于调教 LLM 写好提示词的相关内容： 1. 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入将工具信息及使用工具的提示词添加到系统提示中，其中 INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 理解和使用工具，编写时注意用无关紧要的工具作示例避免混淆。tools_instructions 可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，若接口不接受，可改为回传给 user 角色。 2. 藏师傅教您用 AI 三步制作任意公司的周边图片： 整个流程分为三个部分：获取 Logo 图片的描述、根据 Logo 图片的描述和生成意图生成图片提示词、将图片和提示词输入 Comfyui 工作生成。 用下面的提示词生成关于 Logo 图片的描述：为帮助视障艺术家，需详细描述图像内容，包括摄影、标志设计等方面，控制在 50 字左右。 用 LLM 生成图像提示词：将第一步生成的提示词填入{图像描述}位置，将想生成的周边填入{周边描述}部分。 3. 小七姐：Prompt Engineering a Prompt Engineer 精读翻译： 提示词工程是优化大型语言模型性能的具有挑战性但至关重要的任务，需要复杂推理检查模型错误等。 研究了“PROMPT ENGINEERING A PROMPT ENGINEER”的问题，介绍并分析关键组成部分，如逐步推理模板和上下文规范等。 最终方法 PE2 在多个数据集和任务中表现出色，能进行有意义和针对性的提示词编辑，展现出反事实推理能力。

LLM 对未来的影响主要体现在以下几个方面： 1. 应用程序架构：代理有可能成为 LLM 应用程序架构的核心部分，为人工智能应用程序提供解决复杂问题、对外界采取行动以及从经验中学习等全新功能。但目前大多数代理框架仍处于概念验证阶段。 2. 能力拓展：未来的大型语言模型将能够读取和生成文本，拥有更丰富的知识，能利用现有软件基础架构，具备查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考、在特定领域自我优化以及针对特定任务定制和调整等能力。 3. 落地应用：LLM 技术正从 demo 向落地阶段发展，在达到一定水平后，其在各个业务场景中的实用性将大大提升。但当前大部分应用仍处于探索阶段，在推理、训练学习效率等方面还有待提高，且与视觉、触觉等技术的搭配尚未成熟。同时，关于数据驱动的概率模型和由第一性原理建立的数理模型如何更好地模拟世界以及两者的融合方式仍有待解决。在应用方面，包括自然语言、ToB、ToC 等领域。

对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法包括平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。其中 MOS 评测较为宽泛，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价标准，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果易受干扰，如音频样本呈现形式、有无上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行测评，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包两种，实验室方式能稳定保证实验环境，但人力成本高；众包方式易于获得有效评估结果，但无法确保试听条件。

对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法有平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。MOS 评测较为灵活，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟（ITU）将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果受干扰因素多，如音频样本呈现形式、上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包，实验室方式能控制测试要素，但人力成本高；众包易于获得评估结果，但无法确保试听条件。

上海交通大学开源了 F5TTS 语音合成技术，这是一种完全非自回归的文本到语音系统，通过流匹配与扩散变换器实现。它简化了传统的 TTS 系统设计，不需要复杂的时长模型、文本编码器和音素对齐，而是将文本输入用填充标记填充到与输入语音相同的长度，并利用 ConvNeXt 模型对文本表示进行细化以与语音对齐。 F5TTS 的模型特点包括： 1. 零样本声音克隆。 2. 速度控制（基于总时长）。 3. 可以控制合成语音的情感表现。 4. 长文本合成。 5. 支持中文和英文多语言合成。 6. 在 10 万小时数据上训练。 7. 最重要的是支持商用。 相关链接： 1. 论文： 2. 模型下载： 3. 演示 Demo：https://huggingface.co/spaces/mrfakename/E2F5TTS

以下为您推荐一些好用的 TTS API： 1. 出门问问 Mobvoi： API 官网：https://openapi.mobvoi.com/ 语音合成（TTS）API 地址：https://openapi.mobvoi.com/pages/soundlibrary 语音合成（TTS）操作文档：https://openapi.mobvoi.com/document?name=%E8%AF%AD%E9%9F%B3%E5%90%88%E6%88%90%EF%BC%88TTS%EF%BC%89 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 提供多种方言和风格，满足不同场景需求，实时合成支持 SSML。 2. Eleven Labs：https://elevenlabs.io/ ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 3. Speechify：https://speechify.com/ Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 4. Azure AI Speech Studio：https://speech.microsoft.com/portal Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 5. Voicemaker：https://voicemaker.in/ AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下为您推荐一些在线 TTS 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，是一套服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有免费的 AI 真人语音入门工具：GPTSoVITS + BertVITS2。这两个项目均免费且好用，直接找到需要的音色，输入文字，点击“合成语音”生成后就能下载。两个项目提供的在线模型中采用了很多网络红人的语音作为训练集。 在了解 TTS 工具之前，先为您介绍一些语音的基本概念：声波通过空气传播，被麦克风接收，通过采样、量化、编码转换为离散的数字信号，即波形文件。音量、音高和音色是声音的基本属性。 内容由 AI 大模型生成，请仔细甄别。

以下是一些开源的新一代 TTS 框架： 1. GPTSoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。它完美适配中文，具有零样本 TTS、少量样本训练、易于使用的界面、跨语言支持、适用于不同操作系统、提供预训练模型等特点。 2. ChatTTS：针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型，但存在模型稳定性不足的问题。目前发布的模型版本中，情感控制仅限于笑声以及一些声音中断，作者计划在未来的版本中开源更多情感控制的功能。如今陆续出现了在线网站和本地增强整合包。 3. B 站 up“花儿不哭”大佬的开源项目 gptsovits 也被用于节目《马上封喉》的 TTS 中，只需 1 分钟的干声素材就可以实现惊艳的效果，甚至实现了 zeroshot（零样本），但单字和中英文混杂的词句效果还有待提高。

以下是关于 Coze 的 API 流式输出的 Python 代码编写的大致步骤： 1. 创建一个插件： 填入插件名和插件描述。 选择创建方式为云侧插件。 IDE 运行时选择 Python。点击【在 IDE 中创建工具】。 在创建工具面板里： 填入工具名称。 填入工具介绍。 2. API 接入： 前往 https://docs.glif.app/api/gettingstarted 。 去创建一个新的 Token 并复制备用。 将自己发布的 glif 链接上的 id 复制备用。 3. 在 Coze 的 IDE 中： 引入依赖包【requests】。 编写 handler 方法。 代码中对应的数据字段在元数据 Tab 中设置： 填写入参字段和描述，对完整链接要写清楚。 填写出参字段。 4. 填入测试数据运行，测试通过后即可发布。 5. 创建一个 Bot，挂载新创建的插件。在 Prompt 中做一些对入参的校验和约束。 6. 最后，测试从 Coze 调用 Glif 功能跑通，发布 Coze 即可。 另外，在配置输出节点时： 1. 选择回答模式为“使用设定的内容直接回答”。 2. 由于最终输出结果的呈现是在外层 bot 中，以对话的形式给出，“流式输出”能够像码字一样，逐步展示内容，有更好的使用体验。 3. 整理回答中需要使用的变量，在「输出变量」区域中全部引用。 4. 根据最终输出预期，按照 Markdown 格式的写法，引用「输出变量」区域的参数名，在「回答内容」中输入回答内容模板。

本地化搭建问答机器人的流程如下： 1. 加载所需的库和模块：包括用于解析 RSS 订阅源的 feedparse，用于在 Python 程序中跑大模型的 ollama（使用前需确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：通过函数从指定的 RSS 订阅 url 提取内容，如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3（从 hf 下载好模型后假设放置在某个路径，通过函数利用 FAISS 创建高效的向量存储）。 4. 推荐 RSSHub 项目：可将关注的信息汇聚在同一平台，一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源，大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解： 创建 Python 虚拟环境，并安装相关库，如 ollama（0.1.8）、langchain（0.1.14）、faisscpu（1.8.0，有 gpu 则安装 gpu 版本）、gradio（4.25.0）、feedparser（6.0.11）、sentencetransformers（2.6.1）、lxml（5.2.1）。 6. 了解 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 先安装 ollama，访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动（在 mac 上启动应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。

以下是使用 Coze 搭建一个关于自然语言课程期末复习指南智能体的步骤： 1. 访问 Coze 官网（https://www.coze.cn），注册并登录。 2. 点击页面左上角的⊕，通过【标准创建】填入智能体的基本信息。 3. 了解 Bot 开发调试界面： 人设与回复逻辑（左侧区域）：设定智能体的对话风格、专业领域定位，配置回复的逻辑规则和限制条件，调整回复的语气和专业程度。 功能模块（中间区域）： 技能配置： 插件：扩展智能体的专业能力，如计算器、日历等工具。 工作流：设置固定的处理流程和业务逻辑。 图像流：处理和生成图像的相关功能。 触发器：设置自动化响应条件。 知识库管理： 文本：存储文字类知识材料。 表格：结构化数据的存储和调用。 照片：图像素材库。 记忆系统： 变量：存储对话过程中的临时信息。 数据库：管理持久化的结构化数据。 长期记忆：保存重要的历史对话信息。 文件盒子：管理各类文档资料。 交互优化（底部区域）： 开场白：设置初次对话的问候语。 用户问题建议：配置智能推荐的后续问题。 快捷指令：设置常用功能的快速访问。 背景图片：自定义对话界面的视觉效果。 预览与调试（右侧区域）：实时测试智能体的各项功能，调试响应效果，优化交互体验。 4. 设定智能体的人设与回复逻辑后，为智能体配置对应的技能，以保证其可以按照预期完成目标任务。例如，以获取 AI 新闻的智能体为例，需要为它添加一个搜索新闻的接口来获取相关新闻。具体操作如下： 在智能体编排页面的技能区域，单击插件功能对应的+图标。 在添加插件页面，选择相关功能，然后单击新增。 修改人设与回复逻辑，指示智能体使用相应插件来搜索所需内容。 （可选）为智能体添加开场白，让用户更好地了解智能体的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 配置好智能体后，在预览与调试区域中测试智能体是否符合预期。可单击清除图标清除对话记录。 6. 完成测试后，将智能体发布到社交渠道中使用。具体操作如下： 在智能体的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome

搭建问答库可以通过以下方式实现： 1. 利用 RAG 机制： RAG 机制全称为“检索增强生成”（RetrievalAugmented Generation），是一种用于自然语言处理的技术，结合了检索和生成两种主要的人工智能技术，以提高机器对话和信息处理的能力。 它先从大型数据集中检索与当前问题相关的信息，然后利用这些信息生成更准确、相关的回答。 可以想象成在问复杂问题时，RAG 机制先去巨大图书馆找相关书籍，再基于这些书籍信息给出详细回答。 这种方法结合大量背景信息和先进语言模型能力，使生成内容更精确，提升对话 AI 的理解力和回答质量。 基于 RAG 机制，首先创建包含大量社区 AI 相关文章和资料的知识库，通过手工录入方式上传文章内容，如创建有关 AI 启蒙和信息来源的知识库，再陆续导入其他板块的文章和资料。 在设计 Bot 时，添加知识库，并设置合适的搜索策略、最大召回数量和最小匹配度，以更好地利用知识库返回的内容进行结合回答。 2. 使用 embeddings： 将文本转换成向量能节省空间，可理解为索引。 把大文本拆分成若干小文本块，通过 embeddings API 将小文本块转换成与语义相关的 embeddings 向量，并在向量储存库中保存这些向量和文本块作为问答的知识库。 当用户提出问题时，问题先通过 embeddings API 转换成问题向量，然后与向量储存库中的所有文本块向量比对，查找距离最小的几个向量，提取对应的文本块，与原有问题组合成新的 prompt 发送给 GPT API。 例如，对于一篇万字长文拆分成多个文本块，当提问“此文作者是谁？”时，通过比较 embeddings 向量可找出关联度最高的文本块，发送给 GPT API 的问题类似于“此文作者是谁？从以下信息中获取答案：本文作者：越山。xxxx。《反脆弱》作者塔勒布xxxx。”，大语言模型大概率能回答上这个问题。

企业在构建 AI 智能体问答助手时可能会遇到以下挑战及痛点： 1. 私有化部署方面：在金融、医疗和法律等对数据私密性要求极高的中小型行业，私有化部署场景需求大，增加了企业培训的难度。 2. 模型接入方面：访问 GPT 存在门槛，国企类、体制类合作伙伴受限，需寻找更易于接入的国产模型替代，如智谱等。 3. 工程化落地方面：企业知识库大多卡在工程问题上，真正能落地的不多，数据清理难度大，技术能力要求高于预期。对于规模不大且无数字化系统的企业，实际落地成本可能不比传统人力成本节省更多。 4. 对企业了解不足：在品牌卖点提炼中，AI 对企业的主要产品、解决的用户需求、产品独特之处、所获认可、核心渠道、核心购买人群、营销手段、新渠道期望结果等了解程度接近于 0，难以直接给出有效卖点，更适合作为引导型的灵感提问助手。 以下是一些 Agent 构建平台供您参考： 1. Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，拓展 Bot 能力边界。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景方面表现出色。 请注意，以上信息由 AI 大模型生成，请仔细甄别。

企业在构建 AI 智能问答助手可能会遇到以下挑战及痛点： 1. 私有化部署的挑战：在金融、医疗和法律等许多中小型行业，对数据私密性要求极高，需要私有化部署，这大大增加了企业培训的难度。 2. 模型接入的限制：访问 GPT 有门槛，国企类、体制类的合作伙伴往往被拦截在外，需要寻找更易于接入的国产模型作为替代方案。 3. 工程化落地困难：企业知识库大部分卡在工程问题上，真正能落地的不多，数据清理部分难度较大，技术能力要求比想象中更高。 4. 成本问题：对于规模不大且没有数字化系统的企业，私有化部署的实际落地成本可能不比传统人力成本节省更多。

以下是为您推荐的一些可能适用于实现知识库问答、文件下载、转人工客服等关键功能的 AI 工具： 1. ChatGPT 4.0：功能强大，但使用可能存在一定限制。 2. Kimichat：可作为选择之一。 3. 智谱清言：在某些方面具有优势。 需要注意的是，对于 AI 绘画方面，如果您有相关需求，一些国产大模型如智谱和文心可以实现文生图的功能。另外，如果是文本纠错，飞书文档自带纠错功能，用 prompt 纠错时文本量不能太大。关于让 AI 根据文章自己写 prompt 的问题，关键在于明确所需 prompt 的具体类型和要求。如果只是用于自己学习，长期学习不一定必须要 iPhone 手机或对显卡有特定要求，若 ChatGPT 交费有问题且没有途径，可以考虑上述推荐的其他工具。