基于TTS+LLM流式数字人的问答系统

ComfyUI LLM Party 相关内容如下： 作为 ComfyUI 插件的开发者，主要目的是讲解 LLM（大语言模型）与 ComfyUI 结合的基础、进阶和高阶用法，个人将 ComfyUI 中 LLM 应用粗略分为四大类：文本方面（提示词扩写、润色、对话）、图像视觉方面（图像提示词反推、OCR、LoRA 训练集图像打标）、LLM Agent（工具调用、长期/短期记忆、本地/API 大语言模型调用、封装 ComfyUI 工作流等）、其他独立于这些之外的 LLM 节点或功能。 对于 ComfyUI 和 ComfyUI LLM Party 的下载： 如果是 AI 绘图工作者，对 ComfyUI 不陌生。若未接触过，可在 GitHub 上拉取项目，或在 B 站下载整合包，如秋叶大佬的绘世整合包或者只剩一瓶辣椒酱的铁锅炖整合包。 ComfyUI LLM Party 是以 ComfyUI 作为前端的节点库，用于 LLM 智能体以及 LLM 工作流的无代码开发，功能类似于 coze、dify、flowise 等，与 ComfyUI 生态下的绝大部分节点相辅相成，有着无缝接入 SD 图像流的特色。可通过以下方法安装： 方法一：在中搜索 comfyui_LLM_party，一键安装，然后重启 comfyui。 方法二：导航到 ComfyUI 根文件夹中的 custom_nodes 子文件夹，使用克隆此存储库 git clone https://github.com/heshengtao/comfyui_LLM_party.git 。

将传统知识库通过 LLM 能力转化为更智能和精细化的知识库是一个复杂但可行的过程，以下是一些关键步骤和方法： 1. 数据预处理：对传统知识库中的内容进行清理、格式化和标准化，确保数据的质量和一致性。 2. 内容分段：根据主题和逻辑结构，将长篇的知识内容合理分段，使信息更易于理解和处理。 3. 提取关键信息：从文本中提取重要的概念、实体和关系，为后续的问答和总结做准备。 4. 构建 QA 问答对：分析知识库中的内容，设计有针对性的问题和准确的答案，形成问答对，以方便用户快速获取所需信息。 5. 图片解析描述：对于包含图片的内容，使用图像识别技术提取关键元素，并进行详细的描述和解释。 6. 总结归纳：对分段后的内容进行总结，提炼核心要点，帮助用户快速了解主要内容。 在实施过程中，需要不断优化和调整方法，以确保转化后的知识库能够满足用户的需求，提供更高效和准确的服务。

目前在大型语言模型（LLM）领域，Llama2 70B 可能是最强大的开源权重模型。它由 Meta.ai 发布，包含 700 亿个参数，模型的权重、架构和相关论文均已公开，在文件系统上表现为两个文件：一个包含参数的文件，以及一段运行这些参数的代码。参数文件大小约 104GB，采用 float 16 数据类型。 此外，GPT4V 是基于最先进的 LLM 并使用大量多模态数据训练的具有视觉能力的先进模型，在理解和处理不同输入模态的任意组合方面表现出色，支持多种输入和工作模式。 需要注意的是，尽管语言模型能力令人印象深刻，但仍存在一些限制，如生成的“幻觉”问题，在需要高级推理能力的任务上存在困难，还需要更具挑战性和强大的评估来衡量其真正的理解能力。

以下是一些关于能够调用国外多个 LLM 的相关信息： 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 进行实验，成功率达 100%，工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 在高级提示词工程领域，工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务，扩展任务范围；连接器是 LLM 与外部工具或服务的接口，管理数据交换和通信；技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小，如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时，预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入，一些工具如缓存（基于 Redis）、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用，还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。

以下是关于集成 LLM 的工具的相关内容： 一、“手臂和腿部”：赋予模型使用工具的能力 1. 从知识挖掘转向行动导向，增加模型使用工具的能力，有望在消费者和企业领域实现一系列用例。 对于消费者，LLMs 可能给出菜谱建议并订购食材，或推荐早午餐地点并预订餐桌。 在企业领域，创始人可接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户能用自然语言更新，模型自动更改，减少维护 CRM 所需时间。 2. LLM 虽对常见系统有复杂理解能力，但无法执行提取的信息。不过，公司在不断改善其使用工具的能力。 老牌公司如必应、谷歌和初创公司如 Perplexity、You.com 推出搜索 API。 AI21 Labs 推出 JurassicX，解决独立 LLMs 缺陷。 OpenAI 推出 ChatGPT 插件测试版，允许与多种工具交互，在 GPT3.5 和 GPT4 中引入函数调用，允许开发者将 GPT 能力与外部工具链接。 二、无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 2. 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 提示 LLM 如何理解和使用工具，编写时用无关紧要工具作示例避免混淆。 tools_instructions 是通用工具字典转换成 LLM 可读的工具列表，可动态调整。 REUTRN_FORMAT 定义调用 API 格式。 3. 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。通过以上提示词工程，可让无 tool calling 能力的 LLM 获得稳定的该能力。

作为 LLM 训练的下游任务，一般的训练流程如下： 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化，以使系统更能够有帮助且能够遵循指令。 在训练过程中，会涉及到一些相关的理论探讨和评价指标： 理论探讨方面，如在推理阶段对 InContext Learning 能力的运行分析，将其视为隐式微调，通过前向计算生成元梯度并通过注意力机制执行梯度下降，且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面，entropylike 指标（如 crossentropy 指标）常用于表征模型的收敛情况和测试集的简单评估（如 Perplexity 指标），但对于复杂的下游应用，还需更多指标，如正确性（Accuracy）、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性（包括 invariance 和 equivariance）、公平性、偏见程度和有毒性等。

对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法包括平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。其中 MOS 评测较为宽泛，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价标准，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果易受干扰，如音频样本呈现形式、有无上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行测评，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包两种，实验室方式能稳定保证实验环境，但人力成本高；众包方式易于获得有效评估结果，但无法确保试听条件。

对 TTS 合成效果的评价主要分为主观评价和客观评价。 主观评价是通过人类对语音进行打分，常见的方法有平均意见得分（MOS）、众包平均意见得分（CMOS）和 ABX 测试。MOS 评测较为灵活，可测试语音的不同方面，如自然度 MOS 和相似度 MOS。国际电信联盟（ITU）将 MOS 评测规范化为 ITUT P.800，其中绝对等级评分（ACR）应用广泛，其根据音频级别给出 1 至 5 分的评价，分数越大表示语音质量越好，MOS 大于 4 时音质较好，低于 3 则有较大缺陷。但人类评分结果受干扰因素多，如音频样本呈现形式、上下文等。 客观评价是通过计算机自动给出语音音质的评估，在语音合成领域研究较少。客观评价可分为有参考和无参考质量评估，有参考评估方法需要音质优异的参考信号，常见的有 ITUT P.861（MNB）、ITUT P.862（PESQ）、ITUT P.863（POLQA）、STOI 和 BSSEval 等；无参考评估方法不需要参考信号，常见的包括基于信号的 ITUT P.563 和 ANIQUE+、基于参数的 ITUT G.107（EModel），近年来深度学习也应用到无参考质量评估中，如 AutoMOS、QualityNet、NISQA 和 MOSNet 等。 获取平均意见得分时，实验要求获取多样化且数量足够大的音频样本，在具有特定声学特性的设备上进行，控制被试遵循同样标准，确保实验环境一致。实验方法有实验室方式和众包，实验室方式能控制测试要素，但人力成本高；众包易于获得评估结果，但无法确保试听条件。

上海交通大学开源了 F5TTS 语音合成技术，这是一种完全非自回归的文本到语音系统，通过流匹配与扩散变换器实现。它简化了传统的 TTS 系统设计，不需要复杂的时长模型、文本编码器和音素对齐，而是将文本输入用填充标记填充到与输入语音相同的长度，并利用 ConvNeXt 模型对文本表示进行细化以与语音对齐。 F5TTS 的模型特点包括： 1. 零样本声音克隆。 2. 速度控制（基于总时长）。 3. 可以控制合成语音的情感表现。 4. 长文本合成。 5. 支持中文和英文多语言合成。 6. 在 10 万小时数据上训练。 7. 最重要的是支持商用。 相关链接： 1. 论文： 2. 模型下载： 3. 演示 Demo：https://huggingface.co/spaces/mrfakename/E2F5TTS

以下为您推荐一些好用的 TTS API： 1. 出门问问 Mobvoi： API 官网：https://openapi.mobvoi.com/ 语音合成（TTS）API 地址：https://openapi.mobvoi.com/pages/soundlibrary 语音合成（TTS）操作文档：https://openapi.mobvoi.com/document?name=%E8%AF%AD%E9%9F%B3%E5%90%88%E6%88%90%EF%BC%88TTS%EF%BC%89 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 提供多种方言和风格，满足不同场景需求，实时合成支持 SSML。 2. Eleven Labs：https://elevenlabs.io/ ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 3. Speechify：https://speechify.com/ Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 4. Azure AI Speech Studio：https://speech.microsoft.com/portal Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 5. Voicemaker：https://voicemaker.in/ AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下为您推荐一些在线 TTS 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，是一套服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有免费的 AI 真人语音入门工具：GPTSoVITS + BertVITS2。这两个项目均免费且好用，直接找到需要的音色，输入文字，点击“合成语音”生成后就能下载。两个项目提供的在线模型中采用了很多网络红人的语音作为训练集。 在了解 TTS 工具之前，先为您介绍一些语音的基本概念：声波通过空气传播，被麦克风接收，通过采样、量化、编码转换为离散的数字信号，即波形文件。音量、音高和音色是声音的基本属性。 内容由 AI 大模型生成，请仔细甄别。

以下是一些开源的新一代 TTS 框架： 1. GPTSoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。它完美适配中文，具有零样本 TTS、少量样本训练、易于使用的界面、跨语言支持、适用于不同操作系统、提供预训练模型等特点。 2. ChatTTS：针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型，但存在模型稳定性不足的问题。目前发布的模型版本中，情感控制仅限于笑声以及一些声音中断，作者计划在未来的版本中开源更多情感控制的功能。如今陆续出现了在线网站和本地增强整合包。 3. B 站 up“花儿不哭”大佬的开源项目 gptsovits 也被用于节目《马上封喉》的 TTS 中，只需 1 分钟的干声素材就可以实现惊艳的效果，甚至实现了 zeroshot（零样本），但单字和中英文混杂的词句效果还有待提高。

以下是关于 Coze 的 API 流式输出的 Python 代码编写的大致步骤： 1. 创建一个插件： 填入插件名和插件描述。 选择创建方式为云侧插件。 IDE 运行时选择 Python。点击【在 IDE 中创建工具】。 在创建工具面板里： 填入工具名称。 填入工具介绍。 2. API 接入： 前往 https://docs.glif.app/api/gettingstarted 。 去创建一个新的 Token 并复制备用。 将自己发布的 glif 链接上的 id 复制备用。 3. 在 Coze 的 IDE 中： 引入依赖包【requests】。 编写 handler 方法。 代码中对应的数据字段在元数据 Tab 中设置： 填写入参字段和描述，对完整链接要写清楚。 填写出参字段。 4. 填入测试数据运行，测试通过后即可发布。 5. 创建一个 Bot，挂载新创建的插件。在 Prompt 中做一些对入参的校验和约束。 6. 最后，测试从 Coze 调用 Glif 功能跑通，发布 Coze 即可。 另外，在配置输出节点时： 1. 选择回答模式为“使用设定的内容直接回答”。 2. 由于最终输出结果的呈现是在外层 bot 中，以对话的形式给出，“流式输出”能够像码字一样，逐步展示内容，有更好的使用体验。 3. 整理回答中需要使用的变量，在「输出变量」区域中全部引用。 4. 根据最终输出预期，按照 Markdown 格式的写法，引用「输出变量」区域的参数名，在「回答内容」中输入回答内容模板。

生成式搜索和知识问答存在以下区别： 生成式搜索： 采用大型语言模型技术，能更好地理解用户自然语言查询的语义，不仅仅是匹配关键词。 可以生成通顺的自然语言回答，而非简单返回网页链接和片段，结果更易于理解和使用。 能够根据用户的历史查询和偏好个性化结果，提供更贴合需求的答复。 例如 Perplexity 等 AI 搜索引擎，通过收集各种来源的信息给出答案。 但存在训练成本高、可解释性差、潜在偏差和不当内容等问题。 知识问答： 例如 RAG ，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。 原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。 一些知识问答系统能够支持在本地运行。 此外，为您推荐一些 AI 搜索引擎： 秘塔 AI 搜索：由秘塔科技开发，提供多模式搜索、无广告干扰、结构化展示和信息聚合等功能。 Perplexity：聊天机器人式搜索引擎，允许用户用自然语言提问，使用生成式 AI 技术收集信息并给出答案。 360AI 搜索：360 公司推出，通过 AI 分析问题，生成清晰、有理的答案，并支持增强模式和智能排序。 天工 AI 搜索：昆仑万维推出，采用生成式搜索技术，支持自然语言交互和深度追问，未来将支持多模态搜索。 Flowith：创新的 AI 交互式搜索和对话工具，基于节点式交互方式，支持多种 AI 模型和图像生成技术，有插件系统和社区功能。 Devv：面向程序员的 AI 搜索引擎，专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 Phind：专为开发者设计的 AI 搜索引擎，利用大型语言模型提供相关搜索结果和动态答案，擅长处理编程和技术问题。 需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。

AI 问答和搜索包括联网检索、多种引擎及检索原理 存在联网检索的 AI 及相关工具。 推荐多种 AI 搜索引擎。 介绍知识库检索的原理和步骤。

以下是国内一些在问答方面表现较好的 AI： 出门问问：是一家以生成式 AI 和语音交互为核心的人工智能公司，为全球多个国家和地区提供 AI 智能硬件、AI 政企服务，以及面向创作者的 AIGC 工具。致力于打造国际领先的通用大模型，通过 AI 技术、产品及商业化三位一体发展，成为全球 AI CoPilot 的引领者。 跃问：原生聊天机器人，在国内 A2409 月度榜单中排名靠前。 智能口语大师：原生教育类产品。 AI 写作猿：原生写作软件。 AI 外教：原生教育类产品。 造梦次元：原生情感陪伴产品。 AI 写作专家：原生写作软件。 必剪：功能为视频编辑。 AI 写作助手：原生写作软件。 AI Mate：原生图片生成产品。 通义千问：最大亮点是强大的推理能力，在国内推理评测中表现出色，能处理复杂任务和逻辑推理，在科研、商业分析等领域有应用前景，允许用户创建自定义智能体，但在语义理解方面略显逊色。

在一个设定中，使用阿里千问模型，将角色设定为“美嘉”，知识库设定为《爱情公寓》全季剧情来实现问答。 大语言模型就像一个学习过无数本书、拥有无穷智慧的人，对公共知识、学识技能、日常聊天很擅长，但在工作场景中需要提示词来告诉它角色和专注技能，变成所需的“员工”。知识库则相当于给这个“聪明员工”发放的工作手册，比如知道老板娘吃饭要打三折等特定信息。 这里的设定为：AI 模型使用阿里千问模型，提示词设定的角色是“美嘉”，按照其人设、背景和对话风格设定，知识库是《爱情公寓》全季剧情，让“美嘉”拥有过往“记忆”。 例如，提问“你是谁？你和子乔在台球厅吵架那次是为了什么吵架？”，回复是“我是陈美嘉，那次在台球厅和吕子乔吵架是因为他约会被人撞见，我讽刺他脸大影响信号，他还反击我。后来谈到过去的事情，我指责他忘恩负义，他就说我平。最后，我伤心地说要分手，因为他之前甩过我。” 然而，有时回答会不准确，比如提问“一菲为美嘉找了一份助教工作”，AI 可能未根据正确的知识库内容回答，这是常见的错误场景，在严肃场景中不能接受。优化 AI 更准确回答问题的过程称为 RAG（RetrievalAugmented Generation），即检索增强生成，由检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，如问答系统，能提供详细准确的回答。

要在自己的电脑上搭建一个类似 ChatGPT 的问答网站，可以参考以下几种方法： 1. 方法一： 搭建 ，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型。同时了解如何白嫖大模型接口。 搭建 ，这是一个知识库问答系统。将知识文件放入，并接入上面的大模型作为分析知识库的大脑，用于回答问题。若不想接入微信，搭建到此即可，它有问答界面。 搭建 ，其中的 cow 插件能进行文件总结、MJ 绘画等。 2. 方法二： 推荐使用云原生服务 ，注意使用的域名是 https://laf.dev/，只有这个 dev 域名才能调用 ChatGPT 的服务，可能是风控方面的考虑。 Laf 是一个 Serverless 框架，提供开箱即用的云函数、云数据库、对象存储等能力。 后端接口部分： 添加环境变量，输入您的 apikeys，apikeys 的获取地址：https://platform.openai.com/ 。注意是否有免费流量，注意流量是否过期，否则无法调用。 开始写代码。 前端上传资源部分： 上传打包后的前端静态资料代码，上传后直接访问右侧的域名即可。 3. 搭建原因： 方便为亲戚朋友提供无需注册、无需魔法上网且能免费使用的网站，避免逐个指导注册和登录的繁琐。 为自身引流，让更多人看到相关使用文档。 帮助更多人快速搭建网站。 自定义网站可扩展功能更丰富，如一键导出对话、把对话生成图片、内置提示词等。 4. 搭建步骤： 第一步：找到一个 ChatGPT 源码，如 https://github.com/Chanzhaoyu/chatgptweb（Vue 版本），支持下载聊天数据为图片；https://github.com/Yidadaa/ChatGPTNextWeb/，一键导出所有聊天记录，支持 markdown 格式；https://github.com/zuoFeng59556/chatGPT（Vue 版本），简化版本不支持创建多个聊天框。 第二步：找到免费的云服务器并写后端代码。项目上线需要涉及购买服务器、云存储空间、域名、数据库（本项目简单做，未用到）。