多轮对话训练中你如何训练模型掌握情感需求

在人工智能领域中，训练 Agent 主要有以下方法和特点： 1. 基于迁移学习和元学习的 Agent 训练： 传统强化学习中，Agent 训练消耗大量样本和时间，泛化能力不足。为突破此瓶颈，引入迁移学习，促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略，利用已有知识和策略调整学习路径，减少对大规模样本集依赖。 但迁移学习和元学习面临挑战，如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移，元学习需大量预训练和样本构建学习能力，使通用高效学习策略开发复杂艰巨。 时间：21 世纪初至今 特点：迁移学习将一个任务知识迁移到其他任务；元学习学习如何学习，快速适应新任务 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM 优点：提高学习效率，适应新任务 缺点：对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练： 强化学习关注如何让 Agent 通过与环境互动自我学习，在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法，如 Qlearning 和 SARSA。 随着深度学习兴起，深度神经网络与强化学习结合形成深度强化学习，赋予 Agent 从高维输入学习复杂策略的能力，有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习，无需人工指导，在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战，包括训练周期长、采样效率低、稳定性问题，在复杂真实环境应用困难。 时间：20 世纪 90 年代至今 特点：通过试错学习最优行为策略，以最大化累积奖励 技术：Qlearning、SARSA、深度强化学习（结合 DNN 和 RL） 优点：能够处理高维状态空间和连续动作空间 缺点：样本效率低，训练时间长

对于 AI 初学者想要训练自己的个性 AI ，可以从以下几个方面入手： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，如李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并争取获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，包括图像、音乐、视频等，根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，因其上手容易且实用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出自己的作品。 在知识库中分享实践后的作品和文章。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动，了解它们的工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，激发对 AI 潜力的认识。 此外，更注重人格属性，试图满足社交、情感、陪伴等需求，您也可以对其进行了解和参考。同时，为了在医疗保健中让 AI 产生真正的改变，应投资于创建像我们今天最优秀的医生和药物开发者那样学习的模型生态系统，例如通过学校教育和经验积累，培养在复杂情况下确定最佳答案的直觉。

以下是关于 Flux 的 Lora 模型训练的详细步骤： 准备工作： 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型放置位置不限，只要知道“路径”，后续会引用到“路径”。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 数据集准备： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一：创建数据集 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二：Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 等待训练，会显示预览时间和进度条，训练完成会显示每一轮的预览图。 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集放置位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。

要将历史写过的文章发给 AI 以训练生成写作风格，可以参考以下步骤： 1. 首先，像安迪的做法一样，把过去写的多篇相关文章发给 AI。 2. 让 AI 总结这些文章的写作特点。 3. 根据 AI 总结的特点，编写出描述写作风格的提示词，从而克隆出自己的写作风格。 4. 未来使用这个风格时，先花 3 分钟时间让 AI 分别写多篇内容。 5. 从多篇内容中找到最符合心意的作品，并从其他作品中寻找好的段落。 6. 最后进行整合、修改、删减和润色，少则几分钟、十几分钟，多则半个小时就能完成一篇文章。 同时，就像夙愿提到的，找选题对于写作很重要。我们可以通过学习其他优秀公众号的文章，分析其选题思路、文章结构、表达方式等，不断训练自己的“写作模型”，但要注意不能照搬，而是要形成自己独特的风格。 另外，在写作过程中，“主体性”的介入也很关键。比如在使用 Prompt 生成公众号文章时，要先思考自己对写作的理解以及对特定主题写作风格的认知，这样写出来的 Prompt 才会有个人特色。日常也要注重基本功的积累，因为在表达“意象”时非常考验语言能力。

以下是关于如何用 AI 模型做训练的相关内容： 要在医疗保健领域让 AI 产生真正的改变，应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始，AI 也应如此。当前的学习方式存在问题，应通过堆叠模型训练，如先训练生物学、化学模型，再添加特定数据点。就像预医学生从基础课程学起，设计新疗法的科学家经历多年学习和指导，这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括： 1. 收集海量数据：如同教孩子博学多才要让其阅读大量资料，对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据：像为孩子整理适合的资料，AI 研究人员要清理和组织收集的数据，如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构：为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是复杂的神经网络，如 Transformer 架构。 4. 训练模型：像孩子开始学习，AI 模型开始“阅读”数据，通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性，应对可能的“恶意”样本数据导致的幻觉，可使用对抗训练技术，让模型在训练中接触并学会识别和抵抗。

训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。

在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。

目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说，要训练模型掌握情感需求，可以从以下几个方面考虑： 1. 数据收集：收集包含丰富情感表达的车载语音对话数据，包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取：从语音和文本数据中提取能够反映情感的特征，如语音的语调、语速、音量，文本中的词汇、句式、语义等。 3. 模型选择：选择适合处理情感分析任务的模型架构，如基于深度学习的循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）等。 4. 情感标注：对收集的数据进行准确的情感标注，以便模型学习不同情感的模式。 5. 多模态融合：结合语音和文本等多模态信息，提高情感识别的准确性。 6. 优化算法：采用合适的优化算法来训练模型，调整模型的参数，以提高模型的性能。 7. 模型评估：使用合适的评估指标来评估模型在情感需求掌握方面的性能，并根据评估结果进行调整和改进。

聊天模型的会话补全： 聊天模型以一串聊天对话作为输入，并返回模型生成的消息作为输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。API 调用中，messages 参数是主要输入，须为消息对象数组，包含角色（“system”“user”“assistant”）和内容。会话通常先有系统消息设定助手行为，然后交替使用用户和助手消息。用户消息指示助手，助手消息存储之前响应。当用户指令涉前消息时，包含聊天历史有帮助，若会话 token 超模型限制需缩减。 RAG 提示工程中的多轮对话与指代消解： 先前讨论多关注单轮问答，现实中常需处理多轮对话，其中常产生指代问题，如用“它”“他们”等，仅依原始提问检索知识片段可能致结果不精确或无法检索，且对模型回复内容限制可能影响多轮对话流畅性甚至中断。因此需开发提示词解决指代消解问题，确保模型连续交流中回答准确连贯。由于指代消解需多轮对话完成，单次交互不行，需转换测试形式，先解决指代消解再进行下一轮答复。首先准备所需提示词，其是用 CoT 写出的思维链，列举不同推理情景让模型推理并消解代词，再依结果重新组织问题。然后复现指代消解步骤，包括进行第一轮对话（如提问“尼罗河是什么”并获回复）和开始指代消解。

设计一个多轮对话的 AI 命题 Agent 可以从以下几个方面考虑： 1. 自然语言交互： 多轮对话能力：LLM 应能理解自然语言并生成连贯且与上下文相关的回复，以帮助 Agent 进行有效交流。 生成能力：LLM 要展示卓越的自然语言生成能力，生成高质量文本。 意图理解：LLMs 能够理解人类意图，但需注意模糊指令可能带来挑战。 2. 知识： 语言知识：包括词法、句法、语义学和语用学，使 Agent 能理解句子和进行对话。 常识知识：如药和伞的用途等世界常识，帮助 Agent 做出正确决策。 专业领域知识：特定领域如编程、医学等知识，对解决领域内问题至关重要。但要注意知识可能过时或错误，需通过重新训练或编辑 LLM 解决。 3. 记忆： 记忆机制：存储过去的观察、思考和行动，帮助 Agent 处理连续任务。 记忆提升策略：包括提高输入长度限制、记忆总结、用向量或数据结构压缩记忆。 记忆检索：Agent 检索记忆以访问相关信息，包括自动检索和交互式记忆对象。 4. 推理和规划： 推理：基于证据和逻辑，对解决问题、决策至关重要。 规划：组织思维、设定目标和确定实现目标的步骤。 计划制定：分解任务、制定计划，包括一次性全面分解和自适应策略。 以国内版 Coze 为例，在实际操作中： 1. 对话引擎：目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数根据业务需求决定。 2. 为 Bot 添加技能： 在 Bot 编排页面的“技能”区域，为 Bot 配置所需的技能。 若不懂插件，可选择区域右上角的“优化”按钮，让 AI Bot 根据提示词自动选择插件。 也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 如 Bot 需要获取 AI 新闻，可添加新闻搜索接口。 3. 测试 Bot：在 Bot 编排页面的“预览与调试”区域，测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。

在设计大模型语音座舱功能中的上下文多轮对话场景时，对于否定的情况，需要准确识别用户表达的否定意图，并据此调整后续的回应策略。例如，当用户说“不要这样做”，系统要理解并停止当前可能进行的相关操作。 指代方面，要能够解析用户话语中的各种指代关系，比如“那个东西”“这个方案”等，通过上下文和语境来明确其具体所指。 延展的场景设计则要鼓励用户进一步展开话题，例如当用户提到一个主题后，系统可以通过提问或提供相关信息来引导用户深入阐述，比如“能再多和我讲讲吗？”或者“那您对这方面还有其他的想法吗？”

Coze 是字节跳动旗下的智能对话机器人服务平台，你可以使用 Coze 实现多轮对话。以下是一些步骤： 1. 创建一个 Coze 应用并配置你的模型：首先，你需要在 Coze 平台上创建一个应用，并选择一个适合你需求的模型。你可以选择使用预训练的模型，也可以上传自己的模型进行训练。 2. 配置对话流程：在 Coze 中，你可以配置对话流程，包括设置对话轮数、添加对话节点等。你可以根据你的需求配置不同的对话流程。 3. 训练你的模型：在配置完对话流程后，你需要训练你的模型。你可以使用 Coze 提供的训练数据进行训练，也可以上传自己的训练数据进行训练。 4. 部署你的模型：在训练完你的模型后，你可以将其部署到 Coze 平台上，并开始使用它进行多轮对话。 需要注意的是，Coze 是一个智能对话机器人服务平台，它提供了一些工具和功能来帮助你实现多轮对话。但是，你需要根据你的需求和场景进行配置和调整，以确保它能够满足你的需求。

以下是关于与 PDF 对话的相关内容： AIGC 落地应用中，有 ChatWithPDF 官方 Pulgin 可解决 Chat GPT 无法阅读、解析 PDF 的问题，推荐指数为🌟🌟🌟🌟。还有 Voice control for ChatGPT Chrome 插件用于和 ChatGPT 语音对话，支持多种语言，可当英语口语/听力老师，但 TTS 效果生硬，期待改善，推荐指数🌟🌟🌟，下载地址： 增强的 PDF 结构识别框架（pdflux.com）应用于 ChatDOC（海外官网：chatdoc.com），它是 AI 文档阅读助手，能在数秒内总结长文档、解释复杂概念和查找关键信息，在可靠性和准确性方面居所有 ChatPDF 类产品之首。其优势包括精通表格理解、多文档对话、每个回答均可溯源至原文、支持多种文档类型。 阅读书籍、论文的互动式问答场景对应的关键词库有 15 个，如书籍、报告、文件等。ChatGPT 知识库截止于 2021 年 9 月，对于新数据或最新出版的内容无法提供答案，如有现成 PDF，建议通过 CHATDOC 网站进行互动式问答，并提供了输入信息和提出问题的步骤及模板，还有相关案例。

以下是关于“与知识库对话”的产品服务相关内容： 如果想要对知识库进行更加灵活的掌控，可以使用额外的软件 AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可创建独有的 Workspace 与其他项目数据隔离。构建本地知识库时，首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，接着选择对话模式，包括 Chat 模式（大模型根据训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 在商业化问答场景中，以一个问答机器人界面为例，其配置包括 AI 模型、提示词和知识库。模型好比是学习过无数知识的人，提示词是告诉模型扮演的角色和专注的技能，知识库则是给模型的工作手册。例如设定 AI 模型为阿里千问模型，提示词设定角色为“美嘉”，知识库放置《爱情公寓》全季剧情。 看十遍不如实操一遍，实操十遍不如分享一遍。如果对 AI Agent 技术感兴趣，可以联系相关人员或者加入免费知识星球（备注 AGI 知识库）。

以下是关于“与知识库对话”的产品服务相关内容： 如果想要对知识库进行更加灵活的掌控，需要使用额外的软件 AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可以创建独有的 Workspace 与其他项目数据隔离。构建本地知识库时，首先创建工作空间，然后上传文档并进行文本嵌入，接着选择对话模式，包括 Chat 模式（大模型根据训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 在商业化问答场景中，以一个问答机器人界面为例，其左侧有三处配置：AI 模型、提示词、知识库。模型可以想象成学习过无数知识的人；提示词是告诉模型扮演的角色和专注的技能；知识库则相当于给模型发放的工作手册。例如设定 AI 模型为阿里千问模型，提示词设定角色为“美嘉”，知识库为《爱情公寓》全季剧情。

以下是一些常见的图片对话模型： ChatGLM： 地址： 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 VisualGLM6B： 地址： 简介：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练。 ChineseLLaMAAlpaca： 地址： 简介：中文 LLaMA&Alpaca 大语言模型+本地 CPU/GPU 部署，在原版 LLaMA 的基础上扩充了中文词表并使用了中文数据进行二次预训练。 智谱·AI 开源的图片对话模型有： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载：、始智社区 CogVLM17B：强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM 可以在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合。是目前多模态权威学术榜单上综合成绩第一的模型，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。 代码链接： 模型下载： Visualglm6B：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。 代码链接： 模型下载： 智谱·AI 开源的 Chat 模型有： ChatGLM6Bint4：ChatGLM6B 的 Int4 版本。最低只需 6GB 显存即可部署，最低只需 7GB 显存即可启动微调（） 上下文 token 数：2K 代码链接： 模型权重下载链接：魔搭社区、始智社区、启智社区 ChatGLM6Bint8：ChatGLM6B 的 Int8 版本 上下文 token 数：2K 代码链接： 模型权重下载链接：魔搭社区、始智社区、启智社区 AgentLM7B： 简介：1. 提出了一种 AgentTuning 的方法；2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct；3. 基于上述方法和数据集，利用 Llama2 微调了具备超强 Agent 能力的 AgentLM7B、AgentLM13B、AgentLM70B。 上下文 token 数：4K 代码链接： 模型权重下载链接： AgentLM13B： 上下文 token 数：4K 模型权重下载链接： AgentLM70B： 上下文 token 数：8K 模型权重下载链接：

情感计算： 技术原理： 主要有“识别”“表达”和“决策”三个方向。 “识别”可基于文本、语音、视觉、生理等数据进行情感分析，或融合不同模态信息，使分析更准确和具鲁棒性。其中，文本情感计算研究情感状态与文本信息的对应关系，由文本情感特征标注、提取和分类组成；语音情感计算研究语音包含的语言情感内容和声音本身的情感特征；视觉情感计算研究面部表情和肢体动作的情感识别；生理信号情感计算常用脑电、眼动、肌电、皮肤电、心电、呼吸信号等生理特征。 “表达”让计算机能以合适信息载体表示情感。 “决策”利用情感机制进行更好决策。 重要性： 情感对人类意义重大，具有生存、沟通、决策、动机和维系等功能。 生存功能：人类会为适应环境做出有利生存或发展的生理反应。 沟通功能：不同情感表达使相同文字语言内涵不同，多种情感表达方式能更充分表达意图。 决策功能：大脑通过“系统一”（主要依赖情感、经验）和“系统二”两种方式决策。 动机功能：情感能激发和维持个体行为。 维系功能：情感是人类社会化过程中维系的纽带。 目标：使计算机能够识别、感知、推断和理解人类的情感，赋予计算机类似人的情感能力。 参考资料： 《2022 情感计算白皮书》，之江实验室 此外，还有关于零代码自建决策助手的决策链设计相关内容，包括加权得分计算、机会成本分析、简单情景分析、决策矩阵分析、敏感性分析、情感检验和提供最终决策建议等步骤。

要使语音助手掌握情感意图，可以从以下几个方面考虑： 1. 明确“情绪识别系统”的概念：根据欧洲议会和欧盟理事会的规定，“情绪识别系统”是指根据自然人的生物数据识别或推断其情绪或意图的人工智能系统，例如快乐、悲伤、愤怒等，但不包括身体状态如疼痛或疲劳，也不包括仅仅检测容易察觉的表情、手势或动作，除非用于识别或推断情绪。 2. 借鉴相关研究和观点：如 AI 教父 Hinton 探讨的如果助手具有自我反省的能力，可能会有感觉，以及他提出的新的感觉模型。 3. 理解情感的重要性：情感对人类具有生存、沟通、决策、动机和维系等功能。比如，人类会因适应环境做出有利生存的生理反应，不同情感表达会使相同文字语言内涵不同，大脑决策依赖情感，情感能激发和维持个体行为，也是人类社会化维系的纽带。 4. 以情感计算为目标：情感计算旨在使计算机能够识别、感知、推断和理解人类的情感，最终赋予计算机类似人的情感能力。 总之，使语音助手掌握情感意图需要综合多方面的知识和技术，不断探索和创新。

以下为您介绍一些情感丰富音频 AI 模型： 阿里云最新开源模型 FunAudioLLM：这是通义实验室语音团队全新推出的生成式语音大模型，能提供舒适自然的语音合成能力。它可以生成不同情感的语音，如中性、悲伤、快乐等。例如，悲伤情感的语音有“等你熬过那些孤独无助的时刻，你才会发现，原来自己并没有想象中那么脆弱。原来一个人，也可以活成千军万马的模样。我可以安慰很多人，但就是不能安慰自己那颗千疮百孔的心。总有一些人会慢慢淡出你的生活。你要学会接受，而不是怀念。有些事。不管我们如何努力，回不去就是回不去了。我们漫长的岁月中有太多的过客，有太多的无奈。”；快乐情感的语音有“小丽抿着嘴，弓着腰，蹑手蹑脚地，一步一步慢慢地靠近它。靠近了，靠近了，又见她悄悄地将右手伸向蝴蝶，张开的两个手指一合，夹住了粉蝶的翅膀。小丽高兴得又蹦又跳。除夕晚上，儿子孙子都来到她身边，她满脸皱纹都舒展开了，就像盛开的菊花瓣，每根皱纹里都洋溢着笑意。” XiaoHu.AI 日报中提到的模型：它由 SenseVoice 和 CosyVoice 构成。声音克隆仅需几秒音频样本，无需额外训练数据，还能控制情绪情感、语速、音高。详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M 此外，还有 LLM 比价工具，可对比不同种类模型型号的订阅价格和 API 价格，传送门：https://huggingface.co/spaces/philschmid/llmpricing 以及浦语灵笔 IXC2.5，能看懂视频，完整书写文章，自动生成网站，由上海人工智能实验室开发，使用 7B LLM 后端，具有与 GPT4V 相当的能力，擅长网页制作和高质量文本图像文章创作。详细内容：https://xiaohu.ai/p/10891

以下是为您生成饱含情感的中文语音的相关信息： 在制作包含简短对话的 AI 短片时，声音部分通常在传统影视制作中有多个流程，如现场录音、后期配音、音效音乐制作等。对于 AI 声音制作对话，相当于后期配音。比如将中文台词谷歌翻译成英文后，需进行英文字幕校对与台词润色形成配音稿。使用 11labs 进行对白制作时，其英文效果较好，但存在声音没有情绪和情感的问题。只能通过标点符号如，、……。！等来改变语音效果，且常常需要生成十几二十段音频来找到合适的声音。国内可以使用出门问问的魔音工坊，它有情绪调节控件。 另外，阿里云最新开源模型 FunAudioLLM 有情感表达语音生成的功能，例如在 Sad 情感下，有“等你熬过那些孤独无助的时刻，你才会发现，原来自己并没有想象中那么脆弱。原来一个人，也可以活成千军万马的模样。”等表述；在 Happy 情感下，有“小丽抿着嘴，弓着腰，蹑手蹑脚地，一步一步慢慢地靠近它。靠近了，靠近了，又见她悄悄地将右手伸向蝴蝶，张开的两个手指一合，夹住了粉蝶的翅膀。小丽高兴得又蹦又跳。”等表述。 在剪辑方面，对于 13 分钟的短片，剪映更方便；更长篇幅或追求更好效果可能需要使用 PR/FCP/达芬奇等传统剪辑软件。

AI 情感化包括以下重要方面： 情感计算：旨在使计算机能够识别、感知、推断和理解人类的情感，最终赋予计算机类似人的情感能力。情感对人类具有重要意义，如生存功能（适应环境做出有利生理反应）、沟通功能（不同情感表达内涵不同）、决策功能（大脑“系统一”依赖情感等迅速判断）、动机功能（激发和维持个体行为）、维系功能（维系社会关系）。 Inworld AI：这是一家专注于游戏和人工智能的初创公司开发的角色引擎，能将游戏 NPC 进行 AI 化并集成到游戏中。该引擎超越大语言模型，增加多种功能，使 NPC 能够自我学习和适应，具有情绪智能，还能让 NPC 通过模拟人类全方位沟通方式表达个性。 Character.ai：每个人都可定制自己的个性化 AI。当把 AI 当人看待时，它能作为助手和朋友。对于爱情，美国心理学家 Robert Jeffrey Sternberg 提出“爱情三角理论”，认为包含“激情”“亲密”“承诺”三要素。个性化定制的“虚拟伴侣”因击中年轻人的孤独和焦虑而得到认可，但技术虽让人易连接，人们却更孤独、更自我。