那些AI可以自定义训练

您可以自定义 PPT 模板。以下为您推荐几个合适的 AI 工具： 免费工具：讯飞智文（http://zhiwen.xfyun.cn） 付费工具：百度文库、Gamma.app 有的网站，如 tome、gamma，配图也是由 GenAI 根据页面内容生成的。呈现 AI 生成的 PPT 结果，若用户不满意可以自行选择模板。 此外，对于 AI 文章排版工具，以下是一些流行的选择： Grammarly：不仅是语法和拼写检查工具，还提供排版功能，可改进文档整体风格和流畅性。 QuillBot：AI 驱动的写作和排版工具，能改进文本清晰度和流畅性，保持原意。 Latex：虽不是纯粹的 AI 工具，但广泛用于学术论文排版，使用标记语言描述格式，有许多 AI 辅助的编辑器和插件简化排版过程。 PandaDoc：文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。 Wordtune：AI 写作助手，重新表述和改进文本，使其更清晰专业，保持原始意图。 Overleaf：在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。 选择合适的 AI 排版工具取决于您的具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex 和 Overleaf 受欢迎，因其提供强大排版功能和广泛学术支持。对于一般文章和商业文档，Grammarly 和 PandaDoc 等工具可能更适用。但请注意，内容由 AI 大模型生成，请仔细甄别。

以下是为您梳理的 AGI 学习路线： 1. 应用方面： 深入了解 Prompt，选择适合自己的 AI 对话、绘画和语音产品，每天使用并用于解决实际问题或提升效率。 2. 分析方面： 大量阅读各类文章、视频以及行业报告，理解各知识之间的关系。 3. 学习路径方面： 关键词：少就是多、先有个初识、目录索引推荐、兴趣最重要、先动手。 学习路径如同主线+支线的游戏通关。 学以致用，通过学习分享不断填补知识的缝隙来成长。 4. 分类学习方面： 对 AI 学习路径进行了重构，分为了初学者、面向开发应用者、面向使用模型者三个部分。 将课程目录从文章中单独独立出来，并按照初学者、进阶者进行分类。 同时，还可以参考以下个人心得： YoYo 作为文科生，在学习前不理解 AI 和提示词工程，通过不断尝试各种 AI 工具，走了不少弯路。学习后能够搓多 Agent 的智能体，进行营销文案 demo、SQL 代码进阶学习应用，创建多个智能体，并在公司中实践智能客服从创建到应用的过程。 希望以上内容对您有所帮助。

目前暂时没有特定的 AI 工具专门用于自定义单词记忆。但您可以考虑使用一些具有学习和记忆功能的综合性 AI 应用，如豆包，通过与它的交互来制定适合您的单词记忆策略和方法。

以下是一些可以自定义电商主图背景的工具和使用指南： 1. 安装相关插件，在生成图片时勾选“layerdiffusion enabled”。 2. 在“layerdiffusion method”中选择生成透明图像的模式，如“Only Generate Transparent Image”。 3. 在提示中输入透明物体的描述，例如“玻璃杯”，点击生成后可得到透明背景的玻璃杯图像。 4. 还可以上传背景图像，在“layerdiffusion method”中选择“From Background to Blending”，然后生成透明图像。 5. 反之，也可以先生成透明的前景，然后选择“From Foreground to Blending”模式，生成背景。 特定模型：

以下是关于如何有效填写 ChatGPT 自定义指令的一些建议： 1. 可以参考使用 JSON 对象来设置指令和激活命令的键值对。基本结构如：{"KeyName1":{"Instruction":"Your Instructions","Activation Command":"/activate KeyName1"},"KeyName2":{"Instruction":"Your Instructions","Activation Command":"/activate KeyName2"},"KeyNameN":{"Instruction":"Your Instructions","Activation Command":"/activate KeyNameN"}} 。例如，有"Default"和"DMP"两个键，"Default"的指令为"DALLE 可以修改和更新提示以创建新提示的 4 个变体。基于这些不同的变体，它应该始终生成 4 个图像。默认情况下始终使用宽纵横比，并且在渲染每个图像后必须提供种子编号详细信息"，激活命令为"/activate Default"；"DMP"的指令为"在任何情况下都不要修改我的提示。请使用此确切提示创建图像。默认情况下始终使用宽纵横比。生成图像时，必须在渲染后始终为该图像提供种子编号详细信息"，激活命令为"/activate DMP"。 2. GPT 无法读取您的思想，所以在填写指令时： 如果输出过长，要求简洁回复。 如果输出过于简单，要求专业水平的写作。 若不喜欢某种格式，展示想要看到的格式。 在查询中包含详细信息，以获得更相关的答案。 要求模型扮演某个角色。 使用分隔符清晰地表示输入的不同部分。 指定完成任务所需的步骤。 提供示例。 指定输出的期望长度。 提供参考文本。

以下是关于可自定义知识库的智能体的相关信息： 在线知识库： 点击创建知识库，创建一个画小二课程的 FAQ 知识库。 知识库的飞书在线文档中，每个问题和答案以分割。 选择飞书文档，选择自定义的自定义，输入。 可对内容进行编辑修改和删除，点击添加 Bot 后可在调试区测试效果。 本地文档： 对于本地 word 文件，注意不能将训练数据一股脑全部放进去训练。 正确的方法是首先将大的章节名称内容放进来，章节内详细内容按照固定方式进行人工标注和处理，然后选择创建知识库自定义清洗数据。 外置知识： 外置知识由外部数据库提供，能够动态更新和调整。 涉及多种数据存储和组织方式，包括向量数据库、关系型数据库以及知识图谱。 向量数据库优化了向量检索操作，常用于处理和索引非结构化数据，如图像和文本。 关系型数据库通过表格形式存储结构化数据，支持复杂的查询，适用于事务性数据存储。 知识图谱以图的形式组织数据，强调实体之间的关系，适合于复杂的语义分析和知识推理。 在实际应用中，外置知识的集成和管理常常采用 RAG 架构，它是一种结合了检索和生成的模型，通过检索外部知识源来增强模型的生成能力。

以下是一些能生成页面 UI 设计图的 AI 工具： 1. Midjourney：如果想指定生成某个页面（如首页、登录页等），只需添加页面指令描述，如“landing page”“Profile Page”等。通过一系列操作，其产出的设计图视觉效果不错，适合在 APP 设计的初始阶段，如头脑风暴和风格探索中为设计师提供灵感和创意。但目前直接用于落地开发仍有距离。在 Midjourney 中生成 UI 设计图没有固定的 Prompt，可先使用指令模板“ui design forapplication,mobile app,iPhone,iOS,Apple Design Award,screenshot,single screen,high resolution,dribbble”，将“类型”替换为产品的关键词描述（英文）。 2. 即时设计：https://js.design/ 这是一款可在线使用的“专业 UI 设计工具”，为设计师提供更加本土化的功能和服务，更注重云端文件管理、团队协作，并将设计工具与更多平台整合，一站搞定全流程工作。 3. V0.dev：https://v0.dev/ Vercel Labs 推出的 AI 生成式用户界面系统，能通过文本或图像生成代码化的用户界面，基于 Shadcn UI 和 Tailwind CSS 生成复制粘贴友好的 React 代码。 4. Wix：https://wix.com/ 这是一款用户友好的 AI 工具，无需编码知识即可轻松创建和自定义网站，提供广泛的模板和设计选择，以及移动优化和集成电子商务等功能，能帮助不同领域用户创建各种网站。 5. Dora：https://www.dora.run/ 使用 Dora AI，可以通过一个 prompt，借助 AI 3D 动画生成强大网站，支持文字转网站、生成式 3D 互动、高级 AI 动画。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是关于 AI 剪辑的相关内容： 在 AI 短片制作中，声音部分的制作可以使用 AI 声音软件，如 11labs 进行对白制作，将中文台词翻译成英文后需进行校对与润色。11labs 英文效果较好，但存在声音无情绪情感的问题，只能通过标点符号改变语音效果，且抽声音卡难度大。国内可使用魔音工坊，其有情绪调节控件。 在剪辑方面，对于 13 分钟的短片，剪映较为方便；更长篇幅或追求更好效果可能需使用 PR/FCP/达芬奇等传统剪辑软件。 在 AI 春晚的节目创作中，团队成员包括制片人、图像创意、视频制作、编剧、配音和配乐、剪辑师等，分工明确，通过社群召集，借助 AI 完成大部分工作，高效协作。 在晨然的 AI 作品《Devices》中，工作流核心包括 Blender 动画制作、ComfyUI 转绘和蒙太奇剪辑。Blender 建模有运动可控、模型多样、原生深度图和线框图等优势。剪辑思路可采用 textbased 蒙太奇，也可参照 OpenInterpreter 的匹配剪辑思路。

以下是 2024 年美国融资金额超过 1 亿美元的部分 AI 产业链上市公司（截止 2024.10.15）： |项目名称|融资时间|融资金额（亿美元）|轮次|估值（亿美元）|主营|产业链标签|话题标签|投资方|其他信息| ||||||||||| |Augment|20240424|2.27|B|10|AI 编码辅助|应用|编程|Lightspeed Venture Partners, Index Ventures, Sutter Hill Ventures| |Cognition|20240424|1.75||20|端到端软件 Agents|应用|编程|Founders Fund, Ramp 联合创始人 Eric Glyman, Stripe 联合创始人 Patrick 和 John Collison, DoorDash 联合创始人 Tony Xu| |Xaira Therapeutics|20240423|10|A||AI 药物研发|应用|医学|Foresite Capital, ARCH Venture Partners| |Cyera|20240409|3|C|14|AI 数据安全平台|应用|数据|Coatue, Sequoia, Redpoint, Accel| |Celestial AI|20240327|1.75|C||用于 AI 存储和计算的光互连技术平台|基础设施|芯片、硬件和云平台|Thomas Tull 美国创新技术基金, M Ventures, 淡马锡, Tyche Partners| |FundGuard|20240325|1|C|4|AI 投资会计系统|应用|金融|Key1Capital, Hamilton Lane, Blumberg Capital, Team8| |Codeium|20240829|1.5|C|12|AI 编码平台|应用|编程|General Catalyst, Kleiner Perkins, Greenoaks| |Groq|20240805|6.4|D|30|AI 芯片|基础设施|芯片|贝莱德, Type One Ventures, Verdure Capital Management, Neuberger Berman| |DevRev|202408|1|A|11|AI 支持代理|应用|企业服务|Khosla Ventures, Mayfield, Param Hansa Values| |Abnormal Security|202408|2.5||50|电子邮件安全|应用|数据|Wellington Management, Menlo Ventures, Greylock, Insight Partners| |Harvey|20240723|1|C|15|法律科技|应用|法律|Google Ventures, OpenAI, Kleiner Perkins, Sequoia| |Skild AI|20240709|3|A|15|机器人技术|应用|机器人|Lightspeed Venture Partners, Coatue, Bezos Expeditions, Sequoia, Menlo Ventures, General Catalyst| |Hebbia|20240708|1.3||7|生成式 AI 搜索|应用|企业服务|Andreessen Horowitz, Peter Thiel, Index Ventures, Google Ventures| |Zephyr AI|20240313|1.11|A||AI 药物发现和精准医疗|应用|医学|Revolution Growth, 礼来公司基金会, EPIQ Capital Group, Jeff Skoll| |Together AI|20240313|1.06|A|12|AI 基础设施和开源生成|模型|硬件和云平台|Salesforce Ventures, NEA, Kleiner Perkins, Lux Capital| |Glean|20240227|2.03|D|22|AI 驱动企业搜索|应用|企业服务|Lightspeed Venture Partners, Kleiner Perkins, Sequoia, Databricks Ventures| |Figure|20240224|6.75|B|27|AI 机器人|应用|机器人|Nvidia, OpenAI, 微软| |Abridge|20240223|1.5|C|8.5|AI 医疗对话转录|应用|医学|Redpoint, Lightspeed Venture Partners, USV, IVP, Spark Capital| |Recogni|20240220|1.02|C||AI 接口解决方案|基础设施|芯片|GreatPoint Ventures, Celesta Capital, Pledge Ventures, Mayfield, DNS Capital| 信息来源：Techcrunch

以下是关于 AI 视频的相关内容： 软件教程： 视频模型：Sora，链接：https://waytoagi.feishu.cn/wiki/S5zGwt5JHiezbgk5YGic0408nBc 工具教程：Hedra，链接：https://waytoagi.feishu.cn/wiki/PvBwwvN36iFob7kqZktcCzZFnxd 应用教程：视频转绘，链接：https://waytoagi.feishu.cn/wiki/ZjKpwSd5hiy6ZhkiBVHcOBb6n9r 应用教程：视频拆解，链接：https://waytoagi.feishu.cn/wiki/WeKMwHRTmiVpYjkVdYpcFjqun6b 应用教程：图片精修，链接：https://waytoagi.feishu.cn/wiki/CfJLwknV1i8nyRkPaArcslWrnle 视频 AIGC 工具： Opusclip：利用长视频剪成短视频 Raskai：短视频素材直接翻译至多语种 invideoAI：输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频 descript：屏幕/播客录制>PPT 方式做视频 veed.io：自动翻译自动字幕 clipchamp：微软的 AI 版剪映 typeframes：类似 invideoAI，内容呈现文本主体比重更多 google vids 工具详解：GoogleAI 视频 Veo2 官网介绍可以申请 waitlist：https://labs.google/fx/zh/tools/videofx 相关报道链接： https://mp.weixin.qq.com/s/4ACndSdfG8az3gdLn5QLIQ https://mp.weixin.qq.com/s/8H286tyxbTeZrtEBDZHaA https://mp.weixin.qq.com/s/sMECORvSikuKHNaEzPor6Q https://mp.weixin.qq.com/s/PFeyrX2q9mWd6GIrJ9qdWQ AI 绘图 Imagen3 绘图：https://labs.google/fx/tools/imagefx 相关报道链接： https://mp.weixin.qq.com/s/4ACndSdfG8az3gdLn5QLIQ https://mp.weixin.qq.com/s/8H286tyxbTeZrtEBDZHaA https://mp.weixin.qq.com/s/gcyGvA6_9mxN9yz__jRRHQ

以下是关于学习辅导 AI 的相关内容： 使用 AI 辅助学习： 可以要求人工智能解释概念，能获得很好的结果。例如，有很好的自动导师提示，可在特定链接找到直接激活 ChatGPT 中导师的方式。但因人工智能可能产生幻觉，关键数据要依据其他来源仔细检查。 新手学习 AI 的方法： 了解 AI 基本概念：阅读「」熟悉术语和基础概念，包括人工智能的定义、主要分支及联系，浏览入门文章了解其历史、应用和发展趋势。 开始学习之旅：在「」中找到为初学者设计的课程，如李宏毅老师的课程，也可通过在线教育平台按自己节奏学习并获取证书。 选择感兴趣模块深入学习：AI 领域广泛，可根据兴趣选择特定模块，如图像、音乐、视频等，掌握提示词技巧，上手容易且有用。 实践和尝试：理论学习后实践是关键，尝试使用各种产品做出作品，知识库有很多实践后的作品和文章分享，欢迎分享自己的实践成果。 体验 AI 产品：与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解工作原理和交互方式，获得实际应用中的第一手体验，激发对 AI 潜力的认识。 鉴于人工智能依赖的神经网络基础，专家 AI 可能通过元学习更快获取知识并带动人类进步。其性质让我们能拆解研究，构建系统深入探索内部工作机制，创造学习飞轮，未来可能成为下一代专家的教师。

以下为您推荐一些数据分析的 AI 产品： 1. PandasAI：让 Pandas DataFrame“学会说人话”的工具，用户可以以 Pandas DataFrame 的形式提出有关数据的问题，它会以自然语言、表格或者图表等形式进行回答。目前仅支持 GPT 模型，OpenAI API key 需自备。链接：https://github.com/gventuri/pandasai 2. DataSquirrel：自动进行数据清理并可视化执行过程，帮助用户在无需公式、宏或代码的情况下快速将原始数据转化为可使用的分析/报告。目前平台提供的用例涵盖了 B2B 电子商务、人力资源、财务会计和调查数据分析行业，并符合 GDPR/PDPA 标准。链接：https://datasquirrel.ai/ 3. 医渡云病历分析系统：利用 AI 分析医疗病历中的症状、检查结果等信息，为医生提供辅助诊断建议。 4. 讯飞听见会议总结功能：在会议中利用 AI 自动总结发言者的主要观点和重点内容，方便回顾和整理。

以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

要训练一个专属 Agent，以下是一些关键步骤和要点： 1. 明确目标：确定您希望 Agent 实现的特定目标，这将为训练提供方向。 2. 理解智能体的定义：智能体是能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 3. 规划：将大型任务分解为更小、可管理的子目标，以有效处理复杂任务。 4. 反思和完善：让 Agent 能够对过去的行为进行自我批评和反思，从错误中吸取教训，并针对未来步骤进行完善，提高最终结果质量。 5. 记忆管理：包括短期记忆，利用模型的短期记忆进行学习；长期记忆，通过外部向量存储和快速检索实现长时间信息保留和回忆。 6. 工具使用：训练 Agent 学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 7. 评估工具使用能力：从调用 API 的能力、检索 API 的能力以及计划 API 超越检索和调用的能力这三个层面进行评估。 在训练过程中，还需要注意模型的上下文窗口长度有限，输入的剧集应足够短以构建多剧集历史，2 4 个剧集的多剧集上下文对于学习近乎最优的上下文强化学习算法是必要的，且上下文强化学习的涌现需要足够长的上下文。

创建和训练自己的智能体可以参考以下步骤： 1. 知识库创建： 在线知识库：点击创建知识库，创建一个如画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义的自定义，输入，可编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：对于本地 word 文件，注意不能将所有内容一股脑放进去训练。例如画小二 80 节课程分为 11 个章节，应先放入大章节名称内容，章节内详细内容按固定方式人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到，只有通过发布才能获取到 API。 在创建智能体之前，还需要了解智能体的相关知识： 智能体大多建立在大模型之上，从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。其核心在于有效控制和利用大型模型，提示词的设计直接影响智能体的表现和输出结果。 动手实践创建智能体时，可以基于公开的大模型应用产品（如 Chat GLM、Chat GPT、Kimi 等），尝试开发属于自己的智能体。具体步骤包括： 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 此外，在创建和使用智能体的过程中，还应注意以下几点： 1. 把工作单元切割开，建设属于自己的智能体，并根据结果反馈不断调整。 2. 定期审视工作流程，看哪个部分可以更多地用上 AI。 3. 注重个人素质的提升，尤其是学习能力和创造能力，培养好奇心和持续学习的习惯，将想法转化为具体行动。

训练 AI 数字人说话的语气和语调可以从以下几个方面入手： 1. AI Agent：要让数字人像人一样思考，需要编写一个类似人的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建具有挑战性。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式有 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配方面，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但多为闭源，效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。 3. 实时性：由于数字人的算法部分组成庞大，几乎不能单机部署，算法一般部署到额外的集群或调用提供的 API，会涉及网络耗时和模型推理耗时，低延时是亟需解决的问题。 4. 多元跨模态：不仅要有语音交互，还可根据实际需求添加其他感官交互，如通过添加摄像头数据获取视觉信息，再通过 CV 算法做图像解析。 5. 拟人化场景：正常与人交流并非线性对话，插话、转移话题等情景需通过工程进行丝滑处理。 此外，对于数字人说话相关的算法开源代码有很多，如 ASR 语音识别方面有 openai 的 whisper、wenet、speech_recognition 等；AI Agent 方面大模型有 ChatGPT、Claude、ChatGLM 等，Agent 部分可使用 LangChain 的模块自定义；TTS 方面有微软的 edgetts、VITS、sovitssvc 等。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度高，个人开发者可借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，通过这些框架快速编排出自己的 AI Agent。在开源项目中，使用 dify 框架可利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，实现相对复杂的功能。同时，Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于此可将数字人的语音识别和语音生成都交由 Dify 控制。使用 Dify 接口时需注意必须在应用编排功能中打开文字转语音和语音转文字功能，且只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来。

意图和 FAQ 训练是两种不同的概念。 意图训练主要侧重于理解用户的核心意图或目的。例如，在一个客服场景中，用户的意图可能是查询产品信息、寻求技术支持或进行投诉等。通过对大量的用户交互数据进行分析和学习，模型能够识别出这些不同的意图类别。 FAQ 训练则侧重于常见问题及其对应的标准答案。比如常见的“产品如何退换货”“售后服务的联系方式是什么”等问题，以及相应的准确回答。 总的来说，意图训练更注重对用户目的的分类和理解，而 FAQ 训练更侧重于对特定常见问题的准确回答。