FLUX模型训练

Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。

以下是一些关于 flux 提示词的示例： 在不同主题方面，如文本概括（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC）、信息提取（https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96）、问答（https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94）、文本分类（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB）、对话（https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D）、代码生成（https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90）、推理（https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86），通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中，构建提示词时可以添加示例（可选）。您可以通过在提示词中加入一些示例，让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式，用不同的对话分隔符，例如用“我”代替“Human:”，用“你”代替“Assistant:”；也可以直接提供例子。决定哪种方法更有效取决于具体任务，建议尝试两种方法以确定更好的结果。 在市场营销类中，如赛博佛祖（Kyle）的示例，其角色设定为熟悉佛教经典、境界很高的佛学大师，能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义，提供有效建议等，并给出了详细的约束条件和链接地址（）。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

如果您的显存较低，安装 FLUX 可以参考以下步骤： 1. NF4 模型下载： 链接：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置：ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中） NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载： 链接：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中，GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案： flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注：如果报错，请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 相关资源链接： BitsandBytes Guidelines and Flux：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话，工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

ComfyUI FLUX 低显存运行的相关内容如下： 工作流： 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路： 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程： 初始图像生成（Flux）： UNETLoader：加载 flux1dev.sft 模型。 DualCLIPLoader：加载 t5xxl 和 clip_l 模型。 VAELoader：加载 fluxae.sft。 CLIPTextEncode：处理输入提示词。 BasicGuider 和 RandomNoise：生成初始噪声和引导。 SamplerCustomAdvanced：使用 Flux 模型生成初始图像。 VAEDecode：解码生成的潜在图像。 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化（SDXL）： CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。 UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。 VAELoader：加载 sdxl_vae.safetensors。 ImageSharpen：对初始图像进行锐化处理。 UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览：PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择： 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。 记得把 weight dtype 也设置为 fp8，降低对显存的使用。 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。 ComfyUI 简介： 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。

时间序列模型是用于分析和处理随时间变化的数据的一类模型。 例如，在评估 GPT4V 对时间序列和视频内容的理解时，会考虑其对现实世界中随时间展开的事件的理解能力，像时间预测、排序、定位、推理和基于时间的理解等。 在视频生成方面，如 Video LDM 模型，先训练图像生成器，再微调添加时间维度以生成视频。 总的来说，时间序列模型旨在理解和预测数据在时间上的变化规律和趋势。

要通过 API 调用豆包大模型，以下是一些相关步骤和信息： 1. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 获取 key 的图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 2. 创建大模型问答应用： 首先可以通过创建一个百炼应用，来获取大模型的推理 API 服务，用于实现 AI 助手。 创建应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布，我们将在后面的步骤中去解决这一问题。 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 配置 FastGpt、OneAPI： 首先配置 OneAPI，还记得刚刚让您白嫖的大模型 API 吗？阿里的接口，这时要派上用场了，去阿里模型的链接里创建 ApiKey，并复制下来。然后在 OneAPI 的页面，点击【渠道】添加新渠道。添加时，类型选择阿里通义千问，名称自己取个，类型选择好后模型是会默认加进去，您不用删减，还有就把刚刚阿里那复制的 ApiKey 粘贴到秘钥里去。这样就 OK 了。后续有其他的大模型也是一样的添加方式。

大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd

大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以确保问题向量能有效用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段，并抽取相关信息传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 在这个过程中还包括以下信息处理步骤： 1. 信息筛选与确认：系统会对检索器提供的信息进行评估，筛选出最相关和最可信的内容，同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余：识别和去除多个文档或数据源中可能存在的重复信息，以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射：分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等，构建一个结构化的知识框架，使信息在语义上更加连贯。 4. 上下文构建：将筛选和结构化的信息组织成一个连贯的上下文环境，包括对信息进行排序、归类和整合，形成一个统一的叙述或解答框架。 5. 语义融合：在必要时，合并意义相近但表达不同的信息片段，以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段：整合好的上下文信息被编码成适合生成器处理的格式，如将文本转化为适合输入到生成模型的向量形式。 最终，全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息，大语言模型相当于同时拿到了问题和参考答案，通过 LLM 的全文理解，最后生成一个准确和连贯的答案。 相关概念： LLM：Large language model 的缩写，即大语言模型。 Prompt：中文译作提示词，是输入给大模型的文本内容，可以理解为和大模型说的话、下达的指令。 Token：大模型语言体系中的最小单元，不同厂商的大模型对中文文本的切分方法不同，通常 1Token≈12 个汉字，大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文：英文通常翻译为 context，指对话聊天内容前、后的内容信息，上下文长度和上下文窗口都会影响大模型回答的质量。

Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本编码生成 Text Embeddings 特征矩阵，用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型，其只包含 Transformer 结构，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小为 123M，输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式： SD 模型权重：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 模型”，可获得包含多种模型权重的资源链接。 SD 保姆级训练资源：关注 Rocky 的公众号 WeThinkIn，后台回复“SDTrain”，可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 网络结构”，即可获得网络结构图资源链接。

截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。

要训练一个专属 Agent，以下是一些关键步骤和要点： 1. 明确目标：确定您希望 Agent 实现的特定目标，这将为训练提供方向。 2. 理解智能体的定义：智能体是能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 3. 规划：将大型任务分解为更小、可管理的子目标，以有效处理复杂任务。 4. 反思和完善：让 Agent 能够对过去的行为进行自我批评和反思，从错误中吸取教训，并针对未来步骤进行完善，提高最终结果质量。 5. 记忆管理：包括短期记忆，利用模型的短期记忆进行学习；长期记忆，通过外部向量存储和快速检索实现长时间信息保留和回忆。 6. 工具使用：训练 Agent 学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 7. 评估工具使用能力：从调用 API 的能力、检索 API 的能力以及计划 API 超越检索和调用的能力这三个层面进行评估。 在训练过程中，还需要注意模型的上下文窗口长度有限，输入的剧集应足够短以构建多剧集历史，2 4 个剧集的多剧集上下文对于学习近乎最优的上下文强化学习算法是必要的，且上下文强化学习的涌现需要足够长的上下文。

创建和训练自己的智能体可以参考以下步骤： 1. 知识库创建： 在线知识库：点击创建知识库，创建一个如画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义的自定义，输入，可编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：对于本地 word 文件，注意不能将所有内容一股脑放进去训练。例如画小二 80 节课程分为 11 个章节，应先放入大章节名称内容，章节内详细内容按固定方式人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到，只有通过发布才能获取到 API。 在创建智能体之前，还需要了解智能体的相关知识： 智能体大多建立在大模型之上，从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。其核心在于有效控制和利用大型模型，提示词的设计直接影响智能体的表现和输出结果。 动手实践创建智能体时，可以基于公开的大模型应用产品（如 Chat GLM、Chat GPT、Kimi 等），尝试开发属于自己的智能体。具体步骤包括： 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 此外，在创建和使用智能体的过程中，还应注意以下几点： 1. 把工作单元切割开，建设属于自己的智能体，并根据结果反馈不断调整。 2. 定期审视工作流程，看哪个部分可以更多地用上 AI。 3. 注重个人素质的提升，尤其是学习能力和创造能力，培养好奇心和持续学习的习惯，将想法转化为具体行动。

训练 AI 数字人说话的语气和语调可以从以下几个方面入手： 1. AI Agent：要让数字人像人一样思考，需要编写一个类似人的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建具有挑战性。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式有 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配方面，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但多为闭源，效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。 3. 实时性：由于数字人的算法部分组成庞大，几乎不能单机部署，算法一般部署到额外的集群或调用提供的 API，会涉及网络耗时和模型推理耗时，低延时是亟需解决的问题。 4. 多元跨模态：不仅要有语音交互，还可根据实际需求添加其他感官交互，如通过添加摄像头数据获取视觉信息，再通过 CV 算法做图像解析。 5. 拟人化场景：正常与人交流并非线性对话，插话、转移话题等情景需通过工程进行丝滑处理。 此外，对于数字人说话相关的算法开源代码有很多，如 ASR 语音识别方面有 openai 的 whisper、wenet、speech_recognition 等；AI Agent 方面大模型有 ChatGPT、Claude、ChatGLM 等，Agent 部分可使用 LangChain 的模块自定义；TTS 方面有微软的 edgetts、VITS、sovitssvc 等。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度高，个人开发者可借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，通过这些框架快速编排出自己的 AI Agent。在开源项目中，使用 dify 框架可利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，实现相对复杂的功能。同时，Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于此可将数字人的语音识别和语音生成都交由 Dify 控制。使用 Dify 接口时需注意必须在应用编排功能中打开文字转语音和语音转文字功能，且只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来。

意图和 FAQ 训练是两种不同的概念。 意图训练主要侧重于理解用户的核心意图或目的。例如，在一个客服场景中，用户的意图可能是查询产品信息、寻求技术支持或进行投诉等。通过对大量的用户交互数据进行分析和学习，模型能够识别出这些不同的意图类别。 FAQ 训练则侧重于常见问题及其对应的标准答案。比如常见的“产品如何退换货”“售后服务的联系方式是什么”等问题，以及相应的准确回答。 总的来说，意图训练更注重对用户目的的分类和理解，而 FAQ 训练更侧重于对特定常见问题的准确回答。