Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui

以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

要训练一个专属 Agent，以下是一些关键步骤和要点： 1. 明确目标：确定您希望 Agent 实现的特定目标，这将为训练提供方向。 2. 理解智能体的定义：智能体是能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 3. 规划：将大型任务分解为更小、可管理的子目标，以有效处理复杂任务。 4. 反思和完善：让 Agent 能够对过去的行为进行自我批评和反思，从错误中吸取教训，并针对未来步骤进行完善，提高最终结果质量。 5. 记忆管理：包括短期记忆，利用模型的短期记忆进行学习；长期记忆，通过外部向量存储和快速检索实现长时间信息保留和回忆。 6. 工具使用：训练 Agent 学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 7. 评估工具使用能力：从调用 API 的能力、检索 API 的能力以及计划 API 超越检索和调用的能力这三个层面进行评估。 在训练过程中，还需要注意模型的上下文窗口长度有限，输入的剧集应足够短以构建多剧集历史，2 4 个剧集的多剧集上下文对于学习近乎最优的上下文强化学习算法是必要的，且上下文强化学习的涌现需要足够长的上下文。

创建和训练自己的智能体可以参考以下步骤： 1. 知识库创建： 在线知识库：点击创建知识库，创建一个如画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，选择飞书文档、自定义的自定义，输入，可编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：对于本地 word 文件，注意不能将所有内容一股脑放进去训练。例如画小二 80 节课程分为 11 个章节，应先放入大章节名称内容，章节内详细内容按固定方式人工标注和处理，然后选择创建知识库自定义清洗数据。 2. 发布应用：点击发布，确保在 Bot 商店中能够搜到，只有通过发布才能获取到 API。 在创建智能体之前，还需要了解智能体的相关知识： 智能体大多建立在大模型之上，从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。其核心在于有效控制和利用大型模型，提示词的设计直接影响智能体的表现和输出结果。 动手实践创建智能体时，可以基于公开的大模型应用产品（如 Chat GLM、Chat GPT、Kimi 等），尝试开发属于自己的智能体。具体步骤包括： 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 此外，在创建和使用智能体的过程中，还应注意以下几点： 1. 把工作单元切割开，建设属于自己的智能体，并根据结果反馈不断调整。 2. 定期审视工作流程，看哪个部分可以更多地用上 AI。 3. 注重个人素质的提升，尤其是学习能力和创造能力，培养好奇心和持续学习的习惯，将想法转化为具体行动。

训练 AI 数字人说话的语气和语调可以从以下几个方面入手： 1. AI Agent：要让数字人像人一样思考，需要编写一个类似人的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建具有挑战性。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式有 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配方面，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但多为闭源，效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。 3. 实时性：由于数字人的算法部分组成庞大，几乎不能单机部署，算法一般部署到额外的集群或调用提供的 API，会涉及网络耗时和模型推理耗时，低延时是亟需解决的问题。 4. 多元跨模态：不仅要有语音交互，还可根据实际需求添加其他感官交互，如通过添加摄像头数据获取视觉信息，再通过 CV 算法做图像解析。 5. 拟人化场景：正常与人交流并非线性对话，插话、转移话题等情景需通过工程进行丝滑处理。 此外，对于数字人说话相关的算法开源代码有很多，如 ASR 语音识别方面有 openai 的 whisper、wenet、speech_recognition 等；AI Agent 方面大模型有 ChatGPT、Claude、ChatGLM 等，Agent 部分可使用 LangChain 的模块自定义；TTS 方面有微软的 edgetts、VITS、sovitssvc 等。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度高，个人开发者可借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，通过这些框架快速编排出自己的 AI Agent。在开源项目中，使用 dify 框架可利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，实现相对复杂的功能。同时，Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于此可将数字人的语音识别和语音生成都交由 Dify 控制。使用 Dify 接口时需注意必须在应用编排功能中打开文字转语音和语音转文字功能，且只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来。

意图和 FAQ 训练是两种不同的概念。 意图训练主要侧重于理解用户的核心意图或目的。例如，在一个客服场景中，用户的意图可能是查询产品信息、寻求技术支持或进行投诉等。通过对大量的用户交互数据进行分析和学习，模型能够识别出这些不同的意图类别。 FAQ 训练则侧重于常见问题及其对应的标准答案。比如常见的“产品如何退换货”“售后服务的联系方式是什么”等问题，以及相应的准确回答。 总的来说，意图训练更注重对用户目的的分类和理解，而 FAQ 训练更侧重于对特定常见问题的准确回答。

ComfyUI_LayerStyle 相关内容如下： 加载模型部分： 下好工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”以及上传自己所需的照片到 Input 部分。右上角放自己的人像图片（非人像会报错提示“no face detected”）。 对于 vae 加载器部分，选择 xl 版本（因为大模型用的 xl）的 vae 即可。 对于 ipadater 部分，倘若加载器部分报错说 model 不存在，将文中画圈部分修改调整到不报错。 Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接：PulID 全套模型 链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb 提取码:y6hb ，否则将会报错。 爆肝博主 ZHO 的更新记录： 3 月 7 日：ComfyUI 支持 Stable Cascade 的 Inpainting ControlNet，ComfyUI 作者在示例页面给出了说明和工作流：https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade/ ，博主自己也整理了一版，分享在：https://github.com/ZHOZHOZHO/ComfyUIWorkflowsZHO ，说明第二个 inpainting+composite 是将原图帖回到重绘之后的效果，是非必要项，按需使用。 3 月 6 日：国内作者把 ps 很多功能都迁移到了 ComfyUI 里，项目是：https://github.com/chflame163/ComfyUI_LayerStyle 。最新版 ComfyUI 支持了一系列图像形态学处理，包括 erode 腐蚀（去除小噪点/分离相邻对象）、dilate 膨胀（填补小洞/连接临近对象）、open 开（先腐蚀后膨胀）、close 闭（先膨胀后腐蚀）、gradient 梯度（膨胀与腐蚀之差）、top_hat 顶帽（原图与开之差）、bottom_hat 底帽（原图与闭之差）。使用方法为：1）更新 ComfyUI；2）右键 image/postprocessing/ImageMorphology；3）接上图像输入和输出即可。

在 ComfyUI 中可以接入以下与 3D 相关的 API： 1. @CSM_ai：可以将文本、图像或草图转换为 3D 素材，并直接应用于游戏中，无需后期处理。体验地址：https://cube.csm.ai ，https://x.com/xiaohuggg/status/1763758877999587757?s=20 2. Move AI 推出的 Move API：可以从 2D 视频生成 3D 运动数据，支持多种 3D 文件格式导出，为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接：https://move.ai/api ，https://x.com/xiaohuggg/status/1761590288576061573?s=20 3. ComfyUI 3D Pack 引入 3D 图像处理：可以快速将图片转换为 3D 模型，支持多角度查看，使用 3D 高斯扩散技术提升模型质量，支持多种格式导出，集成先进 3D 处理算法。链接：https://github.com/MrForExample/ComfyUI3DPack/tree/main ，https://x.com/xiaohuggg/status/1755824687811346514?s=20 此外，ZHO 博主有关于 ComfyUI 的更新记录： 1. 4 月 18 日，ComfyUI Stable Diffusion 3 API 已更新为 V1.5 版，图生图和 SD3 Turbo 都可以正常使用，但 SD3 图生图模式不支持选择比例，SD3 Turbo 模型不支持负面提示词。使用方法是先申请 API，然后填入 config.json 文件即可（每账户 25 免费积分），SD3 每张图 6.5 积分（比较贵）。项目地址：https://github.com/ZHOZHOZHO/ComfyUIStableDiffusion3API ，SD3 API ComfyUI 节点测试成功。 2. 4 月 17 日，Stability AI 刚刚发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo，现在已经可通过 Stability AI 开发者平台 API 使用，SAI 计划在不久的将来通过会员资格提供模型权重。详情：https://bit.ly/3W43FjY

在 ComfyUI 中可以接入以下类型的节点： 1. 输入节点： 文本提示节点：用于输入生成图像的文本描述。 图像输入节点：用于输入基础图像进行二次生成。 噪声节点：用于输入初始噪声图像。 2. 处理节点： 采样器节点：选择图像生成所使用的采样器。 调度器节点：选择图像生成所使用的调度器。 CFG Scale 节点：调整引导式采样的强度。 步数节点：设置图像生成的迭代步数。 3. 输出节点： 图像输出节点：显示生成的最终图像。 4. 辅助节点： 批处理节点：支持批量生成多个图像。 图像变换节点：提供图像旋转、翻转等功能。 图像融合节点：可以将多个图像合并成一个。 此外，还有一些特定的节点插件，如： 1. PuLID 节点插件： model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。 2. 中文提示词输入相关节点： 安装完成后，在【新建节点】【Alek 节点】下，有【预览文本】、【绘画】、【姿态】、【clip 文本编码器】和【翻译文本】这五个节点。 【clip 文本编码器（翻译）】可代替自带的【clip 文本编码器】，直接输入中文。但引用负向 embedding 时，文件夹路径不能有中文。 【翻译文本】节点可代替【元节点】，在 sdxl 流程中，当需要将文本信息单独列出来时使用。 【预览文本】节点可连接到【翻译文本】检查翻译是否正确。 如果翻译失效，可双击“embedded_instail”进行安装，然后用记事本打开 BaiduTranslate.py，填入在百度翻译开发平台申请的 ID 和密码，即可正常翻译。

要将 tripo 的节点接入 ComfyUI，您可以参考以下步骤： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果您在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 在使用自定义节点之前，有一些要注意的事项： 您的图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，您必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，您必须写 C:\\database 。 Python 在这里需要斜杠，但节点会自动将所有反斜杠转换为斜杠。文件夹名称中的空格也不是问题。 4. 参数方面： 在第一行，您可以从 checkpoint 文件夹中选择任何模型。然而，据说您必须选择一个基本模型进行 LoRA 训练。 您选择一个名字为您的 LoRA，如果默认值对您不好，就更改这些值（epochs 数应该接近 40），然后启动工作流程！ 5. 一旦您点击 Queue Prompt，所有事情都会在命令提示符中发生。 6. 建议与字幕自定义节点和 WD14 标签一起使用。但请注意，在制作字幕时禁用 LoRA 训练节点。因为 Comfy 可能会在制作字幕之前启动训练。 7. 关于 Tensorboard：训练会在 log 文件夹中创建一个日志文件，该文件夹会在 Comfy 的根文件夹中创建。该日志可能是一个可以在 Tensorboard UI 中加载的文件。 ComfyUI 的核心是其节点式界面，节点类型包括输入节点（如文本提示节点、图像输入节点、噪声节点）、处理节点（如采样器节点、调度器节点、CFG Scale 节点、步数节点）、输出节点（如图像输出节点）、辅助节点（如批处理节点、图像变换节点、图像融合节点）。用户可以通过拖放和连接各种节点来创建自定义的图像生成工作流，还可以创建自定义节点来扩展功能，自定义节点安装目录为 D:\\ComfyUI\\custom_nodes 。ComfyUI 还提供了丰富的节点管理功能，包括保存/加载节点图、复制/粘贴节点、批量编辑等。

ComfyUI BrushNet： 项目链接： 原项目：https://tencentarc.github.io/BrushNet/ 插件地址：https://github.com/kijai/ComfyUIBrushNetWrapper 模型下载：https://huggingface.co/Kijai/BrushNetfp16/tree/main 第一次运行会自动下载需要的模型，如果是用的 ComfyUIBrushNetWrapper 节点，模型将自动从此处下载：https://huggingface.co/Kijai/BrushNetfp16/tree/main 到 ComfyUI/models/brushnet，因环境问题，也可手动下载放在这个文件夹里。另外，BrushNet 提供了三个模型，个人测试下来，random 这个效果比较好。 工作流：配合 mj 出底图，在底图不变的基础上，添加文字或者图片内容。另外可以使用 GDinoSAm（GroundingDino+Sam），检测和分割底图上的内容，做针对性的修改。 4SeasonYou 工作流副本： 一、加载模型部分（总文件有） 官网下载两个文件。 先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型，否则将会有以下的问题。 GDino 加载器部分：在链接：处下载以下文件。 然后再次检查自己的文件有没有齐全：在 models 下创建 groundingdino 且配置以下文件命名齐全。同理，sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 然后，接下来很大概率在运行到此节点时会报科学上网的（httpsxxxxx）错误。倘若觉得在此工作流中排除 bug 很慢，不妨使用此网址的工作流（可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴，再改后缀名为 json。）进行操作：。那么就要在尝试稳定的科学上网后重启 UI 跑工作流。

ComfyUI 工作流主要包括以下内容： 低显存运行工作流：目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为，先在较低分辨率下使用 Flux 模型进行初始生成，然后采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存使用，最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成（Flux），涉及 UNETLoader 加载 flux1dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 fluxae.sft 等步骤，以及图像放大和细化（SDXL），包括加载 SDXL 模型、放大模型等步骤。 工作流网站： “老牌”workflow 网站 Openart.ai，流量较高，支持上传、下载、在线生成，免费账户有 50 个积分，加入 Discord 可再加 100 积分，开通最低每月 6 美元套餐后每月有 5000 积分，网址为 https://openart.ai/workflows/ 。 ComfyWorkflows 网站，支持在线运行工作流，从实际下载量和访问量来看略少于 openart，网址为 https://comfyworkflows.com/cloud 。 Flowt.ai，网址为 https://flowt.ai/community 。 相关介绍： RPA 很早就出现在工作流编排领域，目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化。 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作，提高了流程的可复用性，降低了时间成本，其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处，都定义了一套标准化的 DSL 语言，方便导入导出进行工作流复用。 Large Action Model 采用“通过演示进行模仿”的技术，从用户提供的示例中学习。但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠等问题，同时提出通过自然语言创建工作流的想法。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。

以下是关于 Flux 的 Lora 模型训练的指南： 准备工作： 需要下载以下模型： t5xxl_fp16.safetensors clip_l.safetensors ae.safetensors flux1dev.safetensors 注意事项： 1. 不使用的话，模型放置位置不限，但要清楚其“路径”，后续会引用到。 2. 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 修改脚本路径和参数： 如果显卡是 16G，右键 16G 的 train_flux_16GLora 文件；如果显卡是 24G 或更高，右键 24G 的 train_flux_24GLora 文件。（DB 全参微调对硬件要求高，内存 32G 可能不行。即使是 train_flux_24GLora 方式，也建议内存高于 32G 以避免意外。） 右键用代码编辑器打开文件，理论上只需修改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹，路径填写更简单；若不在，需准确复制各模型的路径，注意检查格式，避免多双引号、漏双引号或路径错误。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以包含图片+标签 txt，也可以只有图片（之后可在 c 站使用自动打标功能），也可一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间，确认创建数据集，返回到上一个页面，等待上传成功后可点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，点击右侧箭头选择上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速，点击开始训练，会显示所需消耗的算力，然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击会自动跳转到使用此 lora 生图的界面，点击下方的下载按钮则会自动下载到本地。

Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。

以下是一些关于 flux 提示词的示例： 在不同主题方面，如文本概括（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC）、信息提取（https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96）、问答（https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94）、文本分类（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB）、对话（https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D）、代码生成（https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90）、推理（https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86），通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中，构建提示词时可以添加示例（可选）。您可以通过在提示词中加入一些示例，让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式，用不同的对话分隔符，例如用“我”代替“Human:”，用“你”代替“Assistant:”；也可以直接提供例子。决定哪种方法更有效取决于具体任务，建议尝试两种方法以确定更好的结果。 在市场营销类中，如赛博佛祖（Kyle）的示例，其角色设定为熟悉佛教经典、境界很高的佛学大师，能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义，提供有效建议等，并给出了详细的约束条件和链接地址（）。

如果您的显存较低，安装 FLUX 可以参考以下步骤： 1. NF4 模型下载： 链接：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置：ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中） NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载： 链接：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中，GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案： flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注：如果报错，请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内，重启 ComfyUI，如果之前没更新，更新后再重启。 相关资源链接： BitsandBytes Guidelines and Flux：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话，工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

ComfyUI FLUX 低显存运行的相关内容如下： 工作流： 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路： 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程： 初始图像生成（Flux）： UNETLoader：加载 flux1dev.sft 模型。 DualCLIPLoader：加载 t5xxl 和 clip_l 模型。 VAELoader：加载 fluxae.sft。 CLIPTextEncode：处理输入提示词。 BasicGuider 和 RandomNoise：生成初始噪声和引导。 SamplerCustomAdvanced：使用 Flux 模型生成初始图像。 VAEDecode：解码生成的潜在图像。 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化（SDXL）： CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。 UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。 VAELoader：加载 sdxl_vae.safetensors。 ImageSharpen：对初始图像进行锐化处理。 UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览：PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择： 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。 记得把 weight dtype 也设置为 fp8，降低对显存的使用。 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。 ComfyUI 简介： 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI