Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui

以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。

AI 增量训练和模型微调存在以下区别： 目的：增量训练通常是为了持续更新模型以适应新的数据和任务，而模型微调主要是为了使模型在特定的小领域数据集上针对特定任务达到更好的性能。 范围：增量训练可能涉及对模型的较大范围的更新，而微调往往集中在较小范围的参数调整。 方式：增量训练可能会对全量的模型参数进行训练，而微调存在全量微调（FFT）和参数高效微调（PEFT）两种技术路线，PEFT 只对部分模型参数进行训练，且目前在业界较为流行。 成本和效果：从成本和效果综合考虑，PEFT 是较好的微调方案。微调可以大幅提高模型在特定任务中的性能，但可能会使模型失去一些通用性。 数据使用：增量训练可能需要更多新的数据，而微调是在较小的、特定领域的数据集上进行。 如需了解更多关于微调的内容，可参考 OpenAI 官方微调教程：https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb

大模型训练的数据形式主要包括以下方面： 1. 数据来源广泛：往往来自于互联网，涵盖论文、代码以及可爬取的公开网页等。 2. 数据类型多样：包括文本、图像、音频等多模态数据。 3. 数据规模庞大：一般使用 TB 级别的数据进行预训练。 例如，对于大语言模型（LLM），通常使用 Transformer 算法，以大量的文本数据进行训练。而多模态模型，如文生图、图生图等模型，则使用图文或声音等多模态的数据集进行训练。

训练一个个人日程提醒工具通常需要输入以下几类信息： 1. 日程的具体内容：包括活动的名称、描述等。 2. 时间信息：明确日程开始和结束的具体时间。 3. 重复模式：例如是否每天、每周、每月重复等。 4. 提醒方式：如短信、邮件、应用内推送等，以及提前提醒的时间间隔。 输入格式可以是结构化的数据格式，如 JSON 格式，包含上述各个字段的键值对；也可以是表格形式，将不同的信息列在不同的列中；或者是文本形式，但需要有明确的分隔和标识，以便程序能够准确解析。

训练一个智能时间提醒工具可以遵循以下流程： 1. 明确需求：确定提醒工具的具体功能和使用场景，例如是针对个人日程、工作任务还是特定活动的提醒。 2. 数据收集：收集与时间和提醒相关的数据，包括常见的时间模式、任务类型、重要程度等。 3. 选择技术框架：根据需求和自身技术能力，选择适合的人工智能框架和工具，如 TensorFlow、PyTorch 等。 4. 模型设计：设计合适的模型结构，例如可以使用循环神经网络（RNN）或长短时记忆网络（LSTM）来处理时间序列数据。 5. 数据预处理：对收集到的数据进行清洗、预处理和标注，使其适合模型训练。 6. 训练模型：使用预处理后的数据进行训练，调整参数以优化模型性能。 7. 评估模型：使用测试集对训练好的模型进行评估，查看准确率、召回率等指标。 8. 优化调整：根据评估结果对模型进行优化，如调整网络结构、增加训练数据量等。 9. 部署应用：将训练好的模型部署到实际应用环境中，如移动应用、桌面软件等。 10. 持续改进：根据用户反馈和实际使用情况，不断改进和优化提醒工具的性能和功能。

以下是关于模型训练的相关内容： SD 训练一套贴纸 LoRA 模型： 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 模型训练：基于 kohyass 训练模型。 模型测试：通过 XYZ plot 测试模型。 Flux 的 Lora 模型训练： 注意事项：不使用的模型和编码器放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，因为是训练，不是跑图。训练时，模型使用 flux1dev.safetensors 版本，编码器使用 t5xxl_fp16.safetensors 版本最好。 Stable Diffusion 模型训练： 训练流程主要分成以下几个步骤： 训练集制作：包括数据质量评估，标签梳理，数据清洗，数据标注，标签清洗，数据增强等。 训练文件配置：预训练模型选择，训练环境配置，训练步数设置，其他超参数设置等。 模型训练：运行 SD 模型/LoRA 模型训练脚本，使用 TensorBoard 监控模型训练。 模型测试：将训练好的自训练 SD 模型/LoRA 模型用于效果评估与消融实验。 相关训练资源推荐： （本文中主要的训练工程） （huggingface 的 diffusers 开源训练框架） 您还可以通过关注公众号 WeThinkIn，后台回复“SDTrain”获取 Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目，方便上手实操。

以下是关于 ComfyUI Flux 的教程： 安装及使用： 模型放置： t5xxl_fp16.safetensors：放在 ComfyUI/models/clip/目录下。 clip_l.safetensors：放在 ComfyUI/models/clip/目录下。 ae.safetensors：放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors：放在 ComfyUI/models/unet/目录下。 下载地址： 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 工作流下载：上面提供的工作流复制即可，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将工作流或图片拖拽到 ComfyUI 里。 ComfyUI 共学相关： 插画提效成果显著，原本需要 200 人美术团队一年多完成的 1 万多张动画插画，最终不到 10 人用半年完成。 课程从零基础开始，从认识 config、UI 及行业概念讲起，逐步深入到环境部署、底层技术概念、提示词等内容。 介绍 config 牛角尖大王系列，包括 control net、IP Adapter、图像放大、mask 等部分，阐述了它们的作用和玩法。 具备搭建复杂工作流能力，学习相关知识后初步具备搭建复杂工作流能力，会拆解分析网上热门工作流。 解决 config UI 报错问题，报错问题可分为网络、模型、工作流搭建、环境等方面，安装新插件时可参考项目地址的 requirement 文档。 规划实战案例思路，目前想到了三个实战案例的思路。 关于 config UI 生态及相关技术的分享，郭佑萌介绍课程提纲，包括课程可能的扩充、回顾总结及重点讲解 Flux 模型，实际课程不严格按大纲走，会根据大家接受程度和安排进行共学。

在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下： 控制人物在多场景、多个姿势下的一致性有很多方法，课程后期会介绍。 对于多张图输出的显示问题，一次产出多张图在预览窗口目前不能并排显示。 Lora 的刷新：将 Lora 丢到文件夹后，多点几次刷新即可，Web UI 中 Lora 库有刷新按钮。 另外，在 Midjourney 中，人物一致性已上线，其操作如下： DavidH 介绍：Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image. 具体操作：Type cref URL after your prompt with a URL to an image of a character. You can use cw to modify reference 'strength' from 100 to 0. strength 100 . 适用范围：This feature works best when using characters made from Midjourney images. It's not designed for real people / photos . 网页端操作：How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories. 在 ComfyUI 中处理模型连接和提示词相关问题，如让两个模型同时起作用的操作： 加入一个新节点，右键点击 【新建节点】 【实用工具】 【Primitive 元节点】。 在文本节点上单击右键，选择【转换文本为输入】，此时文本节点上就多了一个文本的连接点。 将元节点与文本节点相连接，元节点就变成了正向提示词的输入框。同理，可以将负向提示词框也用元节点代替。 再复制出一套正负提示词节点，一套给 base 模型，一套给 refiner 模型。然后，base 模型的那一套输出给第一个采样器节点，refiner 模型的那一套输出给第二个采样器节点。

以下是关于 ComfyUI 工作流的相关内容： 打开节点树的列表，可以看到文生图、图生图以及 ControlNet 等常见工作流。选择文生图，会有更细化的预设工作流选项，ControlNet 中也有工作流预设，还有根据插件整理的丰富工作流。例如可选择“文生图”中的“基础+自定 VAE”，选好后点击“替换节点树”，界面会出现已连接好的工作流节点，包括大模型、clip、vae、正反提示词、尺寸、采样器等熟悉的参数，且是中文面板。不了解操作的可参考上一篇【ComfyUI】本地部署 ComfyUI 上手指南。 国内的 ComfyUI 工作流网站有： eSheep 电子羊 AIGC 社区 https://www.esheep.com/app ，主页点击工作流/应用分区，即可浏览、下载或在线运行各类工作流。 AIGODLIKE https://www.aigodlike.com/ ，下拉选取“ComfyUI 奥术”，即可查看其他用户上传的 ComfyUI 生成图片，保存或复制参数皆可读取到图片中的工作流。 在完成准备工作后运行 ComfyUI，默认版本不支持模型版本和 node 管理，需安装 ComfyUI Manager 插件。工作流下载好后，可使用 ComfyUI 菜单的 load 功能加载，点击菜单栏「Queue Prompt」开始视频生成，通过工作流上的绿色框查看运行进度，最后在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题，请另行处理。

以下是一些学习 ComfyUI 的技术、文章和资源： 飞书学习群中的相关内容： 陈旭常用节点讲解和简单的节点制作 长风归庭基础教程+工作流创建 ヘヘ阿甘采样器原理与优化 王蓉🍀 🎈 Wang Easy 基础搭建和转绘 唯有葵花向日晴基础教程，工作流开发，实际应用场景 热辣 HuolarrAI 系统课私聊图生视频 咖菲猫咪基础教程/工作流搭建思路/各版本模型使用的优缺点 傅小瑶 Lucky 如何制作多人转绘视频 云尚工作流节点搭建思路 FǎFá 热门节点功能，搭建 森林小羊基本报错解决方式及基础工作流逻辑分析 苏小蕊基础教程 Sophy 基础课程 蜂老六装一百个最新常用插件后如何快速解决冲突问题 阿苏工作流框架设计 aflyrt comfyui 节点设计与开发 老宋&SD 深度解释虚拟环境部署和缺失模型的安装 Liguo 模型训练 啊乐福基础课程 塵优秀案例 风信基础课程➕平面设计应用场景 北南基础课程 视频工作流框架设计 8 月 13 日 ComfyUI 共学的相关内容：算力和资源获取方面，飞翔提供了 50 个小时的算力时间，可在飞书群填问卷获取，分享模型较少可提建议，相关文档在飞书和公众号中。AI 绘图相关技术与工具的介绍及交流公众号文章包含 AGI 相关信息：通往 AGI 之路的公众号最新文章中有相关信息，内置工作流和启动器方便，Mac 系统因无 CUDA 生态不太好用。推荐提示词辅助插件：如 SDXL 的 S1XL style，可对提示词进行风格化扩充，还有能翻译提示词的插件，如沙拉查词、沉浸式翻译等。解释 CLIP 和 CFG 的区别：CLIP 用于解析提示词，将其转化为模型可理解的向量，CFG 是提示词对画面影响的强度，即提示词引导系数。搭建带 Lora 的图生图工作流：介绍了加载模型、设置 clip 跳过层、处理图像、连接采样器和解码器等步骤，并展示效果。关于 Lora 串联和图像放大模型的讨论 Lora 串联：多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层调整：CLIP 层1 和2 的效果不同，加 Lora 时某些 Lora 可能更适合2。 相关网站： ComfyUI 官方文档：提供了 ComfyUI 的使用手册和安装指南，适合初学者和有经验的用户。可在找到相关信息。 优设网：提供了一篇详细的 ComfyUI 入门教程，适合初学者，详细介绍了 ComfyUI 的特点、安装方法以及如何使用 ComfyUI 生成图像等内容。教程地址是。 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解 ComfyUI 的用户。可在找到相关教程。 Bilibili：提供了一系列的 ComfyUI 视频教程，涵盖了从新手入门到精通的各个阶段。可在找到视频教程。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。

以下是 ComfyUI 管理器的下载网站： 推荐安装管理器插件，下载地址：https://github.com/ltdrdata/ComfyUIManager 资源占用视图的插件下载地址：https://github.com/crystian/ComfyUICrystools 此外，关于 ComfyUI 管理器还有以下相关信息： 安装完成管理器插件后，控制面板最下面会出现“管理器”按钮，点开可看到“ComfyUI 管理器”界面，可关掉“跳过更新检查”以自动检查插件更新，点击“安装节点”可进入插件管理界面进行插件下载、更新等操作。 若在本地环境下安装 Manager，可参考 Github 下载地址（作者在页面里提供了文件包以及安装方法）：https://github.com/ltdrdata/ComfyUIManager

Lora 全称 LowRank Adaptation Models，即低阶自适应模型，其作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片，比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。 同时，模型微调方面，提供了 LoRA 微调和全量参数微调代码，关于 LoRA 的详细介绍可参考论文“。 此外，还有利用新版 SDXL 生成的如针线娃娃这样的 lora，它可以把一些常见形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。

以下是关于用 SD 训练一套贴纸 LoRA 模型的方法： 1. 打 tag（给图片写关键词）：这是 SD 中的一个重要步骤。 2. LoRA 训练器：可用于训练。 3. SD 训练 UIWeb 启动成功：滚动至最下点击【LoRA 训练】，或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点： 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 模型训练：基于 kohyass 训练模型。 模型测试：通过 XYZ plot 测试模型。 5. 工作流： 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 二次加工：完成贴纸的白色边线等细节加工。 处理素材：给训练集图片打 tag，修改 tag。 训练模型：将上述处理好的数据集做成训练集，进行训练。

LoRA（LowRank Adaptation Models，低阶自适应模型）具有以下应用： 1. 在图像生成方面，如 Stable Diffusion 中，通过影响和微调画面，再现人物或物品的特征。可以用特定特征替换大模型中的对应元素，生成不同于底模的图片。 2. 在语言模型中，如 Alpaca 对 LLaMA6B 的微调，在主路参数固定的基础上，在旁路加一个低秩的 shortcut，训练阶段主路固定，只训练旁路，极大降低参数量。初始化时 B 矩阵为 0，达到 zeroconvolution 的效果，推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型，例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化，硬件门槛显存达到 6G 即可开启训练。

LoRa（Sora）具有以下应用： 1. 增强视觉领域的可访问性：将文本描述转换为视觉内容，使包括视觉障碍者在内的所有人都能参与内容创作和互动，为每个人提供通过视频表达想法的机会，创造更具包容性的环境。 2. 营销领域：营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发：游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作：为电影制作提供创新的视觉生成方式。 5. 教育领域：在教育中发挥作用，例如生成特定的教学视频内容。 6. 自动化内容生成：加速内容生成的自动化进程。 7. 复杂决策支持：为复杂决策过程提供帮助和支持。

以下是 Flux 的 Lora 模型训练教程： 首先，您需要下载相关模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，同时还有 GGUF 配套节点插件及 GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的，右键 16G 那个 train_flux_16GLora 的文件；如果您的显卡是 24G 或更高的，右键 24G 那个 train_flux_24GLora 的文件。（DB 全参微调对硬件要求更高，内存 32G 不行）即使是 train_flux_24GLora 的方式，也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件（图中右边红框的两种任意一种均可，没有可以下载一下）。开头的绿色部分不用动，理论上只改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里，路径填写会更简单；如果不在，要准确找到并复制 flux1dev 底模的文件路径，注意检查双引号的使用，避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里，还有部分路径需要设置。

以下是一些可能有助于让 FLUX 生成的人物更像真人照片的建议： 1. 尝试使用特定的提示词，例如“abstract network out of glass made of holographic liquid crystal, dark background, blue light reflections, symmetrical composition, centered in the frame, highly detailed, hyperrealistic, cinematic lighting, in the style of Octane Rende ar 16:9 style raw personalize v 6.1”。 2. 可以训练 FLUX Lora 模型，如褪色胶片风格，推荐权重 0.6 0.8，人像会偏向复古褪色的胶片风格。 3. 对于生成人物，还可以参考 XLabsAI 发布的不同 Lora，如 mjv6_lora（Midjourney 风格）、realism_lora（写实风格）等，并使用相应的示例进行参考和调整。 4. 您还可以从以下地址下载相关的 Lora：https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs

Flux 工作流相关内容如下： 安装及使用：如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流，可使用上面提供的工作流，或者下面官方原版的图片链接，图片导入 ComfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 随机提示词+FLux NF4 模型文生图工作流。 FLUX 的周边生态发展迅速，具体的 Lora 包括 mjv6_lora、动漫 Lora、写实 Lora、迪士尼 Lora、风景_lora、艺术 Lora 。Xlabs Lora 下载：https://huggingface.co/XLabsAI/fluxRealismLora 。另外社区也开始利用训练脚本训练 Lora 了，比如这个，支持 FLUX Lora、ControlNet 的加载，支持文生图、图生图。

Flux 模型主要包括以下几种： 1. Lora 模型：训练时需要下载 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors 等模型。 2. 主模型： FLUX.1模型：https://huggingface.co/blackforestlabs/FLUX.1dev FLUX.1模型：https://huggingface.co/blackforestlabs/FLUX.1schnell 3. VAE 模型：下载地址为 https://huggingface.co/blackforestlabs/FLUX.1schnell/blob/main/ae.sft，下载后放在 comfyui\\models\\vae 文件夹中。 4. CLIP 模型：官方提供了 clip_l.safetensors，还有 t5xxl 的 FP8 和 FP16 的两种精度的 clip 模型供选择，可根据电脑配置任选 FP8 或者 FP16 精度下载，下载地址为 https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main，下载后放在 comfyui\\models\\clip 文件夹中。 此外，如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址为 https://huggingface.co/Kijai/fluxfp8/tree/main 。 GitHub 仓库：https://github.com/blackforestlabs/flux 。 百度网盘链接：https://pan.baidu.com/s/1VPQedispwtR29kDrhGR10A?pwd=4iwj 。 最后，还可以下载 dev 的工作流，如上面提到的链接或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将工作流或图片拖拽到 ComfyUI 里使用。