Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui

以下是关于如何用 AI 模型做训练的相关内容： 要在医疗保健领域让 AI 产生真正的改变，应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始，AI 也应如此。当前的学习方式存在问题，应通过堆叠模型训练，如先训练生物学、化学模型，再添加特定数据点。就像预医学生从基础课程学起，设计新疗法的科学家经历多年学习和指导，这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括： 1. 收集海量数据：如同教孩子博学多才要让其阅读大量资料，对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据：像为孩子整理适合的资料，AI 研究人员要清理和组织收集的数据，如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构：为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是复杂的神经网络，如 Transformer 架构。 4. 训练模型：像孩子开始学习，AI 模型开始“阅读”数据，通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性，应对可能的“恶意”样本数据导致的幻觉，可使用对抗训练技术，让模型在训练中接触并学会识别和抵抗。

训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。

训练自己的模型可以参考以下内容： 基于百川大模型： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集（如 wechat 和 self_cognition）。 注意学习率和训练轮次的设置，要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的情况下，可以减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右，训练时间根据聊天记录规模大小而定，少则几小时，多则几天。 训练自己的 AI 绘画模型（Stable Diffusion）： 样本采样器（sample_sampler）：可选择，默认是“ddim”。 保存模型格式（save_model_as）：可选择，SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括： 训练集制作：数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置：预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练：运行训练脚本，使用 TensorBoard 监控。 模型测试：用于效果评估与消融实验。 训练资源： Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目，可通过关注公众号 WeThinkIn，后台回复“SDTrain”获取。

AI 训练师是一种新兴职业，其职责和工作内容因具体领域和应用场景而有所不同。 例如，在 AI 教育培训和商业应用方面，像星动 AI 联合创始人李先森所从事的工作，可能包括对学员进行 AI 相关知识和技能的培训，以及参与 AI 项目的测评和指导等。 在 AI 设计领域，AI 训练师可能需要负责 AI 风格的开发和调试工作，参与项目的整体风格和审美定义。根据产品需求完成风格渲染的研发、测试、配置和维护，熟练使用 StableDiffusion Web UI 等 AI 框架进行风格研发，负责 AI 模型（如 LoRA，Prompt/Prompt Sentence）的训练、参数调整以及性能优化，编写高质量的渲染记录文档，进行配置和模型训练质量控制，并为团队提供技术支持和指导，解决技术难题。 总之，AI 训练师需要具备相关的专业知识和技能，以帮助 AI 系统更好地学习和优化，从而实现各种应用目标。

在多轮对话训练中，让模型掌握情感需求可以通过以下几种方式： 1. 利用相关数据集进行训练，例如： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 2. 在创建提示时采用结构化模式，为模型提供一些情感需求的示例，如： |输入|输出| ||| |一部制作精良且有趣的电影|积极的| |10 分钟后我睡着了|消极的| |电影还行|中性的| 然后单击页面右侧的提交按钮。该模型现在可为输入文本提供情绪。还可以保存新设计的提示。 3. 在多轮次对话中，定期总结关键信息，重申对话的目标和指令，有助于模型刷新记忆，确保准确把握对话的进展和要点。 4. 进行意图识别和分类，特别关注在单一模型或情境中处理多个小逻辑分支的情况。例如在客户服务场景中，快速确定用户提出咨询、投诉、建议等多种类型请求的意图，并分类到相应处理流程中。

目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说，要训练模型掌握情感需求，可以从以下几个方面考虑： 1. 数据收集：收集包含丰富情感表达的车载语音对话数据，包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取：从语音和文本数据中提取能够反映情感的特征，如语音的语调、语速、音量，文本中的词汇、句式、语义等。 3. 模型选择：选择适合处理情感分析任务的模型架构，如基于深度学习的循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）等。 4. 情感标注：对收集的数据进行准确的情感标注，以便模型学习不同情感的模式。 5. 多模态融合：结合语音和文本等多模态信息，提高情感识别的准确性。 6. 优化算法：采用合适的优化算法来训练模型，调整模型的参数，以提高模型的性能。 7. 模型评估：使用合适的评估指标来评估模型在情感需求掌握方面的性能，并根据评估结果进行调整和改进。

以下是 ComfyUI 的安装教程： 1. 电脑硬件要求： 系统：Windows 7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统、AMD 显卡、低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址：https://www.nvidia.cn/geforce/drivers/ 2. 下载并安装所需要环境（安装过 WebUI 的同学请忽略本步骤）： 依次下载并安装 python、VSCode、Git，安装过程中一直点击勾选对应选项，一直下一步。 Python 版本 3.10 以上，下载地址： VSCode 下载地址： Git 下载地址： 安装 Python 时选中“将 Python 添加到系统变量”。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network ，下载文件：cuda_12.2.0_536.25_windows.exe 3. 安装 ComfyUI： 地址：https://github.com/comfyanonymous/ComfyUI 可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包 下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 4. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 5. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 6. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到你已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 7. 快捷键（未提及具体快捷键内容）

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细信息： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），但也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档按照即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装的时候选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤： 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，https://github.com/comfyanonymous/ComfyUI ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 快捷键：未提及。

在 Mac 上运行 ComfyUI 的步骤如下： 1. 电脑配置：MacBook Pro，M1 芯片，16G 内存，Sonoma 14.6.1 系统版本。 2. 部署 ComfyUI： 安装依赖：在终端中输入“pip3 install r requirements.txt”安装 ComfyUI 的依赖文件。终端提示需要特定版本的 numpy 时，输入“Y”卸载当前版本，然后输入“pip3 install numpy==1.26.4”安装指定版本。 启动 ComfyUI：在终端中输入“pwd”查看 ComfyUI 的文件路径，复制文件路径，替换启动命令中的相应部分，然后将命令“source cf/bin/activate && cd /Users/vina/Documents/ComfyUI && python main.py autolaunch listen dontupcastattention outputdirectory ~/Desktop”复制到终端。启动成功后，浏览器会自动跳转，但网页地址可能不对，直接在浏览器打开“http://localhost:8188/”即可使用。 3. 管理器和资源占用插件：官方的 ComfyUI 安装包不带管理器和资源占用视图，需要从 GitHub 下载。管理器插件下载地址：https://github.com/ltdrdata/ComfyUIManager 。资源占用视图插件装不装均可，下载地址：https://github.com/crystian/ComfyUICrystools 。 此外，还有一种搭建自己第一个 ComfyUI 的方法（熟手推荐 自定义创建）： 1. 创建工作空间：进入工作空间，点击自定义创建，按照以下内容配置，点击立即创建。镜像选择 lanruicomfyui 镜像；网盘默认挂载；数据集默认挂载 sdbase；启动方式默认选择手动启动。待实例状态由启动中变为运行中后，稍等一会，点击进入 JupyterLab，选择 terminal 终端。 2. 启动 ComfyUI：进入终端后，先参考配置学术加速。运行如下启动命令后按回车键，等待 1 分钟左右。（每次启动都需要输入启动命令）如果想要长时间持续运行任务，请用 nonhup 启动：启动命令“nohup bash /home/user/start.sh > comfy.log 2>&1 &”；查看启动/出图进度命令“tail fn 500 comfy.log”；停止命令“pkill 9 f '27777'”。当页面显示“To see the GUI go to:http://0.0.0.0:27777”，说明已启动成功。 3. 访问 ComfyUI 界面：返回工作空间，点击实例右侧的「打开调试地址」到浏览器，就可以使用 ComfyUI 啦。 需要注意的是，在 Mac 上使用 ComfyUI 存在一些难点： 1. 生图慢，因为 Mac M 只有 CPU，没有 GPU。 2. 生图的大模型在 CPU 环境中不一定适配、好用。 3. 用 Mac 生图的人少，能一起讨论的人也少，解决方案也少，需要自己摸索。 4. 大神们在 Windows 系统里做的一键包，在 Mac 中不能用。 5. 大神们的工作流也要做适配 Mac 的修改，需要一点点代码阅读和修改的能力。

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细介绍： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），但也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装时选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤： 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，https://github.com/comfyanonymous/ComfyUI ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 快捷键：暂未提及。

以下是关于 comfyui 做视频的相关信息： 一些人员在相关领域的情况： 德方：18600081286，从事设计、建模、绘图、效果图、视频工作。 谌峰：13925911177，从事视频，人物，室内设计工作。 陈铭生：18861511571，利用 comfyUI 做 AI 视频，掌握 comfy 工作流设计，给一些公司定制 comfy 流程。 郑路：18868755172，进行出图、短视频创作。 塵：从事绘图与视频工作。 阿牛：13720121256，掌握 comfy 工作流。 Stable Video Diffusion 模型核心内容与部署实战中 ComfyUI 部署实战的相关步骤： 运行 ComfyUI 并加载工作流。在命令行终端操作，在浏览器输入相应地址，出现界面。默认的 ComfyUI 版本存在一些问题，需安装 ComfyUI Manager 插件。再次运行 python main.py 出现 Manager 菜单，可跑文生视频的工作流。工作流可从指定途径获取，使用 ComfyUI 菜单的 load 功能加载，点击菜单栏「Queue Prompt」开始视频生成，通过工作流上的绿色框查看运行进度，在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题，有相应解决办法。 关于 ComfyUI 的介绍：现在甚至可以生成视频等，包括写真、表情包、换脸、换装等，只需要一个工作流一键完成，后续会一一讲解介绍如何使用。如何启动搭建 Comfyui 界面的部分简单带过。

以下是为您提供的 ComfyUI 教程相关信息： 有几个网站提供了关于 ComfyUI 的学习教程： ComfyUI 官方文档：提供了使用手册和安装指南，适合初学者和有经验的用户。网址：https://www.comfyuidoc.com/zh/ 优设网：提供了详细的入门教程，适合初学者，介绍了特点、安装方法及生成图像等内容。网址：https://www.uisdc.com/comfyui3 知乎：有用户分享了部署教程和使用说明，适合有一定基础并希望进一步了解的用户。网址：https://zhuanlan.zhihu.com/p/662041596 Bilibili：提供了从新手入门到精通各个阶段的系列视频教程。网址：https://www.bilibili.com/video/BV14r4y1d7r8/ 全面的 ComfyUI 教程：https://www.comflowy.com/zhCN 超有意思的 ComfyUI 教程：https://comfyanonymous.github.io/ComfyUI_tutorial_vn/ 此外，ComfyUI 基础教程中关于 KSampler 的部分： KSampler 即采样器，包含以下参数： seed：随机种子，用于控制潜空间的初始噪声，若要重复生成相同图片，需种子和 Prompt 相同。 control_after_generate：设置每次生成完图片后 seed 数字的变化规则，有 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 step：采样的步数，一般步数越大效果越好，但与使用的模型和采样器有关。 cfg：一般设置为 6 8 之间较好。 sampler_name：可设置采样器算法。 scheduler：控制每个步骤中去噪的过程，可选择不同的调度算法。 denoise：表示要增加的初始噪声，文生图一般默认设置成 1。 内容由 AI 大模型生成，请仔细甄别。

Lora 全称 LowRank Adaptation Models，即低阶自适应模型。它的作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。例如，有利用新版 SDXL 生成的如针线娃娃的 lora，还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。

以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。

以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

以下是关于文生图 lora 微调的详细内容： 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上优秀帖子中使用的 lora。 ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文写要避免的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++ 2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数：选 DPM++ 2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例： 使用大模型“Flat 2D Animerge”，适合生成卡通动漫图片，官方建议 CFG 值在 5 或 6（使用动态阈值修复可拉到 11）。搭配两个 lora，“Chinese painting style”可增加中国画水彩风格效果，权重设为 0.4；“Crayon drawing”可添加简单线条和小孩子笔触，权重设为 0.8。将图片丢到标签器中反推关键词，发送到“文生图”。在正向提示词末尾添加这两个 lora，尺寸按参考图设置，重绘幅度开 0.5 让 AI 更自由发挥，若想更接近原图可降低数值。将图放入 ControlNet 中，选择 tile 模型，权重为 0.5，控制模式选择“更注重提示词”。

在 Stable Diffusion 中，若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同，可参考以下方法： 1. 在提示词中输入数量词（如 2girls 或 3boys 等），再加上各自的描述提示词。若刷图成功率不高，可配合 openpose 控制，做一个多人骨架，以生成多人物构图。 2. 需使用不同的 Lora 来区分人物，但单纯靠提示词可能行不通。 3. 分区控制思路： Multidiffusion 的做法：启用 Tiled Diifusion，打开分区提示词控制，创建文生图画布。启用不同区域，分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物，但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法（文中未提及，需进一步探索）。 此外，关于 Lora 模型： 1. Lora 可以固定照片的特征，如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮，找到 Lora 选项，可添加下载保存到电脑的 Lora 模型，Lora 可叠加使用，但新手不建议使用太多，且 Lora 之间用英文逗号隔开，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。

以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。

在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。

在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下： 相关模型的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案（8G 以下）：flux1devbnbnf4.safetensors ，放入 ComfyUI\\models\\checkpoints 文件夹内，下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外，还提供了以下相关资源链接： BitsandBytes Guidelines and Flux ：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

Fluffy 相关提示词描述如下： 含义：这个词用来描述某种质地柔软、轻盈、松散或有蓬松感的物体，常用于适配动物的毛发、云彩、食物、布料，美容化妆等多种材料和场景，着重营造一种温馨、舒适、轻松的氛围。 主题风格： 作用： 增强感官体验：Fluffy 描述的物体通常能提供愉悦的触感体验。 营造舒适氛围：在家居装饰、服装设计等方面，营造一种温暖和舒适的氛围。 吸引视觉注意：在广告和视觉艺术中，fluffy 物体常常被用来抓住观众的目光。 技巧： 材料选择：纤维结构和化学组成的不同，造就了不同的手感和光泽，比如羊毛和棉花。 毛发渲染：专门用于生成和渲染细长、柔软的物体，如动物毛发、人类头发、草地等。 材质特性：类似羽毛等轻盈蓬松材质应考虑空气动力学效应——如何在空中漂浮或飘动。 灯光运用：使用柔光或特定角度的照明来突出材质的轻盈和柔软。 应用： 家居和室内设计：Fluffy 的枕头、抱枕、地毯等家居用品。 时尚与服装：在服装设计中，如毛衣、围巾和冬季外套等，保暖性与时尚感兼顾。 食品工业：在食品制作中，如蛋糕、面包、甜点等，fluffy 的质地是吸引消费者的一个重要因素。 动物和宠物产品：宠物床垫、玩具等，fluffy 的材质可以提供给宠物更大的舒适感。 广告和市场营销：使用 fluffy 的概念在广告中创建吸引人的、温馨的图像。

以下是使用 FLUX 创作艺术作品的方法： 1. 艺术风格 Lora 方面： 可选择如“art_lora 艺术风格”，其特点包括“Cat,European street,exploration,cozy,mysterious,colorful buildings,sunlight through leaves,cobblestone path,high definition,watercolor painting,warm tones,bright lighting effects,paper texture”。Lora 下载地址为：https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs 。 还有“FLUX超写实黑悟空V1”等风格，详情可点击：https://www.liblib.art/modelinfo/5e4a4cc0e3674818a9f8454a63cc0115?from=pic_detail 。 XLabsAI 发布了 6 个不同 Lora，包括“mjv6_lora Midjourney 风格”“realism_lora 写实风格”“anime_lora 动漫风格”“disney_lora 迪斯尼风格”“scenery_lora 风景风格”，并提供了相应示例。 2. Lora 使用方法： 下载 lora 文件。 放入 comfy/models/loras 文件夹内。 使用 ComfyUI 工作流（其实就是上面文生图基础工作流加上一个简易 Lora 加载器），加载您需要的 Lora 风格。工作流文件如“flux1+lora 加载.json”，可通过 https://bytedance.feishu.cn/space/api/box/stream/download/all/KZoGbKe3yo4YHgxnNg6cELfPnwg?allow_redirect=1 下载。 3. 教程参考： 。 4. 示例作品：大家可以在哩布的返图区找到更多灵感，群友作品包括鹏程、海波、CYCHENYUE 等。

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流： 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版： 注意：该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点（可以 git clone 方式下载或通过以下网盘）： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 。 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 。 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 。 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型：

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流： 官方原版的图片链接：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI ，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列： TheMisto.ai 的 MistoLine 版，该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点： 可以 git clone 方式下载或通过压缩包。 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流： ，所需要的两个模型。