Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui

一个可以总结文章的 AI 应用通常通过以下方式训练： 1. 数据准备：收集大量的文本数据，包括各种类型和主题的文章。 2. 模型选择：使用适合自然语言处理任务的大型语言模型，如 OpenAI 的 GPT 系列。 3. 导入相关库和加载 API 密钥：例如导入 OpenAI 并加载 API 密钥。 4. 设计提示：制定明确的提示，如要求从电子商务网站的产品评论中生成简短摘要。 5. 针对不同需求训练： 文字总结：对一般性的文字进行总结。 针对某种信息总结：例如特定领域或特定类型的信息。 尝试“提取”而不是“总结”：更侧重于关键信息的提取。 针对多项信息总结：处理多个相关的文本信息。 6. 应用拓展：不仅可以总结文章，还能总结群聊消息、B站视频等。对于 B 站视频，通过获取字幕并发送给 AI 来实现总结。 7. 与 API 配合：通过 OpenAI API 等获取有效密钥，并结合示例代码进行开发和优化。

利用大模型训练自己的机器人可以参考以下内容： OpenAI 通用人工智能（AGI）的计划显示，在互联网上所有的图像和视频数据上训练一个与人类大脑大小相当的 AI 模型，将足以处理复杂的机器人学任务。常识推理隐藏在视频和文本数据中，专注于文本的 GPT4 在常识推理上表现出色。Google 最近的例子展示了机器人学能力可从大型视觉/语言模型中学习，在语言和视觉训练基础上，只需最少的机器人学数据，视觉和文本任务的知识就能转移到机器人学任务上。特斯拉训练的“Optimus”通过人类示范学习抓取物体，若人类示范是先进机器人学性能所需的一切，在互联网上所有视频上训练的大模型肯定能实现惊人的机器人学性能。 梦飞提供了在自己的电脑上部署 COW 微信机器人项目的教程，程序在本地运行，若关掉窗口进程结束，想持续使用需保持窗口打开和运行。以 Windows10 系统为例，注册大模型可参考百炼首页：https://bailian.console.aliyun.com/ ，需更改"model"和添加"dashscope_api_key"，获取 key 可参考视频教程。 张梦飞提供了从 LLM 大语言模型、知识库到微信机器人的全本地部署教程，部署大语言模型包括下载并安装 Ollama，根据电脑系统下载：https://ollama.com/download ，安装完成后将下方地址复制进浏览器中确认安装完成：http://127.0.0.1:11434/ 。下载 qwen2:0.5b 模型，Windows 电脑按 win+R 输入 cmd 回车，Mac 电脑通过 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，复制命令行粘贴回车等待下载完成。

定制化训练 AI 模型通常包括以下步骤和要点： 微调（Finetuning）： 微调可以让您从 API 提供的模型中获得更多收益，例如获得比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、实现更低的延迟请求。 GPT3 已在大量文本上预训练，小样本学习时它能凭直觉判断任务并生成合理结果，微调通过训练更多示例改进小样本学习，让您在大量任务中取得更好结果。对模型进行微调后，不再需要在提示中提供示例，节省成本并降低延迟。 微调的高层次步骤包括准备和上传训练数据、训练新的微调模型、使用您的微调模型。 哪些模型可以微调： 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。 安装： 建议使用 OpenAI 命令行界面。要安装，运行（以下说明适用于 0.9.4 及更高版本。此外，OpenAI CLI 需要 python 3。） 通过将相关行添加到 shell 初始化脚本（例如.bashrc、zshrc 等）或在微调命令之前的命令行中运行来设置环境变量。 选择 AI 模型： 通过选择您喜欢的 AI 模型，Cursor Chat 将使用该模型生成响应。您可以通过按 Ctrl/⌘/在模型之间切换。 默认情况下，Cursor Chat 使用 OpenAI 的 GPT4 作为其 AI 模型（具体来说，gpt4 标签指向我们的 GPT4Turbo 实例）。 您为 Chat 选择的 AI 模型将保存以供将来使用，不必每次打开 Cursor Chat 时都更改。 模型概述： OpenAI API 由具有不同功能和价位的多种模型提供支持，还可以通过微调针对特定用例对原始基本模型进行有限的定制。 常见模型包括 GPT4、GPT3.5、DALL·E、Whisper、Embeddings、Codex、Moderation、GPT3 等，各自具有不同的功能和应用场景。

LoRA 训练主要包括以下步骤： 1. 创建数据集： 进入厚德云模型训练数据集，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片后续使用自动打标功能，或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览数据集的图片以及对应的标签。 2. Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，郑敏轩提到的 Flux 的 Lora 训练还需要： 1. 下载相关模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 安装虚拟环境：下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手点击“Y”，然后等待 1 2 小时的漫长下载过程，下好后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 在 AI 梦一丹一世界（下）2025 年 2 月 8 日副本中提到，参加相关比赛须用摩搭平台和麦橘超然模型作为底膜训练 Lora，提交训练好的 Lora 及用其生成的六张以上高质量、展现完整世界观的作品。作图分三步，一是明确创作主题即锚点，根据 Lora 风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。好看的图片的构成因素包括构图、色彩以及光影，构图包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面），构图要素有主体、陪体、前景、背景、点线面，构图方式有点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。在 AI 绘图中，推荐中景及以上景别，全身景别可能需开 AD 跳以确保作图质量。

DeepSeek R1 的训练方式采用强化学习（RL），跳过了监督微调（SFT）阶段。而 ChatGPT 采用预训练+监督微调（SFT）的方式。 ChatGPT 这种方式适用于知识性问答。DeepSeek R1 能自发进行复杂推理，自我回溯、多角度思考，解题过程更完整，但其计算成本更高。在日常查询方面，GPT4o 更快、更适合简单咨询。DeepSeek R1 则在高难度数学和编程问题上更具优势，且更加透明，研究细节可复现，权重可下载。

大模型训练通常包括以下全流程： 1. 收集海量数据：如同教导孩子成为博学多才之人，要让其阅读大量书籍、观看纪录片、与人交谈，对于 AI 模型，就是收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：就像为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构，这种架构擅长处理序列数据（如文本）。 4. 训练模型：如同孩子开始学习，AI 模型开始“阅读”提供的数据，通过反复阅读尝试预测句子中的下一个词，从而逐渐学会理解和生成人类语言。 此外，大模型训练还可以类比为“上学参加工作”： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 一般训练还会有以下步骤： 1. 无监督学习：模型通过分析大量文本数据，学习语言基本结构和常识，具备文本补齐能力，将人类知识向量化以获得基础语言模型。 2. 清洗出好的数据。 3. 指令微调：训练模型理解并执行具体指令，如翻译文本以回答问题，输入内容包括特定格式的指令、输入和输出。 4. 对齐过程：通过引入人类评价标准和处理特定格式要求，优化模型输出以符合人类期望，包括处理文化、道德等细节。 虽然各公司具体实现细节可能是机密，但这些步骤共同构成了构建高效、实用大语言模型的过程，最终产生的模型可能含有高达 1750 亿个参数。在开源与闭源模型的开发策略中，开源模型依赖社区贡献，闭源模型由企业投入大量资源开发，两种策略都旨在推动大语言模型技术发展和应用。

Win7 可以安装 ComfyUI，但需要满足一定的硬件要求和进行一系列的环境安装操作。 硬件要求： 1. 系统：Windows 7 以上。 2. 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 3. 硬盘留有足够的空间，最低 100G 起步（包括模型）。 环境安装操作： 1. 下载并更新 Nvidia 显卡驱动，下载地址：https://www.nvidia.cn/geforce/drivers/ 2. 依次下载并安装 Python（https://www.python.org/downloads/release/python3119/ ，安装时选中“将 Python 添加到系统变量”）、Git（https://gitscm.com/download/win ）、VSCode（https://code.visualstudio.com/Download ），安装过程中一直点击勾选对应选项，一直下一步。 3. 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 此外，还可能涉及克隆 ComfyUI 仓库、创建 python 虚拟环境、安装 Pytorch 和依赖包等操作。关于部分安装操作，网上有较多教程可供参考。同时，模型权重和工作流的获取也有相应的途径。

ComfyUI 并非是使用 AI 时必学的。但如果您想在 AI 水平上有更高的提升，掌握 ComfyUI 的理论基础是很有帮助的。它在图像、视频等领域有诸多应用和发展，例如在差分算法、年龄渐变和特定内容替换、q 列模型、语言模型的迁移和发展、深度图检测和分层处理等方面具有优势。同时，了解其技术细节如 clip 的 skip 层、scheduler 和 sample 的区别、CFG 等能让您更灵活选择参数。ComfyUI 的生态发展稳定，节点和项目增多，相关大会也在多地举办。此外，其生态外的收费视频软件能用 API 节点接入所有体系，飞书大群方便交流，会同步课件及相关信息。

以下是 ComfyUI 的基础教程： KSampler（采样器）： seed（随机种子）：主要用于控制潜空间的初始噪声。若要重复生成相同图片，需使用此随机种子，且种子和 Prompt 都要相同。 control_after_generate（生成后控制）：每次生成完图片，seed 数字会变化，此配置项可设置变化规则，包括 randomize（随机）、increment（递增 1）、decrement（递减 1）、fixed（固定）。 step（采样步数）：一般步数越大效果越好，但与使用的模型和采样器有关。 cfg：值一般设置在 6 8 之间较好。 sampler_name（采样器名称）：可通过此设置采样器算法。 scheduler（调度器）：主要控制每个步骤中去噪的过程，可选择不同调度算法，有的每步减去相同数量噪声，有的每步尽可能多去噪。 denoise：表示要增加的初始噪声量，1 表示全部。一般文生图可默认设为 1。 此外，ComfyUI 共学快闪的学习内容还包括： 王蓉🍀🎈Wang Easy 的基础搭建和转绘。 唯有葵花向日晴的基础教程、工作流开发和实际应用场景。 热辣 Huolarr AI 系统课私聊图生视频。 咖菲猫咪的基础教程、工作流搭建思路、各版本模型使用的优缺点。 傅小瑶 Lucky 的如何制作多人转绘视频。 云尚的工作流节点搭建思路。 FǎFá 的热门节点功能和搭建。 森林小羊的基本报错解决方式及基础工作流逻辑分析。 苏小蕊的基础教程。 Sophy 的基础课程。 蜂老六装一百个最新常用插件后如何快速解决冲突问题。 阿苏的工作流框架设计。 aflyrt 的 comfyui 节点设计与开发。 老宋&SD 深度解释虚拟环境部署和缺失模型的安装。 Liguo 的模型训练。 啊乐福的基础课程。 塵的优秀案例。 风信的基础课程和平面设计应用场景。 北南的基础课程。 视频工作流框架设计。 Damon 的基础课程。 渔舟的基础课程和工作流搭建思路。 乔木船长的工作流。 ☘️的基础教程。 工作流设计和典型案例剖析。 麒白掌的工作流搭建。 OutSider 的风格迁移。 吴鹏的基础和工作流搭建。 拾光的工作流基础搭建从入门到精通。 茶浅浅的视频转绘和节点工作流介绍。 百废待.新（早睡版）的工作流从入门到进阶。 电商应用场景。

使用 ComfyUI 中的视频 IClight 的步骤如下： 1. 在管理器中的节点管理中搜索 ComfyUIICLight 进行安装，安装后重启 ComfyUI。 2. 模型可以在网盘里下载，然后放入 ComfyUI/models/unet 文件夹。 3. IC Light 用于处理原视频和新背景之间的光影效果。 4. 辅助工具 ICLight 的打光方式有两种： 文本方式：上传 1 张前景图片，自动抠图，填写详细文本提示词，并在几种给定的光源方向选择。 背景+前景方式：上传 1 张背景图+1 张前景图，自动融合，填写简单文本提示词，并在几种给定的光源方向选择。 需要注意的是，IC Light 处理过的图片可能会颜色发黄偏色，不是处理过的就是好的，有时可能会负优化。另外，在进行背景替换时，不同图片合并要考虑光线、色调、边缘细节等问题。

以下是关于 ComfyUI 算力平台的相关信息： 揽睿： 属性：云平台 邀请链接：https://lanruiai.com/register?invitation_code=0659 备注：WaytoAGI 邀请码 0659 可以得到 10 小时的免费时长 厚德云： 属性：云平台 邀请链接：https://portal.houdeyun.cn/register?from=Waytoagi 备注：厚德云是专业的 AI 算力云平台，隶属于又拍云旗下，又拍云拥有 15 年云服务经验。注册后送 50 元代金券。ComfyUI 悟空换脸特效使用流程： 百度飞桨： 属性：云平台 邀请链接：https://aistudio.baidu.com/community/app/106043?source=appCenter 备注：新注册 2 个小时。，明天给大家发放 50 小时的算力 阿里云 PAI Artlab： 属性：云平台 邀请链接：直达地址：https://developer.aliyun.com/topic/paisports 备注：登录后领取免费试用，领取 500 元算力、OSS 20G 存储。AI 创作你的奥运专属海报，参与 PK 赢取台式升降桌、Lamy 钢笔套盒、双肩包等大奖！活动地址：https://mp.weixin.qq.com/s/y3Sk5PtVT5g8yFTMJASdFw onethingai： 属性：云平台 邀请链接：https://onethingai.com/invitation?code=dyAK4vY5 以云平台揽睿为例，搭建自己第一个 Comfyui 的方法如下： 1. 进入「应用启动器」页面，选择「comfyui 官方启动器」，点击「部署」按钮，点击「立即创建」，会进入「工作空间」页面。 2. 创建完成后稍等片刻，无需其他任何操作，等待「打开应用」按钮可点击后，点击该按钮就可以打开 comfyui 界面使用啦。 3. 启动/出图/训练进度可进入工作空间详情 日志查看。

以下是一些关于 ComfyUI 算力的相关信息： 云平台： 揽睿：云平台，邀请链接为 https://lanruiai.com/register?invitation_code=0659 ，WaytoAGI 邀请码 0659 可以得到 10 小时的免费时长。 百度飞桨：云平台，邀请链接为 https://aistudio.baidu.com/community/app/106043?source=appCenter ，新注册 2 个小时。点这里登记一下 https://waytoagi.feishu.cn/share/base/form/shrcnYyxqAWdsFq5qBso8mDsOjg?iframeFrom=docx&ccm_open=iframe ，明天给大家发放 50 小时的算力。 阿里云 PAI Artlab：云平台，直达地址为 https://x.sm.cn/5hd9PfM ，登录后右上角领取免费试用，领取 500 元算力、OSS 20G 存储。AI 创作你的奥运专属海报，参与 PK 赢取台式升降桌、Lamy 钢笔套盒、双肩包等大奖！活动地址：https://mp.weixin.qq.com/s/y3Sk5PtVT5g8yFTMJASdFw 。 onethingai：邀请链接为 https://onethingai.com/invitation?code=dyAK4vY5 。 以云平台揽睿为例，搭建 ComfyUI 的步骤： 1. 进入「应用启动器」页面，选择「comfyui 官方启动器」，点击「部署」按钮，点击「立即创建」，会进入「工作空间」页面。 2. 创建完成后稍等片刻，无需其他任何操作，等待「打开应用」按钮可点击后，点击该按钮就可以打开 comfyui 界面使用啦。 3. 启动/出图/训练进度可进入工作空间详情 日志查看。

以下是一些关于文生图的模型和工具的信息： Tusiart： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像。 设置 VAE：选择 840000 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据需求和喜好选择。 吐司网站： 文生图的操作方式：在首页的对话生图对话框输入文字描述即可生成图片，不满意可通过对话修改。 模型及生成效果：Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成效果受多种因素影响。 图生图及参数设置：可基于图片做延展，能调整尺寸、生成数量等参数，高清修复消耗算力多，建议先出小图。 特定风格的生成：国外模型对中式水墨风等特定风格的适配可能不足，可通过训练 Lora 模型改善。 Liblibai： 定主题：确定生成图片的主题、风格和表达的信息。 选择 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：选择 840000 。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样方法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据需求和喜好选择。 生成批次：默认 1 批。

LoRA 相关信息如下： 模型微调： 微调脚本： LoRA 微调脚本见：，单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见：。 加载微调模型： LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。 在 SD 中的应用： 儿童绘本风格插画：可以生成儿童绘本风格插画，起作用的主要是“KIDS ILLUSTRATION”风格 lora，可搭配不同大模型使用，如官方案例中的超拟真大模型“Realistic Vision”。 Fooocus 介绍：LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras。Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装时需下载三个模型，如 SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors 等。若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径，配置好后点击 run.bat 文件启动。

主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。

LoRA 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。 所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。

以下是关于 Lora 使用的教程： 1. 港风胶片 Lora 模型使用方法： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 Lora。上一期活动链接：。胶片 Lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。 joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用： SDXLLightning 是字节跳动推出的高速文本生成图像模型，包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址：https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时，拿 Lora 的使用来做介绍，使用方法和平常的 Lora 用法一样，但需要注意 CFG 值需要调小，一般设置为 1，另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用： 当想要生成多张同一张脸的照片时，需要用到 Lora 模型。Lora 可以固定照片的特征，如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮，弹出新的选项框，找到 Lora，就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora，会自动添加到关键词的文本框里面。Lora 可以叠加使用，但建议新手不要使用太多 Lora，每个 Lora 后面的数字用于调整权重，一般只会降低权重。 选择 Lora 时，要根据最开始想要生成的照片类型来选择，比如想生成真人模特，对应的 Lora 也要选用真人模特。

FLUX 模型的放置位置如下： FLUX.1等版本的模型应放在 ComfyUI/models/unet/文件夹中。如果爆显存了，“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型，设置为 fp8 可降低显存使用量，但可能会稍降质量，默认的 weight_type 显存使用较大。 t5xxl_fp16.safetensors 和 clip_l.safetensors 应放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。 下载的 Vae 模型应放入 ComfyUI/models/vae 文件夹。 同时，以下模型也有对应的放置位置： flux1dev.safetensors 放在 ComfyUI/models/unet/目录下。 t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/目录下。 ae.safetensors 放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。

以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。

以下是关于 Flux 提示词结构的相关知识： 大语言模型就像一个学过无数知识、拥有无穷智慧的人，但在工作场景中，需要通过提示词来设定其角色和专注的技能，使其成为满足需求的“员工”。知识库则相当于给“员工”发放的工作手册，提供特定的信息。 提示词可以设定 Bot 的身份及其目标和技能，例如产品问答助手、新闻播报员、翻译助理等，决定 Bot 与用户的互动方式。详情可参考。 学习提示词可以分为五个维度，从高到低依次是思维框架、方法论、语句、工具和场景。但舒适的学习顺序应反过来，先从场景切入，直接了解在不同场景下提示词的使用及效果对比；然后使用提示词工具，如 Meta Prompt、Al 角色定制等；接着学习有效的提示语句，包括经典论文中的相关语句；再学习有效的方法论，将有效语句及其背后的原理整合成稳定可控的方法；最后掌握思维框架。 此外，还可以通过插件、工作流、记忆库等功能定制 AI Bot。插件可通过 API 连接集成各种平台和服务扩展 Bot 能力，详情参考。

在 Flux 炼丹中，炼丹物品的打标步骤如下： 1. 选择一个基础大模型，如“麦橘写实”，并填写一个 lora 的名字。 2. 将照片导入到丹炉，选择适合的分辨率，可勾选“脸部加强训练”，然后点击“预处理”。手动裁剪照片，预处理后会出现脸部和整体的文件夹，且每张照片会自动打好 tag 标签。 3. 可以给整体添加统一的标签，也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容，若想让某些特征成为人物的固定效果，则不填写相关关键词。打标过程需仔细检查每张图片，打标的好坏会影响人物 lora 的泛化性，若想让人物有更多变化，应尽量描述详细。 在打标过程中还需注意以下几点： 1. 注册为开发者，按照流程填写信息，获取 AppID 和密钥，并填入相关位置，开启双语 TAG，检查每幅图的 tag，删除不正确的，新增需要的。 2. 打标要用自然语言，语句精简，选好触发词和打标模型，推荐短标并检查。

flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 也可以将 depth lora 模型存放到 ComfyUI/models/loras 文件夹中。 depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora 3. 百度网盘中也有相关模型： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr

Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。