flux lora 训练

在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。

在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下： 相关模型的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案（8G 以下）：flux1devbnbnf4.safetensors ，放入 ComfyUI\\models\\checkpoints 文件夹内，下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外，还提供了以下相关资源链接： BitsandBytes Guidelines and Flux ：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

Fluffy 相关提示词描述如下： 含义：这个词用来描述某种质地柔软、轻盈、松散或有蓬松感的物体，常用于适配动物的毛发、云彩、食物、布料，美容化妆等多种材料和场景，着重营造一种温馨、舒适、轻松的氛围。 主题风格： 作用： 增强感官体验：Fluffy 描述的物体通常能提供愉悦的触感体验。 营造舒适氛围：在家居装饰、服装设计等方面，营造一种温暖和舒适的氛围。 吸引视觉注意：在广告和视觉艺术中，fluffy 物体常常被用来抓住观众的目光。 技巧： 材料选择：纤维结构和化学组成的不同，造就了不同的手感和光泽，比如羊毛和棉花。 毛发渲染：专门用于生成和渲染细长、柔软的物体，如动物毛发、人类头发、草地等。 材质特性：类似羽毛等轻盈蓬松材质应考虑空气动力学效应——如何在空中漂浮或飘动。 灯光运用：使用柔光或特定角度的照明来突出材质的轻盈和柔软。 应用： 家居和室内设计：Fluffy 的枕头、抱枕、地毯等家居用品。 时尚与服装：在服装设计中，如毛衣、围巾和冬季外套等，保暖性与时尚感兼顾。 食品工业：在食品制作中，如蛋糕、面包、甜点等，fluffy 的质地是吸引消费者的一个重要因素。 动物和宠物产品：宠物床垫、玩具等，fluffy 的材质可以提供给宠物更大的舒适感。 广告和市场营销：使用 fluffy 的概念在广告中创建吸引人的、温馨的图像。

以下是使用 FLUX 创作艺术作品的方法： 1. 艺术风格 Lora 方面： 可选择如“art_lora 艺术风格”，其特点包括“Cat,European street,exploration,cozy,mysterious,colorful buildings,sunlight through leaves,cobblestone path,high definition,watercolor painting,warm tones,bright lighting effects,paper texture”。Lora 下载地址为：https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs 。 还有“FLUX超写实黑悟空V1”等风格，详情可点击：https://www.liblib.art/modelinfo/5e4a4cc0e3674818a9f8454a63cc0115?from=pic_detail 。 XLabsAI 发布了 6 个不同 Lora，包括“mjv6_lora Midjourney 风格”“realism_lora 写实风格”“anime_lora 动漫风格”“disney_lora 迪斯尼风格”“scenery_lora 风景风格”，并提供了相应示例。 2. Lora 使用方法： 下载 lora 文件。 放入 comfy/models/loras 文件夹内。 使用 ComfyUI 工作流（其实就是上面文生图基础工作流加上一个简易 Lora 加载器），加载您需要的 Lora 风格。工作流文件如“flux1+lora 加载.json”，可通过 https://bytedance.feishu.cn/space/api/box/stream/download/all/KZoGbKe3yo4YHgxnNg6cELfPnwg?allow_redirect=1 下载。 3. 教程参考： 。 4. 示例作品：大家可以在哩布的返图区找到更多灵感，群友作品包括鹏程、海波、CYCHENYUE 等。

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流： 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版： 注意：该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点（可以 git clone 方式下载或通过以下网盘）： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 。 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 。 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 。 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型：

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流： 官方原版的图片链接：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI ，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列： TheMisto.ai 的 MistoLine 版，该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点： 可以 git clone 方式下载或通过压缩包。 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流： ，所需要的两个模型。

Lora 全称 LowRank Adaptation Models，即低阶自适应模型。它的作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。例如，有利用新版 SDXL 生成的如针线娃娃的 lora，还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。

以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。

以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

以下是关于文生图 lora 微调的详细内容： 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上优秀帖子中使用的 lora。 ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文写要避免的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++ 2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数：选 DPM++ 2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例： 使用大模型“Flat 2D Animerge”，适合生成卡通动漫图片，官方建议 CFG 值在 5 或 6（使用动态阈值修复可拉到 11）。搭配两个 lora，“Chinese painting style”可增加中国画水彩风格效果，权重设为 0.4；“Crayon drawing”可添加简单线条和小孩子笔触，权重设为 0.8。将图片丢到标签器中反推关键词，发送到“文生图”。在正向提示词末尾添加这两个 lora，尺寸按参考图设置，重绘幅度开 0.5 让 AI 更自由发挥，若想更接近原图可降低数值。将图放入 ControlNet 中，选择 tile 模型，权重为 0.5，控制模式选择“更注重提示词”。

在 Stable Diffusion 中，若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同，可参考以下方法： 1. 在提示词中输入数量词（如 2girls 或 3boys 等），再加上各自的描述提示词。若刷图成功率不高，可配合 openpose 控制，做一个多人骨架，以生成多人物构图。 2. 需使用不同的 Lora 来区分人物，但单纯靠提示词可能行不通。 3. 分区控制思路： Multidiffusion 的做法：启用 Tiled Diifusion，打开分区提示词控制，创建文生图画布。启用不同区域，分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物，但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法（文中未提及，需进一步探索）。 此外，关于 Lora 模型： 1. Lora 可以固定照片的特征，如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮，找到 Lora 选项，可添加下载保存到电脑的 Lora 模型，Lora 可叠加使用，但新手不建议使用太多，且 Lora 之间用英文逗号隔开，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。

以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。

在人工智能领域中，训练 Agent 主要有以下方法和特点： 1. 基于迁移学习和元学习的 Agent 训练： 传统强化学习中，Agent 训练消耗大量样本和时间，泛化能力不足。为突破此瓶颈，引入迁移学习，促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略，利用已有知识和策略调整学习路径，减少对大规模样本集依赖。 但迁移学习和元学习面临挑战，如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移，元学习需大量预训练和样本构建学习能力，使通用高效学习策略开发复杂艰巨。 时间：21 世纪初至今 特点：迁移学习将一个任务知识迁移到其他任务；元学习学习如何学习，快速适应新任务 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM 优点：提高学习效率，适应新任务 缺点：对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练： 强化学习关注如何让 Agent 通过与环境互动自我学习，在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法，如 Qlearning 和 SARSA。 随着深度学习兴起，深度神经网络与强化学习结合形成深度强化学习，赋予 Agent 从高维输入学习复杂策略的能力，有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习，无需人工指导，在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战，包括训练周期长、采样效率低、稳定性问题，在复杂真实环境应用困难。 时间：20 世纪 90 年代至今 特点：通过试错学习最优行为策略，以最大化累积奖励 技术：Qlearning、SARSA、深度强化学习（结合 DNN 和 RL） 优点：能够处理高维状态空间和连续动作空间 缺点：样本效率低，训练时间长

对于 AI 初学者想要训练自己的个性 AI ，可以从以下几个方面入手： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，如李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并争取获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，包括图像、音乐、视频等，根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，因其上手容易且实用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出自己的作品。 在知识库中分享实践后的作品和文章。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动，了解它们的工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，激发对 AI 潜力的认识。 此外，更注重人格属性，试图满足社交、情感、陪伴等需求，您也可以对其进行了解和参考。同时，为了在医疗保健中让 AI 产生真正的改变，应投资于创建像我们今天最优秀的医生和药物开发者那样学习的模型生态系统，例如通过学校教育和经验积累，培养在复杂情况下确定最佳答案的直觉。

要将历史写过的文章发给 AI 以训练生成写作风格，可以参考以下步骤： 1. 首先，像安迪的做法一样，把过去写的多篇相关文章发给 AI。 2. 让 AI 总结这些文章的写作特点。 3. 根据 AI 总结的特点，编写出描述写作风格的提示词，从而克隆出自己的写作风格。 4. 未来使用这个风格时，先花 3 分钟时间让 AI 分别写多篇内容。 5. 从多篇内容中找到最符合心意的作品，并从其他作品中寻找好的段落。 6. 最后进行整合、修改、删减和润色，少则几分钟、十几分钟，多则半个小时就能完成一篇文章。 同时，就像夙愿提到的，找选题对于写作很重要。我们可以通过学习其他优秀公众号的文章，分析其选题思路、文章结构、表达方式等，不断训练自己的“写作模型”，但要注意不能照搬，而是要形成自己独特的风格。 另外，在写作过程中，“主体性”的介入也很关键。比如在使用 Prompt 生成公众号文章时，要先思考自己对写作的理解以及对特定主题写作风格的认知，这样写出来的 Prompt 才会有个人特色。日常也要注重基本功的积累，因为在表达“意象”时非常考验语言能力。

以下是关于如何用 AI 模型做训练的相关内容： 要在医疗保健领域让 AI 产生真正的改变，应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始，AI 也应如此。当前的学习方式存在问题，应通过堆叠模型训练，如先训练生物学、化学模型，再添加特定数据点。就像预医学生从基础课程学起，设计新疗法的科学家经历多年学习和指导，这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括： 1. 收集海量数据：如同教孩子博学多才要让其阅读大量资料，对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据：像为孩子整理适合的资料，AI 研究人员要清理和组织收集的数据，如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构：为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是复杂的神经网络，如 Transformer 架构。 4. 训练模型：像孩子开始学习，AI 模型开始“阅读”数据，通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性，应对可能的“恶意”样本数据导致的幻觉，可使用对抗训练技术，让模型在训练中接触并学会识别和抵抗。

训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。

训练自己的模型可以参考以下内容： 基于百川大模型： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集（如 wechat 和 self_cognition）。 注意学习率和训练轮次的设置，要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的情况下，可以减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右，训练时间根据聊天记录规模大小而定，少则几小时，多则几天。 训练自己的 AI 绘画模型（Stable Diffusion）： 样本采样器（sample_sampler）：可选择，默认是“ddim”。 保存模型格式（save_model_as）：可选择，SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括： 训练集制作：数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置：预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练：运行训练脚本，使用 TensorBoard 监控。 模型测试：用于效果评估与消融实验。 训练资源： Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目，可通过关注公众号 WeThinkIn，后台回复“SDTrain”获取。