flux lora训练

在 ComfyUI 中，flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用，需要将相关模型放在对应的目录下。具体来说，t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下，clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下，ae.safetensors 放在 ComfyUI/models/vae/ 目录下，flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。

很抱歉，根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”，暂时无法明确具体的问题原因。可能是模型文件格式不被识别，或者文件路径存在错误等。建议您检查文件的完整性和正确性，确保其符合相关软件的要求。

以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息： 1. XLabsAI 发布了 6 个不同的 Lora，包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等，并提供了相应示例。 2. 文生图模型排序（从高到低）：Imagen 3 真实感满分，指令遵从强；Recraft 真实感强，风格泛化很好，指令遵从较好（会受风格影响）；Midjourney 风格化强，艺术感在线，但会失真，指令遵从较差；快手可图 影视场景能用，风格化较差；Flux.1.1 真实感强，需要搭配 Lora 使用；文生图大模型 V2.1L（美感版） 影视感强，但会有点油腻，细节不够，容易糊脸；Luma 影视感强，但风格单一，糊；美图奇想 5.0 AI 油腻感重；腾讯混元 AI 油腻感重，影视感弱，空间结构不准；SD 3.5 Large 崩。 3. 指定 AI 生图里的文字，有 9 种解决方案，其中 2 种快过时了。包括 Midjourney（v6 版本开始支持文字效果，主要支持英文，中文支持有限）、Ideogram（以图片嵌入文字能力闻名，2.0 模型能力得到进一步加强，支持复杂文本和多种艺术风格，文字与图像能够自然融合，支持英文，中文提示词可自动翻译为英文）、Recraft（V3 开始支持文本渲染能力，是目前唯一能在图像中生成长文本的模型，支持精确的文本位置控制，支持图像编辑功能，支持矢量图生成，支持英文，中文渲染能力较弱）、Flux（FLUX.1 是一款高质量的开源图像生成模型，支持复杂指令，支持文本渲染，支持图像编辑，生成图像的质量很高，主要支持英文）。

以下是关于 Flux 训练 Lora 的教程： 1. 准备模型：需要下载以下几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意：不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。因为是训练，不是跑图，训练的话，模型就用 flux1dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 安装虚拟环境：下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 4. 0 基础训练大模型： 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以是包含图片 + 标签 txt，也可以只有图片没有打标文件（之后可以在 c 站使用它的自动打标功能），也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查，可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集，触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后就可以等待训练了，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush：基于数据集在 Flux 上训练 LoRA，并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势，比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻，可以处理皮肤纹理、头发、毛发等细节。接下来，通过合成随机法线，将这些均匀光照图像进行随机再光照，以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo：https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段，会从数百万张高质量的自然场景图像中提取均匀光照外观图像，以构建成对数据集，用于训练最终的交互式光照绘制模型。

以下是关于 ComfyUI Flux 模特换衣服的新手教程： 工作流整体思路： 1. 生成适合服装的模特： 可以抽卡，抽到满意的模特。加入 Redux 模型，强度不用太高，让提示词生效，Reduxprompt 节点风格细节等级需注意（1=27×27 最强，14=1×1 最弱）。 2. 进行高精度的换装： 先进行预处理的工作，拼出来 mask。 重绘 mask 区域。 工作流解释： 1. 模特生成： 先生成与衣服匹配的模特，先不关注衣服的相似度，抽出满意的模特。 2. 服装高精度处理： mask 的处理：做两个工作，将模特身上的衣服分割出来，拼接出来对应模特与衣服合并后图片的遮罩。 提示词格式与 Redux 权重：使用 Flux 的 fill 模型，提示词书写格式为这是一组图片，左边是衣服，右边的模特穿着左边的衣服。Redux 这里，把权重的调整为最大。 【SD】商业换装教程： 1. 在扩展面板中使用网址安装 Segment Anything，guthub 地址：https://github.com/continuerevolution/sdwebuisegmentanything 。重启之后安装 SAM 模型。 2. 在 github 上有三个 SAM 模型，由大到小分别是 vit_h，可根据情况选择，大部分选 vit_l 。将下载好的 SAM 模型放在指定路径。 3. 测试 SAM 模型效果，左键点击要保留的部分打上黑点，右键点击不要的部分打上红点，双击不需要的点可移除。 4. 预览分离结果，选择合适的蒙版进行服装替换等操作。 点开“展开蒙版设置”，设定蒙版扩展量，建议 30，然后点击发送到“重绘蒙版”。 5. 换衣步骤：在图生图中，提示词输入“蓝色毛衣”，蒙版区域内容处理改为“填充”，尺寸改为和图像一致，重绘幅度为 1。 6. 若出现衔接问题，可通过降低重绘幅度或添加 openpose 控制人物身体姿势。还可使用 controlnet 的局部重绘功能，控制模式选择“更注重提示词”，自行试验选择效果好的。

FLUX 模型的放置位置如下： FLUX.1等版本的模型应放在 ComfyUI/models/unet/文件夹中。如果爆显存了，“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型，设置为 fp8 可降低显存使用量，但可能会稍降质量，默认的 weight_type 显存使用较大。 t5xxl_fp16.safetensors 和 clip_l.safetensors 应放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。 下载的 Vae 模型应放入 ComfyUI/models/vae 文件夹。 同时，以下模型也有对应的放置位置： flux1dev.safetensors 放在 ComfyUI/models/unet/目录下。 t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/目录下。 ae.safetensors 放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors 是底模，ae.safetensors 是 VAE，clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。

LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。

以下是关于 Lora 训练的详细步骤： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片后续使用自动打标功能。建议提前把图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查，预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出您所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 7. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，还有一些相关的补充信息： 1. 训练前要确保下载几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意：不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。因为是训练，不是跑图，跑图可以寻求降低方案，训练的话，用 flux1dev.safetensors 这个版本，编码器用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 安装虚拟环境：下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键，选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程。下载完成后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 在使用 SD 训练一套贴纸 LoRA 模型时： 1. 原始形象：MJ 关键词：A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4niji 5style cutes 180 。会得到不同风格的贴图，可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子、有不同的衣服和头饰、都有一双大大的卡通眼睛，会有不同的面部表情。 2. 注意事项：关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。如果训练 256256 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。比如从 256 高清化到 1024，输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60 100 张）。

LoRA 训练主要包括以下步骤： 1. 创建数据集： 进入厚德云模型训练数据集，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片后续使用自动打标功能，或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览数据集的图片以及对应的标签。 2. Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词，模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，郑敏轩提到的 Flux 的 Lora 训练还需要： 1. 下载相关模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 安装虚拟环境：下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手点击“Y”，然后等待 1 2 小时的漫长下载过程，下好后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 在 AI 梦一丹一世界（下）2025 年 2 月 8 日副本中提到，参加相关比赛须用摩搭平台和麦橘超然模型作为底膜训练 Lora，提交训练好的 Lora 及用其生成的六张以上高质量、展现完整世界观的作品。作图分三步，一是明确创作主题即锚点，根据 Lora 风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。好看的图片的构成因素包括构图、色彩以及光影，构图包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面），构图要素有主体、陪体、前景、背景、点线面，构图方式有点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。在 AI 绘图中，推荐中景及以上景别，全身景别可能需开 AD 跳以确保作图质量。

以下是一些关于文生图的模型和工具的信息： Tusiart： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像。 设置 VAE：选择 840000 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据需求和喜好选择。 吐司网站： 文生图的操作方式：在首页的对话生图对话框输入文字描述即可生成图片，不满意可通过对话修改。 模型及生成效果：Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成效果受多种因素影响。 图生图及参数设置：可基于图片做延展，能调整尺寸、生成数量等参数，高清修复消耗算力多，建议先出小图。 特定风格的生成：国外模型对中式水墨风等特定风格的适配可能不足，可通过训练 Lora 模型改善。 Liblibai： 定主题：确定生成图片的主题、风格和表达的信息。 选择 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：选择 840000 。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样方法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据需求和喜好选择。 生成批次：默认 1 批。

MoE 模型训练比 dense 模型更困难的原因主要包括以下几点： 1. 内存需求：MoE 模型需要将所有专家加载到内存中，这导致其需要大量的 VRAM。 2. 微调挑战：微调 MoE 模型存在困难，历史上在微调过程中较难泛化。 3. 训练设置：将密集模型转换为 MoE 模型时，虽然训练超参数和训练设置相同，但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡：MoE 模型在训练时更具计算效率，但在微调时难以实现良好的泛化效果。

以下是一些适合训练大语言模型的数据集： 1. Guanaco：这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集，地址为：。 2. chatgptcorpus：开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型，地址为：。 3. SmileConv：数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更加符合在长程多轮对话的应用场景，地址为：。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练，但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练，并且越来越关注开发专门针对世界语言的模型。然而，在确保不同语言的公平代表性和性能方面仍然存在挑战，特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大，往往来自于互联网上，包括论文、代码以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用 TB 级别的数据进行预训练。

在 AI 图像训练打标时，让部分标签权重更大的方法如下： 1. 在 Stable Diffusion 中，手动补充的特殊 tag 放在第一位，因为 tags 标签有顺序，最开始的 tag 权重最大，越靠后的 tag 权重越小。 2. 在 BooruDatasetTagManager 中采用方法二： 删除部分特征标签，如 All tags 中不该出现的错误识别的自动标签，Image tags 中作为特定角色的自带特征的标签，并将特征与 LoRA 做绑定。 完成所有优化删除后，点击左上角菜单 File>Save all changes 保存当前的设置。 此外，在 Stable Diffusion 训练数据集制作中还需注意： 1. 调用 Waifu Diffusion v1.4 模型需要安装特定版本（2.10.0）的 Tensorflow 库，在命令行输入相应命令完成版本检查与安装适配。 2. 进入到 SDTrain/finetune/路径下，运行相应代码获得 tag 自动标注，其中主要参数包括： batch_size：每次传入 Waifu Diffusion v1.4 模型进行前向处理的数据数量。 model_dir：加载的本地 Waifu Diffusion v1.4 模型路径。 remove_underscore：开启后将输出 tag 关键词中的下划线替换为空格。 general_threshold：设置常规 tag 关键词的筛选置信度。 character_threshold：设置特定人物特征 tag 关键词的筛选置信度。 caption_extension：设置 tag 关键词标签的扩展名。 max_data_loader_n_workers：设置大于等于 2，加速数据处理。

如果您想基于网页问卷调查训练一个能在您的逻辑之上自我迭代自动答题的专属模型，有以下两种常见的技术方案： 1. 训练专有大模型： 优点：效果最好。 缺点：成本高，训练和维护需要大量计算资源和专业知识；更新模型知识难度大，需要重新训练或微调，过程复杂耗时。 2. 利用 RAG（检索增强生成）技术： 例如选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。在 Train 页面里选择 sft 训练方式，加载定义好的数据集，根据数据集大小和收敛情况设置学习率和训练轮次。使用 FlashAttention2 可减少显存需求、加速训练速度；显存小的朋友可减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。但需要用到 xformers 的依赖。根据聊天记录规模大小，训练时间少则几小时，多则几天。 此外，还有学生训练专属植物分类 AI 模型的案例供您参考。在北京市新英才学校的跨学科选修课“生化 E 家”中，老师和学生共同收集校园内不同树叶的照片，在 OpenInnoLab里找到图像分类训练工具，建立植物分类模型，加入大量数据集进行训练，再用图像化编程将其套在程序里，形成简单的识别工具。在这个过程中，老师通过生活体验与学生讨论图像分类原理，学生从体验到实践操作，在不进行大量代码编程的情况下能够训练 AI 模型，并了解模型训练准确度与数据的关系。

分布式预训练中的流水线并行是一种在模型参数量太大一张卡不能完全放下时采用的切分方法。具体而言，沿着模型的拓扑序将其切分成 p 段，每段为一个 stage。将大小为 N 的 minibatch 进一步切分为 m 个大小为 M 的 microbatch（N = m·M），这些 microbatch 依次进入上述 p 个 stage。 在流水线并行切分后，每个 stage 的耗时会发生变化。假设 1 指出：算力为 1 的节点，处理完整模型的 1 个 microbatch，前向和反向耗时分别是 t_f 和 t_b。基于此有推论 1：算力为 1/p 的节点，处理完整模型的 1 个 microbatch，前向和反向耗时分别是 p·t_f 和 p·t_b；推论 2：算力为 1 的节点，处理 1/p 模型的 1 个 microbatch，前向和反向耗时分别是 t_f/p 和 t_b/p；推论 3：算力为 1/p 的节点，处理 1/p 模型的 1 个 microbatch，前向和反向耗时分别是 t_f 和 t_b。 从耗时情况来看，理论上界是显存无限大，不需要 pipeline 并行，一把梭直接对 minibatch 的样本做前向和反向，耗时正比于样本数量，b_best 耗时为 t_best = m·，可见耗时是理论上界的 p 倍，存在大量计算资源闲置空载，硬件利率用很低。 最后小结，3D 并行包括数据并行。DP 计算和通信效率友好，但权重显存不友好；PP 要求 minibatch 里 batch size 足够大以掩盖流水线带来的 overhead，batch size 过大则会增大激活显存占用；TP 权重显存友好，但计算和通信效率不友好，通信量要求大。ZeRO 针对数据并行显存占用大的问题提出优化，Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。

以下是快速生产训练语料的一些方法： 1. 在 LORA 模型训练中： 首先在脚本的 LoraTraining 目录下新建训练文件夹命名为 train。 如果需要训练多个概念，就在（input_角色名称）下面再新建一个文件夹，命名写（训练次数_角色名称_泳装）进行文件夹区分。 在脚本根目录下面建立一个训练文件夹（train），在（train）文件夹内建立一个概念文件夹和一个正则化文件夹（reg，不需要正则化可不建立），在概念文件夹内建立训练素材文件夹（训练素材文件夹前面的需要加“_”你想训练的次数）之后将训练素材放置进去即可。 正则化素材方面，正则化在深度学习中指的是给模型加一些规则和约束，限制要优化的参数有效防止过拟合。假设在训练集里面放入了一个泳装角色的训练素材，那么为了防止过拟合的问题，在正则化文件夹内放入一些同样是泳装的图片素材。正则化素材注意不要过多，不然机器会过多的学习到里面的素材导致跟训练目标角色不一致。 2. 对于神经网络大模型： 大模型生成文字的过程，是根据输入的文字，预测下一个字。通过一次又一次反复的调用同一个神经网络模型，一个一个字的往后续写，直到输出结束符号为止。 大模型的输出并不是一个字，而是所有字都输出一个概率。可以选择最高概率的或者第二高的汉字作为输出结果，也可以从前几名当中随机挑选。 可以将任何网络上的文本直接当作训练素材来训练神经网络模型。把任意一段文字的前几个字作为输入，而下一个字作为答案用做训练素材，从而方便地得到大量的训练素材。 3. 在雅思口语备考中： 如果时间充裕，建议把每个 topic 的问题喂给 GPT，让它一道道问您，您回答，然后转成文本查看发音问题。 让 GPT 对您的内容执行 correct 或者 another native answer 两个指令。前者可以基于您的内容做修正，后者是在自己完全没思路时让它给出答案。 对语料进行分类归纳，如按照教育、工作、购物、科技、消费分成几大类，再弄吃、环保、交通、历史等专题，挑最不熟悉、现场水不出来的准备。考前 1 小时，再顺一遍语料，多看两眼关键表达。