Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

lora

Answer

LoRA 相关信息如下：

  • 模型微调：
    • 微调脚本：
    • 加载微调模型：
      • LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过PEFT加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。
      • 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。
  • 在 SD 中的应用：
    • 儿童绘本风格插画：可以生成儿童绘本风格插画，起作用的主要是“KIDS ILLUSTRATION”风格 lora，可搭配不同大模型使用，如官方案例中的超拟真大模型“Realistic Vision”。
    • Fooocus 介绍：LoRA 模型默认放在 Fooocus_win64_1-1-10\Fooocus\models\loras。Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装时需下载三个模型，如 SDXL 基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors 等。若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），修改 Fooocus_win64_1-1-10\Fooocus\modules\path.py 文件中的路径，配置好后点击 run.bat 文件启动。
Content generated by AI large model, please carefully verify (powered by aily)

References

模型微调

LoRA微调脚本见：[train/sft/finetune_lora.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/requirements.txt)，关于LoRA微调的具体实现代码见[train/sft/finetune_clm_lora.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm_lora.py)，单机多卡的微调可以通过修改脚本中的--include localhost:0来实现。[heading6]全量参数微调[content]全量参数微调脚本见：[train/sft/finetune.sh](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune.sh)，关于全量参数微调的具体实现代码见[train/sft/finetune_clm.py](https://github.com/LlamaFamily/Llama-Chinese/blob/main/train/sft/finetune_clm.py)。[heading5]Step4:加载微调模型[heading6]LoRA微调[content]基于LoRA微调的模型参数见：基于Llama2的中文微调模型，LoRA参数需要和基础模型参数结合使用。通过[PEFT](https://github.com/huggingface/peft)加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。[heading6]全量参数微调[content]对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。

【SD】儿童绘本风格插画

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-07-02 20:00原文网址：https://mp.weixin.qq.com/s/yf30ZBJPWG1Zzla9M1PnFw今天给大家推荐一个大模型和lora的组合运用，可以生成一些儿童绘本风格的插画。起作用的主要是这个风格lora——“KIDS ILLUSTRATION”，画风非常可爱治愈，可以搭配不同的大模型使用。官方案例使用的是超拟真大模型“Realistic Vision”。我们来测试一下吧，既然是儿童绘本，我们就选择一个大家都熟悉的《小王子》的故事吧。关键词描述：在一个荒凉的星球上，一个小男孩和一只狐狸，玫瑰花，星空。使用latent couple插件（[【Stable Diffusion】手涂蒙版定位插件Latent Couple](http://mp.weixin.qq.com/s?__biz=MzA3ODY0OTc1NQ==&mid=2247486812&idx=1&sn=cbfff40072e25d54605f686c7733b8c0&chksm=9fbecda8a8c944be887648e28695df76810d7bf15a83588aa85ede35232c105c5d727c272ca6&scene=21#wechat_redirect)）来确定小王子和狐狸的位置关系，并对小王子的服装做一个细致的描述——“黄头发，绿衣服，红围巾”。多刷一些图，最终筛选出来一张，动物的部分总是画得不太好，不过画风还是蛮喜欢的。同样的参考词，我们再换几个大模型看看。比如我们常用的2.5D模型“ReV Animated”，直接生成。

【SD】SD的大哥Fooocus重磅问世，三步成图傻瓜式操作

LoRA模型默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型，一个base，一个Refiner，和一个LoRA。如果单独安装，这里需要下载三个模型：SDXL基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包，也可以共用模型（大模型和LoRA），可以这里找到path.py文件：Fooocus_win64_1-1-10\Fooocus\modules\path.py，用text记事本打开，修改路径为秋叶包模型对应的路径：大模型路径，比如：sd-webui\models\Stable-diffusion\SDXLLoRA模型路径：比如sd-webui\models\lora都配置好之后，点击run.bat文件启动。

Others are asking
我想了解现在有什么文生图的模型或者工具，可以精准的按照prompt给的位置大小把文字写在最终出来的图像上的，这个字不会是幻觉，是实打实的字，或者有没有通过训练lora来达到这个效果的
以下是一些关于文生图的模型和工具的信息： Tusiart： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像。 设置 VAE：选择 840000 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据需求和喜好选择。 吐司网站： 文生图的操作方式：在首页的对话生图对话框输入文字描述即可生成图片，不满意可通过对话修改。 模型及生成效果：Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成效果受多种因素影响。 图生图及参数设置：可基于图片做延展，能调整尺寸、生成数量等参数，高清修复消耗算力多，建议先出小图。 特定风格的生成：国外模型对中式水墨风等特定风格的适配可能不足，可通过训练 Lora 模型改善。 Liblibai： 定主题：确定生成图片的主题、风格和表达的信息。 选择 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：选择 840000 。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样方法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据需求和喜好选择。 生成批次：默认 1 批。
2025-02-25
主流的LORA 训练工具是什么？
主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。
2025-02-18
LORA是什么
LoRA 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。 所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程： 1. 港风胶片 Lora 模型使用方法： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 Lora。上一期活动链接：。胶片 Lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。 joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用： SDXLLightning 是字节跳动推出的高速文本生成图像模型，包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址：https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时，拿 Lora 的使用来做介绍，使用方法和平常的 Lora 用法一样，但需要注意 CFG 值需要调小，一般设置为 1，另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用： 当想要生成多张同一张脸的照片时，需要用到 Lora 模型。Lora 可以固定照片的特征，如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮，弹出新的选项框，找到 Lora，就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora，会自动添加到关键词的文本框里面。Lora 可以叠加使用，但建议新手不要使用太多 Lora，每个 Lora 后面的数字用于调整权重，一般只会降低权重。 选择 Lora 时，要根据最开始想要生成的照片类型来选择，比如想生成真人模特，对应的 Lora 也要选用真人模特。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2025-02-17
lora是什么
Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如固定的人物相貌、特定的服装或者特定的风格，这样就可以生成不同于底模的图片。所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。例如，有利用新版 SDXL 生成的 lora——针线娃娃，它可以把一些常见的形象制作成毛线编制的样子，这个 lora 需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ，可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-10