以下是关于文生图 lora 微调的详细内容:
定主题:明确您需要生成的图片的主题、风格和要表达的信息。
选择基础模型 Checkpoint:根据主题选择内容贴近的 checkpoint,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。
选择 lora:基于生成内容寻找重叠的 lora,以控制图片效果和质量,可参考广场上优秀帖子中使用的 lora。
ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字或艺术化二维码等,属于高阶技能。
局部重绘:下篇再教。
设置 VAE:无脑选择 840000 即可。
Prompt 提示词:用英文写需求,使用单词和短语组合,不用管语法,单词、短语间用英文半角逗号隔开。
负向提示词 Negative Prompt:同样用英文写要避免的内容,单词和短语组合,用英文半角逗号隔开。
采样算法:一般选 DPM++ 2M Karras 较多,也可参考 checkpoint 详情页上模型作者推荐的采样器。
采样次数:选 DPM++ 2M Karras 时,采样次数通常在 30 - 40 之间。
尺寸:根据个人喜好和需求选择。
以下是一个简笔水彩风格插画的示例: 使用大模型“Flat - 2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复可拉到 11)。搭配两个 lora,“Chinese painting style”可增加中国画水彩风格效果,权重设为 0.4;“Crayon drawing”可添加简单线条和小孩子笔触,权重设为 0.8。将图片丢到标签器中反推关键词,发送到“文生图”。在正向提示词末尾添加这两个 lora,尺寸按参考图设置,重绘幅度开 0.5 让 AI 更自由发挥,若想更接近原图可降低数值。将图放入 ControlNet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。
[title]Tusiart简易上手教程[heading1]简明操作流程[heading2]文生图定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。
[title]【SD】简笔水彩风格插画作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-20 20:04原文网址:https://mp.weixin.qq.com/s/TPSturdv9fdGRLAxEG2rKg今天给大家推荐一个大模型和lora的组合运用,可以生成一些类似简笔水彩风格的插画。首先是这个大模型“Flat-2D Animerge”,适合生成一些卡通动漫的图片。官方建议CFG值在5或6比较好。(如果使用动态阈值修复的话,可以拉到11)还有两个lora,一个是“Chinese painting style”,这个可以增加一些中国画水彩风格的效果。还有一个lora是“Crayon drawing”,它可以给画面添加一些简单的线条和小孩子的笔触。接下来,我们使用这三者的组合,将下面这张图片转换为简笔水彩风格吧。将图片丢到标签器中,反推出关键词,然后发送到“文生图”。在正向提示词的末尾,添加上这两个lora,“Chinese painting style”权重设置为0.4,“Crayon drawing”权重设置为0.8。尺寸按照参考图设置好,重绘幅度开0.5可以让AI更自由发挥一点,如果想和原图更接近,可以降低数值。将图放入controlnet中,选择tile模型,权重为0.5,控制模式选择“更注重提示词”。这里的权重主要会影响画面的复杂度,数值越高,细节越多,数值太低的话,会和图像差得比较远。点击生成,这样一幅简笔水彩风格的插画就完成了,是不是很治愈呢?
[title]Liblibai简易上手教程[heading1]简明操作流程[heading2]文生图定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。(没错我是喜欢看plmm多点)选择Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。设置VAE:无脑选840000那一串就行。CLIP跳过层:设成2就行。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样方法:这玩意儿还挺复杂的,现在一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障迭代步数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,迭代步数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。生成批次:默认1批。