Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux inpainting 是怎么基于diffusersion train的inpainting

Answer

Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面: 训练扩散模型在特定的表示上,能够在降低复杂度和保留细节之间达到最优平衡点,显著提高视觉保真度。在模型架构中引入交叉注意力层,使其成为强大且灵活的生成器,能够处理诸如文本和边界框等一般条件输入,实现基于高分辨率卷积的合成。

关于 Midjourney 的训练 prompt 方面: Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的,但也可以通过 --version 或 --v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型,于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 --v 5 参数,或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性,擅长解释自然语言 prompt,分辨率更高,并支持诸如 --tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高(分辨率提高 2 倍)、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点,还支持 --tile 参数实现无缝平铺(实验性)、支持大于 2:1 的 --ar 宽高比(实验性)、支持 --iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。

Content generated by AI large model, please carefully verify (powered by aily)

References

训练Midjourney的prompt

The issue with DMs is that the powerful ones often consume hundreds of GPU days,and inference is quite expensive due to sequential evaluations.To enable DM training on limited computational resources without compromising their quality as well as flexibility,DMs are applied in the latent space of powerful pre-trained autoencoders.Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling high-resolution convolution-based synthesis.先不用多做回复,请问答是否收到即可?3——————————————————————————————————————VersionMidjourney routinely releases new model versions to improve efficiency,coherency,and quality.The latest model is the default,but other models can be used using the--version or--v parameter or by using the/settings command and selecting a model version.Different models excel at different types of images.Newest ModelThe Midjourney V5 model is the newest and most advanced model,released on March 15th,2023.To use this model,add the--v 5 parameter to the end of a prompt,or use the/settings command and select MJ Version 5.This model has very high Coherency,excels at interpreting natural language prompts,is higher resolution,and supports advanced features like repeating patterns with–tile.What's new with the V5 base model?-Much wider stylistic range and more responsive to prompting-Much higher image quality(2x resolution increase)improved dynamic range-More detailed images.Details more likely to be correct.Less unwanted text-Improved performance with image prompting

🎯训练Midjourney的prompt(可举一反三)

Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling high-resolution convolution-based synthesis.先不用多做回复,请问答是否收到即可?3——————————————————————————————————————VersionMidjourney routinely releases new model versions to improve efficiency,coherency,and quality.The latest model is the default,but other models can be used using the--version or--v parameter or by using the/settings command and selecting a model version.Different models excel at different types of images.Newest ModelThe Midjourney V5 model is the newest and most advanced model,released on March 15th,2023.To use this model,add the--v 5 parameter to the end of a prompt,or use the/settings command and select MJ Version 5.This model has very high Coherency,excels at interpreting natural language prompts,is higher resolution,and supports advanced features like repeating patterns with–tile.What's new with the V5 base model?-Much wider stylistic range and more responsive to prompting-Much higher image quality(2x resolution increase)improved dynamic range-More detailed images.Details more likely to be correct.Less unwanted text-Improved performance with image prompting-Supports--tile argument for seamless tiling(experimental)-Supports--ar aspect ratios greater than 2:1(experimental)-Supports--iw for weighing image prompts versus text promptsStyle and prompting for V5

Others are asking
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 1. 模型准备: 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型存放位置不限,但要知晓路径;训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 数据集准备: 建议使用自然语言,与之前 SDXL 的训练类似。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集,此路径中有试验数据集可直接使用。 4. 运行训练:约 1 2 小时即可完成训练。 5. 验证和 lora 跑图:若有 comfyUI 基础,在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点,自行选择 Lora 并调节参数。 6. 修改脚本路径和参数: 若显卡为 16G,右键 16G 的 train_flux_16GLora 文件;若显卡为 24G 或更高,右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开,理论上只需修改红色部分,包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式,避免错误。蓝色部分为备注名称,可改可不改。建议经验丰富后再修改其他深入参数,并做好备份管理。
2025-01-20
flux提示词示例
以下是一些关于 flux 提示词的示例: 在不同主题方面,如文本概括(https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC)、信息提取(https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96)、问答(https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94)、文本分类(https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB)、对话(https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D)、代码生成(https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90)、推理(https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86),通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中,构建提示词时可以添加示例(可选)。您可以通过在提示词中加入一些示例,让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式,用不同的对话分隔符,例如用“我”代替“Human:”,用“你”代替“Assistant:”;也可以直接提供例子。决定哪种方法更有效取决于具体任务,建议尝试两种方法以确定更好的结果。 在市场营销类中,如赛博佛祖(Kyle)的示例,其角色设定为熟悉佛教经典、境界很高的佛学大师,能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义,提供有效建议等,并给出了详细的约束条件和链接地址()。
2025-01-20
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
FLUX低显存怎么安装
如果您的显存较低,安装 FLUX 可以参考以下步骤: 1. NF4 模型下载: 链接:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置:ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中) NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载: 链接:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中,GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案: flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注:如果报错,请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内,重启 ComfyUI,如果之前没更新,更新后再重启。 相关资源链接: BitsandBytes Guidelines and Flux:https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话,工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
comy UI FLUX 低显存
ComfyUI FLUX 低显存运行的相关内容如下: 工作流: 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路: 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理,先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程: 初始图像生成(Flux): UNETLoader:加载 flux1dev.sft 模型。 DualCLIPLoader:加载 t5xxl 和 clip_l 模型。 VAELoader:加载 fluxae.sft。 CLIPTextEncode:处理输入提示词。 BasicGuider 和 RandomNoise:生成初始噪声和引导。 SamplerCustomAdvanced:使用 Flux 模型生成初始图像。 VAEDecode:解码生成的潜在图像。 初始图像预览:PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化(SDXL): CheckpointLoaderSimple:加载 SDXL 模型(fenrisxl_SDXLLightning.safetensors)。 UpscaleModelLoader:加载 RealESRGAN_x4.pth 用于放大。 VAELoader:加载 sdxl_vae.safetensors。 ImageSharpen:对初始图像进行锐化处理。 UltimateSDUpscale:使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览:PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择: 用半精度 fp8 dev 版本(能用单精度 dev 版本的尽量用),也适合 fp8 的 T8 模型,降低对内存的占用。 记得把 weight dtype 也设置为 fp8,降低对显存的使用。 建议:先关闭高清放大部分,等跑出来效果满意的图片后,再开启放大。 ComfyUI 简介: 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更加精准的工作流定制和完善的可复现性。 优势: 对显存要求相对较低,启动速度快,出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程,可以导出流程并分享给别人,报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势: 操作门槛高,需要有清晰的逻辑。 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档安装即可:https://github.com/comfyanonymous/ComfyUI
2025-01-08
flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导: 打标环节: 选择基础大模型,如“麦橘写实”,并为 lora 命名。 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。 参数调整环节: 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节: 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。 此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 1 和 2 的效果不同,加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
AI trainer的工作内容
AI Trainer 的工作内容可能涉及以下方面: 负责使用 AI 的实时语音转换器,例如参与相关模型的训练和优化工作。 对如孙燕姿音色等特定音色进行训练。 基于各种技术框架,如 VITS 简单易用的语言转换器框架、DDSP(可微分数字信号处理)等,开展语音转换系统的相关工作。 但由于提供的内容中关于 AI Trainer 工作内容的描述较为有限和分散,以上信息可能不够全面和准确。
2024-09-10
training course of Microsoft Azure
微软 AI 初学者入门课程不包括以下内容: 1. 人工智能的商业应用案例。如需要了解这方面的信息,可以考虑学习以下两个微软的课程:《》(和欧洲工商管理学院 INSEAD 共同开发)。 2. 经典机器学习。这在我们的《》中有详细介绍。 3. 使用 Azure 认知服务(Azure Cognitive Services)来创建实用的人工智能应用。如有需要,我们建议你从以下微软课程开始学习:《》等。 特定的机器学习云框架,例如》。 对话式人工智能和聊天机器人。这方面有一个单独的课程《了解更多详情。 深度学习背后的深层数学(Deep Mathematics)。关于这一点,我们推荐 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 合著的《深度学习》(Deep Learning)一书,该书可在 https://www.deeplearningbook.org/ 上获取。 如需了解云计算中的人工智能主题,可以考虑参加《》课程。
2024-09-02
请用简单易懂的语言讲一下pre-training
预训练(pretraining)的目标是让模型学习一种语言模型,用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后,模型可以生成一些有意义且语法正确的文本,但可能无法理解具体任务的需求。
2024-04-23