Flux 是一种在图像转换和处理方面具有特定功能的工具。它具有多种功能,如使用 FLUX.1 Canny / Depth 进行结构调节,通过边缘或深度检测来在图像转换过程中保持精确控制;使用 FLUX.1 Redux 进行图像变化和重新设计,给定输入图像可以重现具有轻微变化的图像。
Lora 是一种低阶自适应模型,可以理解为基础模型(如 Checkpoint)的小插件。在生图时可有可无,但对于控制面部、材质、物品等细节有明显价值,旁边的数值是其权重。
1.首页-模型\帖子\排行榜:发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签,有些模型的标签后面还有第二个XL的标签,这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.基础模型:生图必需的,英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词:想要AI生成的内容(不绝对有效,需要多费功夫学习,哪怕从照抄别人开始)。2.负向提示词Negative Prompt:想要AI避免产生的内容(不绝对有效,也需要费功夫学,哪怕从照抄别人开始)。1.图生图:上传图片之后,sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大,输出的图和输入的图差别就越大。
结构调节使用精明的边缘或深度检测来在图像转换过程中保持精确控制。通过边缘或深度图保留原始图像的结构,用户可以进行文本引导的编辑,同时保持核心构图完整。这对于重新纹理图像特别有效。【接着是ControlNet,前面我们有介绍最早的ControlNet,这次官方做了Canny和Depth模型。】【FLUX.1 Canny[dev]是120亿个参数。生成的输出可用于FLUX.1[dev]非商业许可证中所述的个人、科学和商业目的。官方在他们的GitHub上提供了FLUX.1 Canny[dev]的参考实现以及示例代码。鼓励希望在FLUX.1 Canny[dev]之上构建的开发人员和创意人员以此为起点。】FLUX.1 Canny / Depth有两个版本:可实现最大性能的完整模型,以及基于FLUX.1[dev]的LoRA版本,可更轻松地开发。[heading2]使用FLUX.1 Redux进行图像变化和重新设计[content]FLUX.1 Redux是适用于所有FLUX.1基本模型的适配器,用于生成图像变化。给定输入图像,FLUX.1 Redux可以重现具有轻微变化的图像,从而可以细化给定图像。它自然地集成到更复杂的工作流程中,通过提示解锁图像重新设计。通过API,可以通过提供图像和提示来重新设计样式。最新型号FLUX1.1[pro]Ultra支持该功能,允许组合输入图像和文本提示,以创建具有灵活宽高比的高质量4兆像素输出。
前段时间由于SD3的问题,开源的图片生态发展一度停滞,值得关注的新项目和模型几乎没有。FLUX上周发布后这个态势被快速改变了,由于其优秀的图片质量,高昂的训练成本并没有阻止开源社区。而且由于在其偏向真实的美学调教风格,也使生成的[发布会写实图片](https://x.com/javilop/status/1821814987737735344)在推上的热度爆发使得FLUX模型快速出圈。再加上[Runway把那张AI生成的照片变成视频](https://x.com/iamneubert/status/1821970292014768420)让更多人对现在图像和视频模型的发展进度有了更多的了解。目前Xlabs已经发布了基于FLUX的Controlnet模型和Lora模型[的训练脚本](https://github.com/XLabs-AI/x-flux)。他们还顺便发布了一个FLUX的Canny Controlnet模型,另外这里还有Instant ID作者的新组织InstantX训练的一个[Canny模型](https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny-alpha)也可以试试。Xlabs也跟Lora训练脚本一起发布了他们的多个Lora,其中这个火遍推特的图片就是用那个[写实Lora](https://huggingface.co/XLabs-AI/flux-RealismLora)做的。具体的Lora包括mjv6_lora、动漫Lora、写实Lora、迪士尼Lora、风景_lora、艺术LoraXlabs Lora下载:https://huggingface.co/XLabs-AI/flux-RealismLora