以下是一些提供风格迁移功能的工具:
如果遇到人物不能变化,可以加入对应的提示词做下增强.和调整cfg的权重.负面提示词一般不填.有Unsampler完成old_qk参数:这个参数控制了在生成过程中保留原始内容的程度。当设置为1时,会更多地保留原始内容,因此更贴合提示词;设置为0时,允许更大的变化。add_noise的作用:开启add_noise确实有助于使用像IP-Adapter这样的风格迁移工具,因为额外的噪声可以提供更多的变化空间,使得风格转换更加显著。采样器选择:dpmpp_2m适合保持视频一致性,而LCM(Latent Consistency Model)采样器更适合大幅度的场景改变,这是因为LCM允许更灵活的潜在空间操作。风格迁移的考虑:在没有额外噪声的情况下,如IP-Adapter可能难以实现高质量的编辑
controlnet作者张吕敏刚放出来的大杀器:https://github.com/lllyasviel/IC-Light体验地址:https://huggingface.co/spaces/lllyasviel/IC-Light可以传一张图,选择光源位置,填上提示词,一张新的有光源角度的融合背景的图就产生了【Zho】做好了敏神刚放出的打光模型IC-Light的Colab方案!免费层可运行!不用在Demo排队了!另外,我也把作者暂时没给Demo(但给了代码)的背景条件模型也加上了,支持选择背景图片+简单提示词,就可以完美重新打光测了下没给demo的背景条件这个也好玩给了背景可以选择未来肯定可以支持自己上传背景拿去玩:https://colab.research.google.com/drive/1-pXSpTH-zNhaAKFmMvh-xj7Zp9781L2f?usp=sharing敏神这些内容都是开源的可以在各种UI里用(只要有人做插件就行)当然也可以自己做成产品加上自己的一些独门绝技放大啊风格迁移啊动态变化等歸藏https://x.com/op7418/status/1788098998064308731可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体ID需求的最大的问题解决了。主要支持两个方式:首先是从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。也可以给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。Zho https://x.com/ZHOZHO672070/status/1788120077155684495公众号:https://mp.weixin.qq.com/s/OSjfY2wPFpKWEUdQLOQ1Bw
IpAdapter真的是风格迁移神器!我上面不是提过Lora我想加一些Sketch风格嘛,但是Sketchit是针对SD1.0训练的对我的SD1.5模型工作流基本不适应,很少能够改变风格。Anime_minimalist就很友好,可以做成扁平风。这些lora都可以做做试验看看效果。但是IpAdapter,仅仅一张图就可以学到草图!这张图是在OpenIntepreter宣传片中随便截的一张图做的测试,后来发现这张图就是我要的那张风格了(真的是实验科学,太随机了,这个work了…)因为我很喜欢这个里面的纸张的格子和潦草的线条。但我不建议weight开太高,否则生图的颜色会太像参考图,我不希望只有黑色和粉色。我选择了0.4(大多数时候)。noise可以理解为,对Prompt放行的程度。意思是,你愿意让模型控制的多,还是提示词控制的多。noise越大,提示词的比例越大。这又是一个控制与不控制的权衡。由于我希望有大量的颜色变幻,所以我开的比默认0.25/0.3的值高了一些,用了0.4