以下为您推荐可用于图生图(img2img)的大模型:
Stable Diffusion(SD)模型是由Stability AI和LAION等公司共同开发的生成式模型,总共有1B左右的参数量,可以用于文生图,图生图,图像inpainting,ControlNet控制生成,图像超分等丰富的任务,本节中我们以文生图(txt2img)和图生图(img2img)任务展开对Stable Diffusion模型的工作流程进行通俗的讲解。文生图任务是指将一段文本输入到SD模型中,经过一定的迭代次数,SD模型输出一张符合输入文本描述的图片。比如下图中输入了“天堂,巨大的,海滩”,于是SD模型生成了一个美丽沙滩的图片。SD模型的文生图(txt2img)过程而图生图任务在输入本文的基础上,再输入一张图片,SD模型将根据文本的提示,将输入图片进行重绘以更加符合文本的描述。比如下图中,SD模型将“海盗船”添加在之前生成的那个美丽的沙滩图片上。SD模型的图生图(img2img)过程那么输入的文本信息如何成为SD模型能够理解的机器数学信息呢?很简单,我们需要给SD模型一个文本信息与机器数据信息之间互相转换的“桥梁”——CLIP Text Encoder模型。如下图所示,我们使用CLIP Text Encoder模型作为SD模型中的前置模块,将输入的文本信息进行编码,生成与文本信息对应的Text Embeddings特征矩阵,再将Text Embeddings用于SD模型中来控制图像的生成:蓝色框就是CLIP Text Encoder模型,能够将输入文本信息进行编码,输出SD能够理解的特征矩阵
Adobe上周发布了Firefly image 2 Beta测试版本,增加了非常多的功能,模型质量也强了好多,卷起来了。我试了一下发现image 2模型的图片分辨率默认居然是2048*2048的,太强了。而且对图片的控制能力增强许多,这再搭配上Photo shop的蒙版之类的拉满了。Firefly image 2模型:具有更高质量的图像和插图生成,以及自定义选项和改进的动态范围。生成匹配:就是img2img,应用预先选择的图像集中的风格或上传你自己的风格参考图像,可以快速创建相似图像。照片设置:应用和调整照片设置,类似于手动相机控制,以实现更逼真的图像质量,具有更高保真度的细节(包括皮肤毛孔和树叶)以及运动模糊和景深等效果。提示建议:输入提示词的时候,输入框上方会给出一些提示词书写建议选择就可以使用。提示链接共享:其他人点开你分享的提示的时候,可以快速应用提示词及相关设置。反向提示词:通过输入你不想生成内容的提示词,可以排除对应内容。
|多行文本|备注|标签|附件||-|-|-|-||[Earth Ninja](https://civitai.com/posts/196183)|I am sorry that I cannot write all the information here because the workflow is quite complex and the prompt and model often change.<br>The base prompt is:<br>epic realistic,(dark shot:1),1girl,ninja floating,textured clothing,dragon_head,smoke,(((sandstorm))),(flying stone),(((dust explosion:1))),wind,(motion blur),realistic,solo_focus,(dark_background),3d Model<br>The main model is:<br>[Niji3dstyle](https://civitai.com/models/46898/niji3dstyle)/[Lyriel](https://civitai.com/models/22922/lyriel)/[Dreamshaper](https://civitai.com/models/4384/dreamshaper)<br>I also used:[Nijiexpress Lora](https://civitai.com/models/44023/nijiexpressivev1).<br>The initial screen was created using img2img from a hand-drawn sketch,the characters'poses were controlled using ControlNet Openpose,and a lot of Inpaint and Inpaint Sketch was used for sand and smoke,and for the dragon,Inpaint Sketch was used.I recommend using the"[Canvas-Zoom](https://github.com/richrobber2/canvas-zoom)"extension for Inpaint.Of course,a lot of Photoshop processing and img2img iterations were also involved in the entire process.<br>The entire job took about 6 hours.<br>I hope the above information is helpful to everyone.|||[heading1]教程开始: