以下是关于 SD 人物换脸的详细步骤:
另外,还有关于 SD 中更精确蒙版的操作,如使用 GroundingDINO 模型分割:启用 GroundingDINO 时 AI 会自动下载模型,也可在云盘下载放到特定文件目录。在检测提示词中输入如“eye”,可自动检测出相应部分并设置蒙版,还能通过预览箱体得到编号选择调整单一部分。选择要修改的蒙版上传到重绘蒙版,添加提示词生成。给人物换背景时,加载生成的背景蒙版,选择大模型和正向提示词,蒙版模式选“重绘非蒙版内容”,生成后可再次放入图生图中细化,还可在 PS 中修复。
特别提醒,使用相关插件需谨慎,切勿触犯法律。
安装时间比较长,要耐心等待。安装好之后,打开SD文件目录下的这个文件夹。在地址栏输入“cmd”,然后回车。在打开的dos界面里面,将这行代码“python-m pip install insightface==0.7.3--user”粘贴进来,就会自动开始安装insightface。如果这个阶段出现错误,建议去下载使用最新的秋叶4.2整合包(6月23号更新),下载包我已经更新到了云盘里,后台回复【SD】就可以下载。安装完成后,重新打开我们的启动器,后台会继续下载一些模型,此时一定要保证全程科学上网。完成这些后,我们的Roop插件就可以正常使用了。这个插件主要适用于真实的人脸替换,所以对二次元之类的人物作用不大。我们选用一个真实系模型“realisticVisionV20”,关键词描述的是一个老人举着气球。得到了一张如下的照片。接下来启用ROOP插件,选择你想要替换的人物照片,面部修复选择“GFPGAN”。右边的参数数值越低,人物会越像,但是图像会很模糊;数值越高人物越不像,但是图像会很清晰。这个就取决于你的需求了,我使用0.5测试一下。最下面还有一个放大算法,可以使用一个模型放大你的图像,基本就相当于高清修复。设置好后,点击生成。可以看到,人脸部分的像素是偏低的,有点模糊。但是没有关系,我们可以将这张图发送到“图生图”,开一个比较小的重绘幅度。然后使用controlnet中的tile模型进行重绘。换脸完成,像不像你们自行评价吧~如果想要这个插件的话,可以添加我的公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,另外,科学上网很重要。特别提醒,此插件谨慎使用,切勿触犯法律。
我先正常地生成一张图片,内容是两个古风的人物形象,一男一女坐在一起,在大漠黄沙之下,互相对视。正向提示词是:best quality,official art,8k wallpaper,highly detailed,illustration,close-up,(a man and a woman sitting together:1.6),upper body,antique style,drifting snow,yellow sand fills the sky,withered tree,desert,gu,<lora:武侠V2_2.0:1>。模型使用的是majicmixRealistic,外加一个武侠lora。其余参数如下。得到这张图,仿佛两个古时的人转世来到了现在,回到曾经相识的大漠,相对而坐,往事如梭。发送到图生图中,调整重绘幅度为0.4。在roop插件中,默认是从左往右开始编号,0,1,2,3……这样依次往下。所以左边男人的编号为0,右边女人的编号为1。我们在第一个roop中载入至尊宝的照片形象。在第二个roop中载入紫霞的照片形象。脸部替换完成。这个插件最强大的地方就在于,它仅凭一张照片就能复刻出这个角色的其他角度和表情,而且能让人一眼感觉确实很像。放大看看特写。如果真的千年之后,两人再相见,他们心里会想什么呢?最后使用一下ps扩图,看看辽阔的黄沙大漠,七月飞雪。如果想要这个插件的话,可以添加我的公众号【白马与少年】,回复【SD】即可。鲜花总会凋谢但会再开一生所爱隐约在白云外-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)
但有的时候,我们需要更精确一点的蒙版,比如人物的眼睛,或者是身上的配饰等等。单靠SAM模型就很难得到想要的蒙版了,这个时候我们就需要使用到segment anything中的GroundingDINO了。启用GroundingDINO,AI会自动下载模型,此时会需要用魔法,没有魔法的同学可以去我的云盘直接下载。放到这个文件目录下“……sd-webui-aki-v4.2\extensions\sd-webui-segment-anything\models\grounding-dino”点击启用,在检测提示词中输入“eye”,AI就可以根据语义分割帮我们自动检测出眼睛的部分,并设置好蒙版。我们还可以通过预览箱体,来得到两只眼睛的编号,通过编号可以选择调整单一的眼睛。比如,我只想调整左边那只眼睛,我就只需要勾选1就可以了。和刚才一样,选择我们想要修改的蒙版,上传到重绘蒙版当中。添加提示词“闭眼”。点击生成,可以看到图片就修改好了。我们再来给人物换个背景试试,加载刚才生成的背景蒙版。大模型选择revAnimated_v122,正向提示词:简单背景、花、国画、工笔。蒙版模式选择“重绘非蒙版内容”。得到这张图片,头发的部分没有抠太好。我们将它再次放入图生图中,使用tile模型做一次整体细化,除了融合人物之外,还能给人物的衣服也添加上国风元素。生成,人物好像变得高级了一些。来到PS,使用创成式填充修复一下头发。完成啦。