以下是关于动作姿态生成的相关内容:
在使用 Stable Diffusion 进行动作姿态生成时,可采用以下方法:
[title]【SD】最强控制插件ControlNet(2)姿态约束依旧是国风3模型,点击生成,这个姿势就绘制出来了。当然,AI的识别不会这么准确,经常会出现骨骼错位的崩坏图,所以需要你耐心的去刷图和调整参数。好了,今天我们介绍了ControlNet中关于姿态约束类的预处理器和模型。另外,我这边还收集了一些不同的pose的骨架图,可以在人物动作上做一些参考,有需要的可以添加我的公众号【白马与少年】,回复【SD】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号
首先需要确定人物动作。这里我在草图的基础上,用Clip Studio Pro中的3D人物模型进行姿态调整。你也可以使用其他3D Pose类软件生成人物姿态。然后我们需要使用ControlNet的Openpose功能,生成人物姿态。为了控制人物的色彩,可以用一张色彩合适的图片放入img2img中,将Denoising strength调至0.9以上,作为色板使用。当然,你也可以画出基本色稿放入img2img中,或是使用ControlNet Color等插件来控制色彩。在此过程中需要进行img2img反复迭代,并且适时加入背景中的森林和光线元素,以便将来合成时人物与背景更易于融合。人物大致确定以后,使用photoshop进行简单融合,再使用img2img继续生成画面。此过程依然需要反复迭代,并配合inpainting和inpainting sketch进行调整。至此,画面已经有了雏形。脸部角度和手都存在问题,但是不用急于修改。Prompt: masterpiece,best quality,1male,japanese monk,back lighting,((rim light)),long hair,white hair,floating hair,white beard,long beard,meditation,in the forest with sunbeams shining through the trees,rocks laying on the ground in the foreground,depth of field,low angle[heading2]第四步:天狗[content]现在我们要让老人戴上天狗面具。由于Stable Diffusion没有合适的模型和Lora可以方便地生成天狗面具,所以我为此训练了专用Lora。Lora在使用时需要使用inpainting sketch进行重绘,或是使用Photoshop剪裁并简单手绘好面具后进入img2img重绘。注意重绘区域要小,以免Lora的风格污染画面的其他元素。绘制Stable Diffusion不能很好地识别和绘制的特殊物品,最直接的方法就是自制Lora。
[title]【SD】最强控制插件ControlNet(2)姿态约束这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。完美。以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。拖动鼠标左键可以旋转视角。拖动鼠标中键可以缩放视角。拖动鼠标右键可以拖动视角。如果玩坏了,可以点击这里重置镜头和动作。我们调一个玛丽琳梦露的经典动作来试一试,右边可以调整出图的尺寸。接下来启用ControlNet,因为骨架图是从posex链接过来的,所以这里不需要再添加图片,也不需要预处理器,直接加载openpose的模型就可以了。