以下是一些可以将人物老照片转彩色并生成视频动起来的工具和方法:
启用MutiDiffusion插件,不开放大倍数,仅使用分块渲染的功能,能帮助我们在显存不够的情况下,将图片放大到足够的倍数。好了,经过一顿操作,我们就将这张图片处理完成了。对比一下看看,之前的黑白照片和经过上色高清化完成之后效果。同样的步骤,又还原了一张我妈妈的照片。在问到她当时穿的什么颜色衣服的时候,她记得可清楚了,想都没想就告诉我说是绿色的。这两张还算容易的,接下来就遇到比较棘手的照片了。比如这一张,是我外公外婆带着我妈和我舅舅。外公走得更早,我甚至都没见过一面,只有这些照片还记录着他存在的痕迹。而这张照片也有些年头了,一直被外婆好好保存着。人物多、场景复杂,像素非常的低,使得这张照片处理起来难度很大。我首先在ps里面进行了一下角度的调整和照片的裁切,然后使用刚才的步骤进行上色,但是直接上色的结果有点像是加了一层黄色滤镜,有颜色但是年代感还是太强了。而太具体的颜色指定,又容易让画面污染严重,因为内容实在太多了,光是指定衣服就得十来个颜色提示词,AI能分辨得清才怪。所以我决定放弃人物服装的颜色指定,只给一个场景方向,剩下的交给AI去自行决定。于是,我从网上找到了一张仙人洞的照片,让AI去帮我匹配色调。加入第二个controlnet来控制颜色,使用的是t2ia_color的模型。关键词只给了:蓝天、绿树、灰石砖这么简单的几个词。颜色终于正常了,最后经过脸部的修复和放大,得到了最终的效果。
将照片放入到后期处理中,使用GFPGAN算法将人脸变清晰,不知道这个功能的可以参考我这篇文章——[【Stable Diffusion】图片高清化+面部修复+一键抠图,一些你不知道的事儿](http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487422&idx=1&sn=9cdf7ef37c2acb3c0fc3328d0ba8af74&chksm=c251597af526d06c921ea6728cb2a32bdf1d5f699e19d6ba13b849994e4d01af8a5144132aad&scene=21#wechat_redirect)。这个步骤,可以将我们的五官进行重绘,但是却没有办法将照片中的头发、衣服等其他元素变清晰。所以,接下来我将图片再发送到图生图当中,打开stableSR脚本,放大两倍。这个放大插件是所有插件中对原图还原最精准的,也是重绘效果最好的,不知道的朋友可以参考我的这篇文章——[【Stable Diffusion】超清无损放大器StableSR](http://mp.weixin.qq.com/s?__biz=MzkzMzIwMDgxMQ==&mid=2247487403&idx=1&sn=cbb96534fa6f58c37cf9fc64bc7ade0c&chksm=c251596ff526d0792b4bba0e21b69427b23e780824bdc75b22f1073e8bad6f61f30199fc8344&scene=21#wechat_redirect)。切换到sd2.1的模型进行修复,vae选择vqgan,提示词可以什么都不写,以免对原图产生干扰。
剧本中的两位主人公,共3个形象,分别是年轻船员:开朗积极、充满好奇;老船长:经验丰富、坚韧不拔,以及老船长年轻时候的形象。通过性格特征和时代背景,描绘人物的提示词、上传角色参考图--cref,最后将角色背景扣除以便于进行角色加背景的融合生成时进行垫图操作。以老船长年轻形象为例,生成了全身、半身、侧身多角度人物图。根据剧本创作,场景主要概括为三个场景部分,分别是海上、沙漠、市集。提示词从剧本中的画面描述进行提取。生成过程均采用文生图模式,画面风格选择前准备好的风格图进行垫图。上传角色图、场景背景进行参考生成,使得人物和场的融合度更高。通过以上阶段,我们的台词、剧本、风格、人物形象、画面场景就都确立好啦。小插曲:感谢团队小伙伴积极投入在本次创作中,分工明确,协同并进,最终产出一份较为满意的作品。当然最最最可爱且重要的是:留下关注、收藏、认知看完文章的你~现在画面静态图片有了,那么接下来该让图片动起来了吧......使用即梦进行图生视频,只需上传图片至视频生成模块,提示词简单描绘画面中的动态内容即可。能生成时长为3秒钟的画面。运镜类型可根剧本中的镜头描绘设置,主要设置以随机运镜为主。生成速度根据我们的视频节奏,选择了慢速。生成效果:下方这类由图片+简单提示词生成出的3秒时长的短视频。