以下是一些能让照片说话的软件及相关信息:
利用目前主流的开源程序让照片说话唱歌,达到基本的唇形同步https://github.com/OpenTalker/SadTalker可以独立使用或者作为插件放入stablediffusion视频教程https://www.bilibili.com/video/BV1Dc411W7V6/?vd_source=35e62d366d8173e12669705f7aedd122但是对于编程、python、conda不熟的,强烈建议使用这个整合包:史上最炸裂版AI工具箱来啦,SD-AI绘画、VITS文本转语音,wav2lip、sadTalker唇型同步,视频修复,支持A卡!我用夸克网盘分享了「EZ-AI-Starter-v0.9.8.zip」,点击链接即可保存链接:https://pan.quark.cn/s/1d5ca9f57f5c视频地址:https://www.bilibili.com/video/BV1ga4y1u7Ep/?spm_id_from=333.337.search-card.all.click&vd_source=35e62d366d8173e12669705f7aedd122具体步骤如下:点我启动,在启动界面中,选择音频、图像口型同步的下载图标:下载完毕后如下:启动应用,等待会弹出一个独立的窗口(而不是你的默认浏览器)选择sadtalker同步器,分别导入图片和声音,
图片预处理方式中,crop只截取图片的头部,full就是保留整张照片,下面的勾选项已经有文字解释,自己可以试几次点击generate由于涉及到视频的推理和转换,输出时间要远远大于ai绘图和sovits的声音推理,做好等待的准备。下图中,我导入了一个13秒的音频,预计需要3-5分钟(3060 12g显卡)最终生成的视频长度与音频一致,如果想制作一个长视频,最好是剪成小段,分别推理,然后合并。完成后,可以打开输出目录或者下载视频文件。看看效果带面部修复的效果:
1.点击上面的网址,注册后获得120免费k币,这里选择“照片数字人口播”的功能1.点击开始创作,选择自定义照片1.配音时,你可以选择提供文字选择音色,或者直接上传一段音频1.打开绿幕按钮,点击背景,可以添加背景图1.最后,点击生成视频