以下是关于换脸技术的理论介绍:
辅助工具:
实战方法:
PuLID 换脸: Pure and Lightning ID customization (PuLID) 是字节跳动团队开源的一种个性化文本到图像生成技术,通过对比学习和快速采样,实现无需微调模型就可以高效生成定制化的 ID(身份)图像,轻松实现换脸。字节团队又推出了 PuLID-FLUX 模型,支持 FLUX 模型的 ID 定制。 安装方面:
一个精细化的面部交换(换脸)技术与传统的换脸技术不同,E4S更加精细和高级。它不仅能让你在照片或视频中换脸,还能确保换出来的脸在形状、纹理和光照方面都非常自然和逼真。它能够非常精确地处理脸部的每一个小细节,包括你脸上的每一颗痣、每一条皱纹,甚至是光照和阴影。项目地址:[https://e4s2023.github.io](https://t.co/ysbYLxu5ls)论文:[https://arxiv.org/abs/2310.15081](https://t.co/sr6Kc1obKL)GitHub:[https://github.com/e4s2023/E4S2023](https://t.co/0TATDkfL2b)[heading2]😂 Misgif:[content]一款可以将你的脸放入你喜欢的GIF表情包中的应用换脸程序,但具有娱乐性。🔗[http://misgif.app](http://misgif.app/)🔗[https://x.com/xiaohuggg/status/1719186332319416388?s=20](https://x.com/xiaohuggg/status/1719186332319416388?s=20)[heading2]🔄 Face Swapper:[content]AI换脸工具:一次替换多张脸。支持JPG、PNG、WEBP格式,最大1024px分辨率。应用场景:时尚、美容、电影、媒体、人力资源。传送门:[https://icons8.com/swapper](https://t.co/KEHXqf41SK)🔗 https://x.com/xiaohuggg/status/1714612613357932800?s=20
点击快捷工具中顶部的:JupyterLab,打开这个工具。这个工具提供了执行python程序的说明和控制服务器的终端使用。我们需要通过终端来启动facefusioin。此处是唯一需要一点技术能力的地方。点击顶部的+号选项卡,我们新打开一个终端窗口:点击终端区域,启动一个终端的选项卡:在打开的终端窗口中,输入3条命令做3件事情:1.查看文件列表。输入ls并按回车,显示当前位置所在目录下的文件列表。2.进入facefusion目录,输入cd facefusion并按回车,进入程序目录3.启动facefusion。输入:p4.ython./run.py --execution-providers cuda cpu启动程序注意:后面的参数--execution-providers cuda cpu非常重要,如果不加cuda,则默认不使用GPU能力,推理将非常慢。当出现这个提示信息时,说明启动成功:4.2.3打开facefusion软件打开facefusion软件,需要返回实例列表,点击自定义服务按钮,会打开一个新的浏览器窗口。这样,我们才能够通过web浏览器来访问facefusion提供的UI界面:在facefusion软件界面上(见上图),上传准备好的图片,视频后,在右侧可以看到预览效果。点击下方的开始按钮,执行换脸处理。执行完成后,在输出的位置,会出现处理后的视频,输出窗口的右上角有一个下载按钮,点击它你可以导出变量后的视频到本地。最后来看看效果:通过剪映制作的数字人视频:1.变脸前的视频:
Pure and Lightning ID customization(PuLID)是字节跳动团队开源的一种个性化文本到图像生成技术,通过对比学习和快速采样,实现无需微调模型就可以高效生成定制化的ID(身份)图像,轻松实现换脸。在PuLID基础上,字节团队又推出了PuLID-FLUX模型,支持FLUX模型的ID定制。具体的参数就不说了,我也不懂。看看具体应用。百度找了张神仙姐姐的图片。打开comfyui,导入pulid的工作流。看看效果。接下来是安装:pulid的安装是比较麻烦的,需要环境依赖。插件地址:https://github.com/balazik/ComfyUI-PuLID-Flux,跟着说明自己安装。[pulid_flux_v0.9.0.safetensors](https://huggingface.co/guozinan/PuLID/blob/main/pulid_flux_v0.9.0.safetensors?download=true)放到ComfyUI/models/pulid/中,EVA CLIP是EVA02-CLIP-L-14-336,应该会自动下载(将位于huggingface目录下)。如果由于某种原因自动下载失败,请手动下载此EVA-CLIP模型,将文件放入ComfyUI/models/clip并重新启动ComfyUI。两个文件都我都放网盘里了。然后是难点facexlib和insightface的安装,如果之前有用过sdxl的pulid换脸的,应该安装过。没装过的需要自己多摸索摸索了。如果装不了,也不要着急,可以去https://huggingface.co/spaces/yanze/PuLID-FLUX体验一下。