直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

怎样把人物照片转变成会动的照片

回答

要将人物照片转变成会动的照片,可以参考以下几种方法:

  1. 使用 SadTalker 工具:
    • 图片预处理方式中,crop 只截取图片的头部,full 就是保留整张照片,下面的勾选项已有文字解释,可自行尝试几次。
    • 点击 generate。
    • 由于涉及到视频的推理和转换,输出时间要远远大于 AI 绘图和 sovits 的声音推理,需做好等待的准备。
    • 导入音频后,预计生成时间较长(如 3060 12g 显卡,13 秒音频可能需要 3 - 5 分钟)。
    • 最终生成的视频长度与音频一致,若想制作长视频,最好剪成小段分别推理,然后合并。
    • 完成后,可打开输出目录或下载视频文件查看效果。
  2. 利用 Stable Diffusion 相关技巧:
    • 对于局部重绘,原理是将蒙住的部分重新画,也可将未蒙住的部分重画,比如蒙住人物重画背景。
    • 更进阶的用法,可进入涂鸦重绘,用颜色画笔画任意想添加的东西。
    • 若想让照片变成横的,可在图生图中选择“缩放后填充空白”,重绘幅度 0.5,并增加宽度。
    • 当背景拉伸重复度高时,可适当增加重绘幅度,但可能会改变人物细节。
    • 若想既不改变人物又修改背景,可借助 PS 抠像制作精确蒙版,进入“上传重绘蒙版”界面进行操作。
  3. 借助【SD】无需 Lora,一键换脸插件 Roop:
    • 选择要替换的人物照片,面部修复选择“GFPGAN”。右边参数数值越低人物越像但图像模糊,数值越高人物越不像但图像清晰,可根据需求选择,如使用 0.5 测试。
    • 最下面还有放大算法,可使用模型放大图像进行高清修复。
    • 生成后人脸部分像素可能偏低模糊,可将图发送到“图生图”,开较小重绘幅度,然后使用 controlnet 中的 tile 模型进行重绘。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

实战教程:使用Sadtalker让照片说话

图片预处理方式中,crop只截取图片的头部,full就是保留整张照片,下面的勾选项已经有文字解释,自己可以试几次点击generate由于涉及到视频的推理和转换,输出时间要远远大于ai绘图和sovits的声音推理,做好等待的准备。下图中,我导入了一个13秒的音频,预计需要3-5分钟(3060 12g显卡)最终生成的视频长度与音频一致,如果想制作一个长视频,最好是剪成小段,分别推理,然后合并。完成后,可以打开输出目录或者下载视频文件。看看效果带面部修复的效果:

【SD】玩转局部重绘,哪里不行点哪里

它的原理就是将蒙住的部分重新画,你也可以将没有蒙住的部分重新画,比如你可以把人物蒙住之后,重画她的背景。更进阶的用法,我们可以进入涂鸦重绘,用颜色画笔画任意你想添加的东西,比如在她的头顶加上一朵小黄花。添加关键词(Yellow flowers:1.2),点击生成,图片就像神笔马良一样生出了一朵花。如果我们想让这张照片变成横的,就需要扩展它的背景,可以在图生图中选择“缩放后填充空白”,重绘幅度0.5,并将宽度从512增加到1200。生成后不仅对背景做了补充,甚至还将人物进行了补全,但是背景拉伸的重复度太高,这时可以适当增加重绘幅度。当重绘幅度为0.58的时候,背景已经比较正常了。但是随着重绘幅度的增大,可以看见人物的细节也产生了一定的改变。有什么办法可以既不改变人物,又能修改背景呢?这里就需要用到一点PS的帮助了,我们保存这张图进入PS,对主体人物抠像。点击选择-主体,可以得到这个人物的选区。对选区填充白色,对背景填充黑色,就可以得到这个人物形象的精确蒙版。我们进入“上传重绘蒙版”的界面,上面放置需要重绘的图像,下面放置PS中制作好的蒙版。

【SD】无需Lora,一键换脸插件Roop

接下来启用ROOP插件,选择你想要替换的人物照片,面部修复选择“GFPGAN”。右边的参数数值越低,人物会越像,但是图像会很模糊;数值越高人物越不像,但是图像会很清晰。这个就取决于你的需求了,我使用0.5测试一下。最下面还有一个放大算法,可以使用一个模型放大你的图像,基本就相当于高清修复。设置好后,点击生成。可以看到,人脸部分的像素是偏低的,有点模糊。但是没有关系,我们可以将这张图发送到“图生图”,开一个比较小的重绘幅度。然后使用controlnet中的tile模型进行重绘。换脸完成,像不像你们自行评价吧~如果想要这个插件的话,可以添加我的公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,另外,科学上网很重要。特别提醒,此插件谨慎使用,切勿触犯法律。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

其他人在问
什么工具/模型/API 可以根据宠物照片生成数字宠物 可以有简单的活动。
以下是一个可以根据宠物照片生成数字宠物并具有简单活动的工具/模型/API: 出门问问 Mobvoi 的照片数字人工作流及语音合成(TTS)API。 出门问问是一家以生成式 AI 和语音交互为核心的人工智能公司,为全球多个国家提供面向创作者的 AIGC 工具、AI 政企服务,以及 AI 智能硬件。致力于打造国际领先的通用大模型,通过 AI 技术、产品及商业化三位一体发展,致力成为全球 AI CoPilot 的引领者。 在 ComfyUI 全球领导力峰会上,特意搭建了数字人 workflow(照片数字人驱动),仅需上传一张照片,输入一段文字或者上传一段音频,就可以生成短视频让“照片开口说话”。本次活动特意提供了免费 api 额度及操作指南给大家进行体验。以下是一些不同风格的照片驱动效果展示:
2024-11-16
有可以更具提供的文本和照片生成视频的AI吗?
以下是一些可以根据提供的文本和照片生成视频的 AI 工具: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作并支持视频编辑。目前内测免费,其生成服务托管在 Discord 中。操作步骤包括加入 Pika Labs 的 Discord 频道,在“generate”子区输入指令生成或上传本地图片生成视频,对不满意的效果可再次生成优化。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。 内容由 AI 大模型生成,请仔细甄别。
2024-11-11
照片生成卡通画
以下是关于照片生成卡通画的相关内容: 1. 个性卡通头像生成: 复杂提示词:如“Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultra detail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderino iw 1.5 s 500 v 5”。 不同照片生成:可更换新照片使用上述提示词重新生成。 其他调整:若不喜欢 Disney 风格,可将提示词中的“Disney”换成“Pixar”;若为女孩,可将“boy”换成“girl”。每次生成 4 张图片,满意可点击下方的 U1~U4 生成大图,对风格满意但需调整可点击 V1~V4 进行修改。 2. 【SD】简笔水彩风格插画生成: 大模型:“Flat2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复可拉到 11)。 Lora:“Chinese painting style”可增加中国画水彩风格效果,权重设置为 0.4;“Crayon drawing”可添加简单线条和小孩子笔触,权重设置为 0.8。 操作步骤:将图片丢到标签器中反推关键词,发送到“文生图”;在正向提示词末尾添加上述 lora;设置好尺寸,重绘幅度开 0.5 让 AI 更自由发挥,想接近原图可降低数值;将图放入 controlnet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。 3. 进阶使用技巧总结: 通用人物模版:想用真人照片生成卡通头像,可用「真人照片」+「照片描述」+「方法 1 的关键词」处理。若生成满意的图要记得保存,下次同种类型可直接喂图,效果更好。
2024-11-07
照片修复
以下是关于照片修复的相关知识: 图像高清修复与无损放大的流程通常分为三部分: 图像输入:添加 Load Image 节点加载图像,不建议上传大分辨率图片,因其处理时间长。 图像高清修复:使用 Iceclear/StableSR 等模型进行高清修复并 2 倍放大,搭配 Stable SR Upscaler 模型和合适的提示词,如正向:(masterpiece),(best quality),(realistic),(very clear),反向:3d,cartoon,anime,sketches,(worst quality),(low quality)等。 图像高清放大:用 realisticVision 底膜进行二次修复,使用提示词反推 node 提取画面提示词,搭配 tile ControlNet 提升细节感,再用合适的高清放大模型二次放大。 用 AI 给老照片上色: 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够时将图片放大。 可在 PS 里调整角度和裁切照片,然后上色。对于复杂照片,可放弃人物服装颜色指定,只给场景方向,加入第二个 controlnet 控制颜色,如使用 t2ia_color 模型,关键词如蓝天、绿树、灰石砖。 将照片放入后期处理,使用 GFPGAN 算法清晰人脸,五官重绘后,再将图片发送到图生图中,打开 stableSR 脚本放大两倍,切换到 sd2.1 模型修复,vae 选择 vqgan,可不写提示词以免干扰原图。
2024-11-06
老照片修复
以下是关于用 AI 给老照片上色的详细步骤和方法: 1. 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够时放大图片。 2. 在 PS 里进行角度调整和照片裁切。 3. 对于人物照片还原,选择 realisian 的写实大模型,提示词直接描述颜色和对应内容。ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果较好。 4. 将照片放入后期处理,使用 GFPGAN 算法将人脸变清晰。 5. 把图片发送到图生图中,打开 stableSR 脚本放大两倍,切换到 sd2.1 的模型进行修复,vae 选择 vqgan,提示词可不写以免干扰原图。 6. 对于复杂的照片,如人物多、场景复杂、像素低的,可先放弃人物服装颜色指定,只给场景方向,让 AI 自行决定颜色。还可加入第二个 controlnet 控制颜色,使用 t2ia_color 模型,给出简单关键词如“蓝天、绿树、灰石砖”。 参考文章: 1. 2. 作者:白马少年,发布时间:20230910 19:00,原文网址:https://mp.weixin.qq.com/s/hlnSTpGMozJ_hfQuABgLw
2024-11-06
能修复老照片吗
AI 可以修复老照片。以下是一些相关的方法和工具: 可以使用 Stable Diffusion(SD)中的 controlnet 模型中的 Recolor 新模型为黑白老照片重新上色。提示词可直接描述颜色和对应的内容,ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果较好。 将照片放入后期处理中,使用 GFPGAN 算法将人脸变清晰。 把图片发送到图生图中,打开 stableSR 脚本,放大两倍,切换到 sd2.1 的模型进行修复,vae 选择 vqgan,提示词可不写以免干扰原图。 辅助工具方面: 本地工具放大:https://www.upscayl.org/download SD 放大:扩散模型可增加更多细节 开源工作流: 其他工具和网站: stability.ai 的 https://clipdrop.co/tools 画质增强 magnific 遥遥领先:https://magnific.ai/ Krea https://www.krea.ai/apps/image/enhancer Image Upscaler:https://imageupscaler.com/ 佐糖:https://picwish.cn/photoenhancerapi?apptype=apsbdapi&bd_vid=8091972682159211710 腾讯 ARC https://arc.tencent.com/zh/aidemos/humansegmentation?ref=88sheji.cn 腾讯开源的模型,能恢复老照片:https://github.com/TencentARC/GFPGAN ,在线测试地址:https://replicate.com/tencentarc/gfpgan 美图老照片修复:https://www.xdesign.com/quality/?channel=sllbd90&bd_vid=11711254260543749686 Imglarger:https://imglarger.com/ Let's Enhance:https://letsenhance.io/ Waifu2x:http://waifu2x.udp.jp/
2024-11-05
推荐将线上视频转变成文字的运用
以下是一些将线上视频转换成文字的应用推荐: 1. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,能在图片基础上直接生成视频,它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需注意是收费的。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的相关网站可以查看: 另外,为您推荐在线 TTS 工具 Voicemaker(https://voicemaker.in/),它可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,易于使用,适合为视频制作画外音或帮助视障人士。 以上内容由 AI 大模型生成,请仔细甄别。
2024-09-19
midjourney中如何结合A图片的人物和B图片的动作和内容
在 Midjourney 中结合 A 图片的人物和 B 图片的动作和内容,可以使用新上线的“Character Reference”(cref)功能。以下是一些关键方法和示例: 1. 锚定细节:您可以掌控姿势、表情、情感、服装、道具、场景、动作等细节。例如:“Jo is a young woman with blue curly hair, pink sunglasses, and a colorful scarf around her neck. She waits in line at the bank. cref https://my.image.host/joisstanding.jpg”。 2. 让 cref 处理大部分工作:提示无需加强标志性细节,只是“操纵”或“定位”角色。例如:“有人正在银行排队等候。 cref https://my.image.host/joisstanding.jpg”。 3. 只提供场景:如果您的 cref 图像已包含想要的姿势和其他细节,您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果,此时可尝试使用更高值的样式化,如“s 800”。 需要注意的是,此功能在使用 Midjourney 生成的图像人物时效果最佳,不太适用于真实人物或照片。同时,在 Midjourney V6 的 Web Alpha 版本中,您可以通过拖放或粘贴图像到想象栏,并选择相应图标来设置图像为图像提示、风格参考或角色参考。
2024-11-18
midjourney 人物正面
以下是关于 Midjourney 人物相关的内容: 关于人物正面的描述:可以描述人物第一次出现的场景,如在一个水草丰美的地方,一身白色长裙的部落少女。 群像人物一致性保持及空间深度控制: 针对构图有空间深度场景的需求,共分七步。 第一步,优先生成“构图”为主的画面,再进行细化修改。 第二步,利用风格参考图让 Midjourney 理解空间关系。 第三步,垫图加 prompt 抽图。 第四步,重绘面部及侧身幅度。 Midjourney V6 更新角色一致性命令“cref”: Midjourney 努力在 cref 起作用时保留面部,无论 cw 的值如何。 当 cw 设置为 0 时,Midjourney 只转移面部到新图像中,会始终保留面部标志性属性。 若要改变面部,可按以下步骤操作: 使用 /settings 确保处于 模式且 Remix 设置为打开。 选择带有要更改面部的图像,使用 分离,选择 。 开启 Remix 后编辑提示,删除 cref 和 cw 后修改提示以对面部进行更改。 对更改满意时,确保不再添加 cref 到提示中。 某些部分看起来怪异或破碎时,可尝试将 stylize增加到 800 1000,或将 cw 降低到低于 100 的值。
2024-11-17
mj如何保持人物一致性
在 MJ 中保持人物一致性可以按照以下步骤进行: 1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 2. 确定前后图的构图风格:出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw 参数)。 iw 取值范围为,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为确保人物一致性,建议取 iw 2。 3. 确定图片角色一致性: 在得到构图相同后,利用 MJ 重绘功能,对画面进行局部重绘。在重绘提示词里输入 cref cw 来保证角色一致性。cref 所垫图还是用的是刚才一张图,因为第一张图有两个内容我们都要拿:构图、人物。 若出现黑边,将黑边部分框住,重绘输入关键词“background”就能去除黑边,保证背景一致。 需要注意的是,由于 MJ 不可控因素,相较于保证人物位置,先保证构图会容易很多。因为 MJ 在重绘时,如果要将一个角色从镜头一个位置挪到另外一个指定位置,非常难处理。整个 MJ 出图基本也是靠降噪重绘,固定位置重绘局部内容会比改变整个画面结构容易很多。这就好比美术课画画,给一张参考图,一个是把背景风格都做好了,让在固定位置添加内容,另一个是将整个页面内容全部重绘,还要保证画面的主题内容要和参考图一样,相比之下后者的随机性会大非常多(抽卡次数也会很多)。 在生成人物图片时,先确定人物形象,如“a little girl wearing a yellow floral skirt+人物动作+风格词”,在 mj 中生成直到得到一张满意的人物图像。为了确保人物一致性,取 iw 2 。然后可以使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(iw 2),mj 重新生图。
2024-11-02
两个人物图合成一张图片,有什么好工具?
以下是一些可以将两个人物图合成一张图片的工具和方法: 1. Midjourney(MJ): 确定人物形象,通过相关提示词生成人物图像。 利用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图在 MJ 中重新生图。 2. Stable Diffusion(SD): 可使用 Roop 插件进行多人物脸部替换。例如生成一张包含两个古风人物的图片,通过图生图调整重绘幅度,并在 Roop 插件中载入相应人物照片形象进行脸部替换,最后使用 PS 扩图。 3. 其他方法: 利用 MJ 画图制作底图,使用 InsightFaceSwap 插件处理脸部,分割裁剪图片、处理后缝合,再用相关软件让图片动起来。 直接在网上寻找能够融合两张照片的软件或项目,若没有则进行纯 P 图,然后利用图生视频的项目完成。
2024-10-28
照片人物与虚拟人合成
以下是关于照片人物与虚拟人合成的相关内容: 使用 Midjourney(MJ)生成人物图片: 确定人物形象,如“a little girl wearing a yellow floral skirt + 人物动作 + 风格词”,在 MJ 中生成直到得到满意的人物图像。可使用垫图 URL 及相关提示词,如“In the forest,a little girl wearing a yellow floral skirt is playing happily,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”,其中“iw 取值范围,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为了确保人物一致性,取 iw 2”。 合成人物和场景: 使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(iw 2),在 MJ 中重新生图,提示词如“垫图 url + Little girl wearing a yellow floral skirt,and her friend brown bear,taking shelter in the cave,rainstorm,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”。 在 StableDiffusion(SD)中绘制一致性多角度头像: 准备工作:准备一张人物的多角度图片,尺寸设置为 1328×800px,放大两倍后保证每张小图都是 512×512px。加上网格图,通过 lineart 来分割不同的块面。设置 controlnet,第一张图选择 openpose_face 得到人物的 15 个面部角度,第二张图选择 lineart_standard得到清晰的表格分区,为防止小图模式下人脸崩坏,可增加 ADetailer 的脸部修复插件。 制作数字人的工具: HeyGen:AI 驱动的平台,可创建逼真的数字人脸和角色,适用于游戏、电影和虚拟现实等应用。 Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会变化,使用时请遵守相关条款和政策,并注意版权和伦理责任。
2024-10-28
怎么用AI绘制一个我指定的动漫人物原型的各类图片,例如日漫《好想告诉你》中的黒沼爽子
要使用 AI 绘制指定的动漫人物原型,如日漫《好想告诉你》中的黑沼爽子,您可以按照以下步骤进行: 1. 选择合适的 AI 绘画工具:目前有许多在线的 AI 绘画平台和软件可供选择,例如 DALL·E2、StableDiffusion 等。 2. 明确描述特征:在输入描述时,尽可能详细地描述黑沼爽子的外貌特征,包括发型(如黑色的长直发)、眼睛(如大而明亮的眼睛)、服装(如校服的款式和颜色)、表情(如羞涩的微笑)等。 3. 参考相关图片:如果可能,找到黑沼爽子的官方图片或其他粉丝绘制的作品,作为参考提供给 AI 绘画工具,以帮助其更好地理解您的需求。 4. 不断调整和优化:根据生成的初步结果,对描述进行调整和优化,例如修改某些特征的描述、增加更多细节等,以获得更符合您期望的图片。 需要注意的是,AI 绘画的结果可能会受到多种因素的影响,不一定能完全符合您的预期,但通过不断尝试和优化,您有机会获得较为满意的作品。
2024-10-17