Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

ipadapter的作用是什么,能实现人物的一致性吗?比如参考人物的脸部特征

Answer

IP Adapter 即图像提示词适配器,其作用包括:

  • 能够“复刻图像”,用户输入图像可直接生成内容或风格相似的图像。
  • 注重图像风格和语义的复刻,兼容性强,可与结构控制插件一起使用,既控制结构,也控制图像的语义和风格。
  • 是解决角色和风格一致性的优雅方法,能够非常精准地提取风格参考图中的角色和风格特征。

在处理人物一致性方面,IP Adapter 有一定的应用,例如在相关的图生图操作中会用到。关于其使用,之前有文章介绍。同时,Midjourney 也有类似的人物一致性相关功能。

Content generated by AI large model, please carefully verify (powered by aily)

References

EP.3 - IP Adapter 对话阿文:一图定风格,我和 AI 的契约

Jojo:接下来的话题是,咱们怎么向听众解释什么是IP Adapter?两位如果用一句话来描述这个工作,它是什么,有什么用?对SD意味着什么?叶虎:如果用一句话说,IPA就是“复刻图像”。我稍微展开一下,IP Adapter的全名是“图像提示词适配器”。图像提示词和文本提示词是类似的概念。对于文本提示词,用户输入文本生成图像;而对于图像提示词,用户输入图像,就可以直接生成内容或风格相似的图像。以前的插件,比如ControlNet,主要关注结构的可控性,但IP Adapter更注重图像风格和语义的复刻,IPA的兼容性很强,可以和结构控制插件一起使用,既控制结构,也控制图像的语义和风格。阿文:对我来说,IP Adapter是解决角色和风格一致性的优雅方法。一句话来说,它能够非常精准地提取风格参考图中的角色和风格特征,这在过去可能需要训练专门的模型来完成,但现在一张图就能解决许多问题。我觉得这个方法非常优雅,也非常方便。

第三期 黏土自由

需要用到的插件如果提示缺失节点,就通过管理器安装一下.1.提示词反推WD14-Taggerhttps://github.com/pythongosss/ComfyUl-WD14-Tagger首次使用会自动下载模型(需要网络环境)1.处理人物一致性IPAdapter:https://github.com/cubiq/ComfyUI_IPAdapter_plus也可以用instantID,这里我们使用的是IPadpter,后续很多地方也会用到,建议大家也可以先用起来关于IPAdapter的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下.[ComfyUI IPAdapter](https://waytoagi.feishu.cn/wiki/XrKwwYZcxixalykFpyfcMU2rnph)因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少.

Midjourney 人物一致性已上线

翻译版本DavidH:嘿@大家@这里我们今天正在测试一个新的“角色参考”功能这类似于“样式d引用”功能,只是它不是匹配引用样式,而是尝试使字符匹配“字符引用”图像。它是如何工作的在提示后键入--crefURL,并URL字符图像您可以使用--cw将引用“强度”从100修改为0强度100(--cw 100)是默认值,使用脸部、头发和衣服在强度0(--cw 0)时,它只关注面部(适合换衣服/头发等)它的意义是什么此功能在使用由Midjourney图像制作的角色时效果最佳。它不是为真实人物/照片设计的(并且可能会像常规图像提示一样扭曲它们)Cref与常规图像提示类似,只是它“专注”于角色特征这种技术的精确度有限,无法复制精确的酒窝/雀斑/或T恤标志。Cref适用于Niji和普通MJ模型,也可以与--sref组合高级功能您可以使用多个URL来混合从多个图像/characters的信息,如下所示--cref URL1 URL2(这类似于多个图像或样式提示)它在网络alpha上是如何工作的?

Others are asking
Error occurred when executing IPAdapterAdvanced: insightface model is required for FaceID models File "D:\AI\comfyui_20240421\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "D:\AI\co
以下是针对您所遇到的报错问题的一些解决建议: 1. 对于 ipadater 部分报错说 model 不存在的情况,将文中画圈部分修改调整到不报错。Pulid 部分,除了下载好对应的节点以及参考官方网站最下面的安装对应要求外,还要注意上图中的第二要点,对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接:PulID 全套模型,链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb,提取码:y6hb。否则将会遇到报错:Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分,为了应对没下载大模型带来的报错,需要下载大模型。首先,下载 ollama,网站: 。 3. 如果缺少 ipadapter 的模型,可去这个网址下载:https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错,可在这个网址里找到多个关于 IPAdapter 报错的解决办法:https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外,换脸工作流的核心组件是 Apply InstantID Advanced 节点,这个节点的作用就是将源人脸替换到目标图像中。其中,instantID 模型擅长提取图片的高层次特征,包括面部的纹理信息、几何结构、风格特征等,在图中例子是 IPAdpater,用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量,作用是使生成图像时,人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征,包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用,结合使用可以达到将源人脸的五官替换目标图像中五官的效果。
2024-09-03
音频驱动视频人物口型
以下是关于音频驱动视频人物口型的相关信息: PixVerse V3 : 本次更新内容丰富,包括已有能力升级,提供更精准的提示词理解能力和更惊艳的视频动态效果。 支持多种视频比例,如 16:9、9:16、3:4、4:3、1:1。 Style风格化功能重新回归升级,支持动漫、现实、粘土和 3D 四种风格选择,同时支持文生视频和图生视频的风格化。 全新上线了 Lipsync 功能,在生成的视频基础上,允许用户输入文案或上传音频文件,PixVerse 会自动根据文案或音频文件内容,对视频中的人物口型进行适配。 还有 Effect 功能,提供 8 个创意效果,包括变身僵尸、巫师帽、怪兽入侵等万圣节主题模板,一键实现创意构思。并且 Extend 功能支持将生成的视频再延长 5 8 秒,且支持控制延长部分的内容。 字节跳动开源的 LatentSync : 是精准唇形同步工具,能够自动根据音频调整角色嘴型,实现精准口型同步,无需复杂中间步骤。 提出“时间对齐”技术,解决画面跳动或不一致问题,效果显著。 具有开箱即用的特点,预训练模型加持,操作简单,支持高度定制化训练。 GitHub 链接:https://github.com/bytedance/LatentSync 论文链接:https://arxiv.org/pdf/2412.09262
2025-02-16
基于参考图片人物形象生成指定迪士尼风格的图片
以下是关于基于参考图片人物形象生成指定迪士尼风格图片的相关内容: 在 Midjourney 中,生成指定迪士尼风格的图片可以通过以下方式: 1. 角色参考(cref):cref 的功能是保持图像角色的一致性。使用方法是在提示后添加 cref,并紧接着指向人物参考图像的 URL。您可以使用 cw 来调整参考图像对生成的图像的影响程度,数值范围从 0 到 100。 2. 风格参考(sref):sref 的功能是生成类似风格的图片,保持画风的一致性。使用方法是在提示后添加 sref,并紧接着指向风格参考图像的 URL。您可以使用 sw 来调整参考风格对生成的图像的影响程度,数值范围从 0 到 1000。 如果想引用一张图,但只是把它作为新图的一部分,可以使用 sref 或 cref,并通过调整 sw 或 cw 的值来控制引用图像的影响程度。 生成一张 Disney 风格的头像的具体步骤如下: 1. 选一张比较满意的图片,在 Discord 社区的 Midjourney 服务器聊天栏点击“+”,然后点击上传文件,选取图片,然后在聊天框发送(记得点击回车或发送按钮)。 2. 图片会上传到服务器并生成一张唯一的链接,点击图片,然后点击在浏览器中打开,然后可以看到浏览器上方有一个链接,复制下来。 3. 使用这个链接加 prompt 提示词来发送给 Midjourney,Midjourney 会根据需求生成特定的图片,这就是 Midjourney 的以图绘图。 此外,在生成 3D 效果图时,如生成可爱的拟人小鹿角色,可以在即梦图片生成界面中导入参考图,参考选项为参考轮廓边缘,生图模型选择 图片 2.0,输入包含角色、细节描述、场景、风格材质等的提示词,生成图片。
2025-02-12
文生图人物一致性
以下是关于文生图人物一致性的相关内容: 在使用 ControlNet 进行文生图时,首先进入文生图界面填写提示词生成一张图。然后将图片拖入 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,保真度数值越高对图片的参考越强。在没有明确指向性提示词的情况下,人物形象能保持一致,但表情、动作、服装会有随机不同程度的变化。可以通过添加关键词来给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等,例如添加“红裙子”“黑色校服、哭泣”“抱手、生气”“在花丛中奔跑、开心”“红色棒球帽,时尚卫衣,在商场逛街”。通过一系列测试,这个功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况实时调整,后期配合 lora 潜力巨大。 另外,在 PIKA1.0 新模型中,人的一致性已经逆天,再加上其强大的语义理解和大幅度的动作,在文生图方面表现出色。
2025-02-11
多人物场景,人物一致性如何保证
在多人物场景中保证人物一致性可以参考以下方法: 1. 在使用 Midjourney 出图时,多角色情况下,放弃参考角色(cref 提示),只用参考风格(sref 提示)。这样的好处是不会出现奇怪的组合,坏处是出图较随机。 2. 多用局部重绘,虽然具有随机性,但多试几次能得到一致性较好的图。 3. 出图时先只出一个主要角色和场景。当出现多角色场景时,把其他角色抠图粘贴过来。比如老虎向兔子认错的场景,若兔子和老虎不一致,可先出稳定的老虎,再粘贴兔子以保证一致性。 4. 按照“三个确定”的 SOP 处理: 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 确定前后图的构图风格:出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw 参数)。 确定图片角色一致性:在保证构图风格没问题的基础上,保证人物一致性。先保证构图再确认角色一致性,因为 MJ 在重绘时,将角色在镜头中的位置挪动处理较难,固定位置重绘局部内容相对容易,若先保证人物内容,会很依赖 MJ 抽卡,随机性大。
2025-02-10
请推荐一下你知道的人物头像转卡通图的平台,要求效果好,和原图相似度高,最好是免费的
以下为一些人物头像转卡通图效果好、与原图相似度高且可能免费的平台及相关操作技巧: 1. Stable Diffusion: 可以使用【X/Y/Z plot】脚本来做参数对比,将 X 轴设置为提示词相关性(取值范围 1 30,每次增加 5),Y 轴设置为重绘幅度(取值范围 0 1,每次增加 0.2)。 提示词相关性在 6 11 中间为最佳,重绘幅度 0.4 时和原图比较接近。 可使用绘图功能,如增加红色眼镜、去掉衣服图案等,局部重绘可只改变涂抹部分。 2. 复杂提示词: 如 Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5 。 可根据需求调整提示词,如将 Disney 换成 Pixar,boy 换成 girl 等。 3. 通用人物模版: 用真人照片+照片描述+方法 1 的关键词来处理。 需要注意的是,不同平台的效果可能因图片和操作而有所差异,您可以自行尝试。
2025-02-06
我想把黑白老照片修复成彩色,然后给人物换衣服。请问哪个AI网站或者软件可以免费使用
以下为您介绍可免费使用的将黑白老照片修复成彩色并给人物换衣服的方法: 使用 Stable Diffusion 可以实现此需求。在新上线的 controlnet 模型中,新增的 Recolor 模型能将黑白图片重新上色。操作时选择 realisian 的写实大模型,提示词直接描述颜色和对应的内容,如黑色的头发、黄色的皮肤、深蓝色的衣服、浅蓝色的背景等。ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果较好。 将照片放入后期处理,使用 GFPGAN 算法将人脸变清晰,可参考文章——。 之后将图片发送到图生图中,打开 stableSR 脚本,放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的,可参考文章——。切换到 sd2.1 的模型进行修复,vae 选择 vqgan,提示词可不写以免对原图产生干扰。 原文网址:https://mp.weixin.qq.com/s/hlnSTpGMozJ_hfQuABgLw
2025-02-04
图生图, 如何保持幻想生物形象一致性
要在图生图中保持幻想生物形象的一致性,可以参考以下方法: 1. 对于 Midjourney ,可以采用特定的名人或有特殊属性的人物形象,先确定好影片风格,比如皮克斯动画风格,然后确定好人物形象,如角色的发型、穿着等细节。 2. 利用 Midjourney 的新功能 Cref ,先跑一张主角的定妆照,在需要出现主角人物的地方扔进去 Cref ,以保持发型、人脸、衣服等的一致性。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性,尤其是亚洲老人的一致性效果相对较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以原则上能不用就不用,比如只有背影时,简单描述即可。 3. 生成动物形象,动物相对更容易保持一致性。
2025-02-14
图生图, 如何保持生物形象一致性
在图生图中保持生物形象一致性,有以下几种方法: 1. 对于人物和场景一致性问题,可以采用生成动物的方式,动物相对容易保持一致性。 2. 选择特定的名人或具有特殊属性的人物。 3. 确定好影片风格,如皮克斯动画风格。 4. 先确定好人物形象,如明确角色的发型、穿着等特征。 5. 使用 Midjourney 的新功能 Cref,在需要出现主角人物的地方,保持发型、人脸、衣服等特征。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性效果相对较差,尤其对于亚洲老人,而且 Cref 在画面的审美和构图上有一定破坏性,原则上能不用则不用。例如只有背影时,简单描述特征即可。
2025-02-14
给我5个midjourney确保场景一致性的Sample提示词
以下是 5 个 Midjourney 确保场景一致性的 Sample 提示词: 1. Scifi movie scene. In the silverwhite space environment, from the overtheshoulder lens on the right side of the man with short hair and navy blue jumpsuit, a transparent virtual screen appeared on the wall in front of him. Behind there is the silhouette of another female employee with long blue hair, operating another screen. Rendered in a C4D style inspired by Unreal Engine, with high resolution and rich detail. sref url cref url ar 16:9 style raw sw 30 cw 100 2. In a magical forest, a fairy with colorful wings is sitting on a huge mushroom. The sunlight filters through the leaves, creating dappled patterns on the ground. cref https://my.image.host/fairy.jpg s 800 3. On a sandy beach at sunset, a couple is walking hand in hand, leaving footprints in the sand. The ocean waves crash gently in the background. cref https://my.image.host/couple.jpg ar 9:16 4. In a medieval castle courtyard, a knight in shining armor is training with a sword. The flags are fluttering in the wind. cref https://my.image.host/knight.jpg s 700 5. At a busy city street corner, a street musician is playing a guitar, surrounded by a crowd of people. The buildings are towering in the background. cref https://my.image.host/musician.jpg ar 4:3
2025-02-14
AI图片制作视频如何保持人脸一致性的工具
以下是一些关于在 AI 图片制作视频中保持人脸一致性的工具和方法: 1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。 2. PixVerse:其“角色(Character)”新功能能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的真实人脸图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在 AI 生成视频中轻松切换场景,同时保持同一角色身份。 3. Midjourney:在有了 Midjourney 的新功能 Cref 以后,可在一定程度上保持人物一致性。先跑一张主角的定妆照,然后在需要出现主角人物的地方,扔进去 Cref 以保持发型、人脸、衣服。但 Midjourney 对亚洲人脸的一致性效果,尤其是亚洲老人的一致性效果较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以能不用则不用。 需要注意的是,目前对于场景一致性,基本上还没有任何有效的解决办法。
2025-01-31