直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

ipadapter的作用是什么,能实现人物的一致性吗？比如参考人物的脸部特征

回答

IP Adapter 即图像提示词适配器，其作用包括：

  • 能够“复刻图像”，用户输入图像可直接生成内容或风格相似的图像。
  • 注重图像风格和语义的复刻，兼容性强，可与结构控制插件一起使用，既控制结构，也控制图像的语义和风格。
  • 是解决角色和风格一致性的优雅方法，能够非常精准地提取风格参考图中的角色和风格特征。

在处理人物一致性方面，IP Adapter 有一定的应用，例如在相关的图生图操作中会用到。关于其使用，之前有文章介绍。同时，Midjourney 也有类似的人物一致性相关功能。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

EP.3 - IP Adapter 对话阿文：一图定风格，我和 AI 的契约

Jojo：接下来的话题是，咱们怎么向听众解释什么是IP Adapter？两位如果用一句话来描述这个工作，它是什么，有什么用？对SD意味着什么？叶虎：如果用一句话说，IPA就是“复刻图像”。我稍微展开一下，IP Adapter的全名是“图像提示词适配器”。图像提示词和文本提示词是类似的概念。对于文本提示词，用户输入文本生成图像；而对于图像提示词，用户输入图像，就可以直接生成内容或风格相似的图像。以前的插件，比如ControlNet，主要关注结构的可控性，但IP Adapter更注重图像风格和语义的复刻，IPA的兼容性很强，可以和结构控制插件一起使用，既控制结构，也控制图像的语义和风格。阿文：对我来说，IP Adapter是解决角色和风格一致性的优雅方法。一句话来说，它能够非常精准地提取风格参考图中的角色和风格特征，这在过去可能需要训练专门的模型来完成，但现在一张图就能解决许多问题。我觉得这个方法非常优雅，也非常方便。

第三期 黏土自由

需要用到的插件如果提示缺失节点,就通过管理器安装一下.1.提示词反推WD14-Taggerhttps://github.com/pythongosss/ComfyUl-WD14-Tagger首次使用会自动下载模型(需要网络环境)1.处理人物一致性IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus也可以用instantID,这里我们使用的是IPadpter,后续很多地方也会用到,建议大家也可以先用起来关于IPAdapter的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下.[ComfyUI IPAdapter](https://waytoagi.feishu.cn/wiki/XrKwwYZcxixalykFpyfcMU2rnph)因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少.

Midjourney 人物一致性已上线

翻译版本DavidH：嘿@大家@这里我们今天正在测试一个新的“角色参考”功能这类似于“样式d引用”功能，只是它不是匹配引用样式，而是尝试使字符匹配“字符引用”图像。它是如何工作的在提示后键入--crefURL，并URL字符图像您可以使用--cw将引用“强度”从100修改为0强度100（--cw 100）是默认值，使用脸部、头发和衣服在强度0（--cw 0）时，它只关注面部（适合换衣服/头发等）它的意义是什么此功能在使用由Midjourney图像制作的角色时效果最佳。它不是为真实人物/照片设计的（并且可能会像常规图像提示一样扭曲它们）Cref与常规图像提示类似，只是它“专注”于角色特征这种技术的精确度有限，无法复制精确的酒窝/雀斑/或T恤标志。Cref适用于Niji和普通MJ模型，也可以与--sref组合高级功能您可以使用多个URL来混合从多个图像/characters的信息，如下所示--cref URL1 URL2（这类似于多个图像或样式提示）它在网络alpha上是如何工作的？

其他人在问
Error occurred when executing IPAdapterAdvanced: insightface model is required for FaceID models File "D:\AI\comfyui_20240421\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "D:\AI\co
以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。
2024-09-03
mj如何保持人物一致性
在 MJ 中保持人物一致性可以按照以下步骤进行： 1. 确定画面元素：优先出一张图，保证风格、构图样式及人物角色。 2. 确定前后图的构图风格：出第二张图时，将第二张图提示词描述后加入第一张图的构图风格（iw 参数）。 iw 取值范围为，不填写默认 iw = 1，iw 值越大越接近垫的图像，反之更接近提示词。为确保人物一致性，建议取 iw 2。 3. 确定图片角色一致性： 在得到构图相同后，利用 MJ 重绘功能，对画面进行局部重绘。在重绘提示词里输入 cref cw 来保证角色一致性。cref 所垫图还是用的是刚才一张图，因为第一张图有两个内容我们都要拿：构图、人物。 若出现黑边，将黑边部分框住，重绘输入关键词“background”就能去除黑边，保证背景一致。 需要注意的是，由于 MJ 不可控因素，相较于保证人物位置，先保证构图会容易很多。因为 MJ 在重绘时，如果要将一个角色从镜头一个位置挪到另外一个指定位置，非常难处理。整个 MJ 出图基本也是靠降噪重绘，固定位置重绘局部内容会比改变整个画面结构容易很多。这就好比美术课画画，给一张参考图，一个是把背景风格都做好了，让在固定位置添加内容，另一个是将整个页面内容全部重绘，还要保证画面的主题内容要和参考图一样，相比之下后者的随机性会大非常多（抽卡次数也会很多）。 在生成人物图片时，先确定人物形象，如“a little girl wearing a yellow floral skirt+人物动作+风格词”，在 mj 中生成直到得到一张满意的人物图像。为了确保人物一致性，取 iw 2 。然后可以使用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图（iw 2），mj 重新生图。
2024-11-02
两个人物图合成一张图片，有什么好工具？
以下是一些可以将两个人物图合成一张图片的工具和方法： 1. Midjourney（MJ）： 确定人物形象，通过相关提示词生成人物图像。 利用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图在 MJ 中重新生图。 2. Stable Diffusion（SD）： 可使用 Roop 插件进行多人物脸部替换。例如生成一张包含两个古风人物的图片，通过图生图调整重绘幅度，并在 Roop 插件中载入相应人物照片形象进行脸部替换，最后使用 PS 扩图。 3. 其他方法： 利用 MJ 画图制作底图，使用 InsightFaceSwap 插件处理脸部，分割裁剪图片、处理后缝合，再用相关软件让图片动起来。 直接在网上寻找能够融合两张照片的软件或项目，若没有则进行纯 P 图，然后利用图生视频的项目完成。
2024-10-28
照片人物与虚拟人合成
以下是关于照片人物与虚拟人合成的相关内容： 使用 Midjourney（MJ）生成人物图片： 确定人物形象，如“a little girl wearing a yellow floral skirt + 人物动作 + 风格词”，在 MJ 中生成直到得到满意的人物图像。可使用垫图 URL 及相关提示词，如“In the forest,a little girl wearing a yellow floral skirt is playing happily,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”，其中“iw 取值范围，不填写默认 iw = 1，iw 值越大越接近垫的图像，反之更接近提示词。为了确保人物一致性，取 iw 2”。 合成人物和场景： 使用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图（iw 2），在 MJ 中重新生图，提示词如“垫图 url + Little girl wearing a yellow floral skirt,and her friend brown bear,taking shelter in the cave,rainstorm,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”。 在 StableDiffusion（SD）中绘制一致性多角度头像： 准备工作：准备一张人物的多角度图片，尺寸设置为 1328×800px，放大两倍后保证每张小图都是 512×512px。加上网格图，通过 lineart 来分割不同的块面。设置 controlnet，第一张图选择 openpose_face 得到人物的 15 个面部角度，第二张图选择 lineart_standard得到清晰的表格分区，为防止小图模式下人脸崩坏，可增加 ADetailer 的脸部修复插件。 制作数字人的工具： HeyGen：AI 驱动的平台，可创建逼真的数字人脸和角色，适用于游戏、电影和虚拟现实等应用。 Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关条款和政策，并注意版权和伦理责任。
2024-10-28
怎么用AI绘制一个我指定的动漫人物原型的各类图片，例如日漫《好想告诉你》中的黒沼爽子
要使用 AI 绘制指定的动漫人物原型，如日漫《好想告诉你》中的黑沼爽子，您可以按照以下步骤进行： 1. 选择合适的 AI 绘画工具：目前有许多在线的 AI 绘画平台和软件可供选择，例如 DALL·E2、StableDiffusion 等。 2. 明确描述特征：在输入描述时，尽可能详细地描述黑沼爽子的外貌特征，包括发型（如黑色的长直发）、眼睛（如大而明亮的眼睛）、服装（如校服的款式和颜色）、表情（如羞涩的微笑）等。 3. 参考相关图片：如果可能，找到黑沼爽子的官方图片或其他粉丝绘制的作品，作为参考提供给 AI 绘画工具，以帮助其更好地理解您的需求。 4. 不断调整和优化：根据生成的初步结果，对描述进行调整和优化，例如修改某些特征的描述、增加更多细节等，以获得更符合您期望的图片。 需要注意的是，AI 绘画的结果可能会受到多种因素的影响，不一定能完全符合您的预期，但通过不断尝试和优化，您有机会获得较为满意的作品。
2024-10-17
生成人物图像哪个AI最好
以下为一些生成人物图像较好的 AI 工具及相关信息： PhotoMaker：可以根据文字描述生成人物照片，能混合不同人物特征创造新形象，还能改变照片中人物的性别、年龄。网址：https://photomaker.github.io 。 在人物构图的视角选择方面，有以下几种常见视角： 正视角：拍摄对象正对着相机的姿态，使人像呈现出正面的视角。咒语关键词：Front view 。生成思路：正视角的年轻女孩。生成咒语：young girl,front view,ar 16:9 。 后视角：从被摄对象的背后拍摄的视角，以被摄对象的背部为主要构图元素。咒语关键词：Back view angle & Back angle 。生成思路：后视角的年轻女孩。生成咒语：young girl,back view angle,ar 16:9 。 侧视角：观察或拍摄物体或场景时从侧面的角度观察，可用于展示物体的形状和轮廓，或创造深度和距离的感觉。咒语关键词：Side view & Shoulder level view 。生成思路：侧视角的年轻女孩。生成咒语：young girl,Side view,ar 16:9 。 仰视角：观察或拍摄物体或场景时从底部的角度观察，通常会让物体看起来更为庞大和高大，具有一定的视觉冲击力和震撼效果。咒语关键词：Bottom view & Low angle view 。生成思路：仰视角的年轻女孩。生成咒语：young girl,low angle view,ar 16:9 。 俯视角。 此外，还有 Sam Altman 与 Bill Gates 关于 GPT 的未来讨论，以及 Portkey AI 网关这一连接多种 AI 模型的工具。
2024-10-12
如何在midjourney中只进行照片背景修改，而不修改人物姿态和表情
在 Midjourney 中只修改照片背景而不修改人物姿态和表情，您可以参考以下方法： 1. 得益于cref，midjourney 能够迅速达成角色一致性的目的而无需 Lora。其中，cref 代表 character reference（角色参考）；cw 则代表 character weight（参考权重），默认为 100，会参考角色的人脸和服装特点。如果您只想关注人脸，请调低到 0。您不需要对角色原图使用/describe 来贴近目标生成角色的形象，因为cref 会帮您完成这件事情。 2. 风格复制和服装的替换，则应当用提示词（prompt）和sref，默认值 100，越高越接近参考图像的风格。 3. 如果遇到“形似而神不似”的问题，即 MJ 直出和原人物在眼睛、眉毛、鼻子等其他地方的大小、间距有一些细微的差距，您可以按照以下步骤操作： 使用/settings 确保您处于模式并且 Remix 设置为打开。 选择带有您想要更改的面部的图像。使用将其从网格中分离出来，然后选择。 由于您已经开启了 Remix，您将能够编辑提示。 从提示中删除cref 和cw。一旦删除了它们，修改提示以对面部进行更改。例如，您可以慷慨地选择面部的下半部分，并添加“清洁剃须”来除去胡须。您可以尝试使用小的负权重，例如 tattoos::0.5 来移除纹身。 注意：当您对更改满意时，请确保不要再次添加cref 到提示中！一旦添加回来，“面部交换”将再次发生，那些不需要的属性将重新出现。 4. 有时，Midjourney 在正确将角色放置在背景中时会遇到一些困难。如果结果不连贯（例如，您看到头部朝后或图像被奇怪地裁剪），请尝试将 stylize增加到 800 1000。您也可以尝试将cw 同时降低到低于 100 的值，视情况而定。
2024-10-10
图片的前后一致性，如何实现
要实现图片的前后一致性，可以参考以下步骤： 1. 确定画面元素：优先出一张图，保证风格、构图样式及人物角色。 2. 确定前后图的构图风格：出第二张图时，描述其内容并在提示词中加入第一张图的构图风格（使用 iw 参数）。需注意，输入 ar、iw 等参数时，要与前面的提示词用空格隔开，否则会报错。例如：“a dog 空格 ar 16:9 空格 iw 1”。将生成的多张图中选择一张图作为垫图，通过右键图片获取其地址。按照格式将提示词、垫图关键词写入。通过微调提示词，得出满意图。 3. 确定图片角色一致性：在得到构图相同后，利用 MJ 重绘功能对画面里的角色重绘。在重绘提示词里输入 cref cw 来保证角色一致性，cref 所垫图还是用之前的图，因为它包含构图和人物两个内容。如果出现黑边，可将黑边部分框住，重绘输入关键词“background”去除黑边，保证背景一致。 由于 MJ 存在不可控因素，如果要保证前后两张图画风、构图等都保持一致，可以按照上述三个确定来处理。需要注意的是，MJ 在重绘时，相较于改变整个画面结构，固定位置重绘局部内容会容易很多。先保证构图再确认角色一致性，就好比美术课画画，把背景风格做好了在固定位置添加内容，比将整个页面内容全部重绘且保证画面主题内容与参考图一样要容易，后者随机性更大。
2024-10-10
stable diffusion 绘本一致性
Stable Diffusion 绘本一致性相关知识如下： 工作原理： Stable Diffusion 生成随机噪声，并逐步更改噪声以努力获得与提示一致的图像。其基本结构包括 encoder + diffusion + decoder 的流程。Checkpoint 记录某个训练周期整个 diffusion 及可能的 encoder decoder 的参数，VAE 是 encoder decoder 的参数，在 SDXL 等大型模型中需配对以避免花屏现象。LoRA 模型训练时先冻结 SD 模型权重，然后在 UNet 结构中注入 LoRA 模块并与 CrossAttention 模块结合，只对部分参数微调。 相关论文： AnyDoor： MixofShow： LyCORIS： 影响生成结果的因素： 影响生成的图与他人不同的因素包括随机数种子（Seed）。随机数种子控制最底层形状，决定照片基础轮廓，如人物外形轮廓、姿势和站位等。当随机数为“1”时，SD 会随机生成种子。可在点击生成的照片下面的一大串英文中查看 seed 值。只有所有参数包括随机数种子都与他人相同时，才能生成相似的照片。
2024-09-30
如何用midijurney生生人物一致性
在 Midjourney 中实现人物一致性，主要通过以下方式： 1. Midjourney V6 更新了角色一致性命令“cref ”。您可以根据需要重复此过程，但要注意不要过多操作，以免丧失保真度。添加角色参考图像，并选择一个“cw”以达到效果。Midjourney 能够从参考图像中识别的角色属性将与提示混合，从而创建出角色的最终表现。您可以通过使用“cw N”参数（cref 权重）来大致控制转移，其中 N 的值可以从 1 到 100，默认值为 100。“cw”参数不会改变角色参考图像的强度/影响力，其作用如下： “cw 100”的值（默认值）将捕捉整个角色。 “cw 99 到cw 1”之间的值将开始捕捉较少的整个角色，仅集中于转移面部。 “cw 0”的值将仅捕捉面部，大致类似于面部替换。且无法关闭面部的转移。 2. 在群像人物一致性保持及空间深度控制方面，以双人画面人物一致性的保持为例，分为 5 步： Step 1：将初始图（A）以及人物图（B）作为风格（sref）及人物（cref）的参考内容，提示词中需要注意： 描述好空间关系（下方画线部分），视角问题可以略过（风格参考会自带角度）。 成功输出图（C），可能会遇到女同事 Lisa 无法保持跟初始图（A）一致的问题。其中：sref 为风格参考，cref 为人物参考，cw 范围为 0 100，默认 100 但建议写上去确保万无一失。 Step 2：找到已生成的 Lisa 纯人物的图，提取图片链接（url）做准备工作。 Step 3：基于 Step 1 生成的构图清晰但人物失控的成图（C）基础上，进行重绘 Vary Region，步骤为： 框选需要被替换的人物。 然后将 Step 2 准备好的链接，贴入框内界面 cref 后面，注意先把原始的 cref（即红色部分）删掉。
2024-09-23
lora训练的数据集没有闭眼，如何保证人物一致性前提让角色闭眼
在训练 Lora 模型以保证人物一致性的前提下让角色闭眼，以下是一些可能的方法和参考信息： 得益于对 AI 大模型微调 finetuning 技术的研究，摸索出的训练特定画风 Lora 和特定角色 Lora 的方法，对角色一致性的锁定有决定性帮助。比如完善哪吒短褂、小短裤、额前火焰印记、流苏耳饰等细微之处的统一，最终针对不同主要角色分别训练角色 Lora，保障多人同框镜头的一致性。 实现角色一致性最好的方法是使用 Lora。训练 Lora 时，至少要有 15 到 20 张图片的训练集。对于固定形象，面部五官最重要，其次是体型、服装、配饰等。收集训练集时，收集形象的头部图片很重要。对于现实人物可通过照片训练，虚构角色则要能稳定输出多张不同角度的图片以达到训练集要求。 在预处理生成 tags 打标文件后，对文件中的标签进行优化。保留全部标签适用于训练画风或省事快速训练人物模型，优点是省时省力、过拟合出现情况低，缺点是风格变化大、训练时间长。删除部分特征标签适用于训练特定角色，将特征与 Lora 做绑定，优点是调用方便、更精准还原特征，缺点是容易过拟合、泛化性降低。需要删掉如人物特征 long hair、blue eyes 这类标签，不需要删掉如人物动作 stand、run，人物表情 smile、open mouth，背景 simple background、white background，画幅位置 full body、upper body、close up 这类标签。过拟合会导致画面细节丢失、模糊、发灰、边缘不齐、无法做出指定动作、在一些大模型上表现不佳等情况。
2024-08-12
生成橘猫图片怎么保持一致性
要生成橘猫图片并保持一致性，可以参考以下方法： 1. 采用 InstantStyle 技术，通过内容与风格分离以及只往特定的风格块注入特征这两个关键方法，来实现生成图片风格的一致性。 2. 在 runway 分镜选图中，对于橘猫的描绘要注意保持角色一致性，比如胖瘦统一、衣服统一、造型统一等。 3. 利用 DALL·E 和 Custom Instrctions 的组合，将解决 DallE 生成图一致性问题的 prompt 进行优化并添加到 Custom Instrctions 中。添加之后，正常打开 DallE 会话，生成的图片会有唯一 ID。有了唯一 ID，可以进行微调图形细节和多图融合时，可以指定两张不同图片的 ID 让它们进行融合，例如“please blend image 00X and 00Y”。 希望以上信息对您有所帮助，让您能够更有效地生成具有一致性的橘猫图片。
2024-07-15