Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

ipadapter的作用是什么,能实现人物的一致性吗？比如参考人物的脸部特征

Answer

IP Adapter 即图像提示词适配器，其作用包括：

  • 能够“复刻图像”，用户输入图像可直接生成内容或风格相似的图像。
  • 注重图像风格和语义的复刻，兼容性强，可与结构控制插件一起使用，既控制结构，也控制图像的语义和风格。
  • 是解决角色和风格一致性的优雅方法，能够非常精准地提取风格参考图中的角色和风格特征。

在处理人物一致性方面，IP Adapter 有一定的应用，例如在相关的图生图操作中会用到。关于其使用，之前有文章介绍。同时，Midjourney 也有类似的人物一致性相关功能。

Content generated by AI large model, please carefully verify (powered by aily)

References

EP.3 - IP Adapter 对话阿文：一图定风格，我和 AI 的契约

Jojo：接下来的话题是，咱们怎么向听众解释什么是IP Adapter？两位如果用一句话来描述这个工作，它是什么，有什么用？对SD意味着什么？叶虎：如果用一句话说，IPA就是“复刻图像”。我稍微展开一下，IP Adapter的全名是“图像提示词适配器”。图像提示词和文本提示词是类似的概念。对于文本提示词，用户输入文本生成图像；而对于图像提示词，用户输入图像，就可以直接生成内容或风格相似的图像。以前的插件，比如ControlNet，主要关注结构的可控性，但IP Adapter更注重图像风格和语义的复刻，IPA的兼容性很强，可以和结构控制插件一起使用，既控制结构，也控制图像的语义和风格。阿文：对我来说，IP Adapter是解决角色和风格一致性的优雅方法。一句话来说，它能够非常精准地提取风格参考图中的角色和风格特征，这在过去可能需要训练专门的模型来完成，但现在一张图就能解决许多问题。我觉得这个方法非常优雅，也非常方便。

第三期 黏土自由

需要用到的插件如果提示缺失节点,就通过管理器安装一下.1.提示词反推WD14-Taggerhttps://github.com/pythongosss/ComfyUl-WD14-Tagger首次使用会自动下载模型(需要网络环境)1.处理人物一致性IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus也可以用instantID,这里我们使用的是IPadpter,后续很多地方也会用到,建议大家也可以先用起来关于IPAdapter的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下.[ComfyUI IPAdapter](https://waytoagi.feishu.cn/wiki/XrKwwYZcxixalykFpyfcMU2rnph)因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少.

Midjourney 人物一致性已上线

翻译版本DavidH：嘿@大家@这里我们今天正在测试一个新的“角色参考”功能这类似于“样式d引用”功能，只是它不是匹配引用样式，而是尝试使字符匹配“字符引用”图像。它是如何工作的在提示后键入--crefURL，并URL字符图像您可以使用--cw将引用“强度”从100修改为0强度100（--cw 100）是默认值，使用脸部、头发和衣服在强度0（--cw 0）时，它只关注面部（适合换衣服/头发等）它的意义是什么此功能在使用由Midjourney图像制作的角色时效果最佳。它不是为真实人物/照片设计的（并且可能会像常规图像提示一样扭曲它们）Cref与常规图像提示类似，只是它“专注”于角色特征这种技术的精确度有限，无法复制精确的酒窝/雀斑/或T恤标志。Cref适用于Niji和普通MJ模型，也可以与--sref组合高级功能您可以使用多个URL来混合从多个图像/characters的信息，如下所示--cref URL1 URL2（这类似于多个图像或样式提示）它在网络alpha上是如何工作的？

Others are asking
Error occurred when executing IPAdapterAdvanced: insightface model is required for FaceID models File "D:\AI\comfyui_20240421\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "D:\AI\co
以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。
2024-09-03
请推荐一下你知道的人物头像转卡通图的平台，要求效果好，和原图相似度高，最好是免费的
以下为一些人物头像转卡通图效果好、与原图相似度高且可能免费的平台及相关操作技巧： 1. Stable Diffusion： 可以使用【X/Y/Z plot】脚本来做参数对比，将 X 轴设置为提示词相关性（取值范围 1 30，每次增加 5），Y 轴设置为重绘幅度（取值范围 0 1，每次增加 0.2）。 提示词相关性在 6 11 中间为最佳，重绘幅度 0.4 时和原图比较接近。 可使用绘图功能，如增加红色眼镜、去掉衣服图案等，局部重绘可只改变涂抹部分。 2. 复杂提示词： 如 Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5 。 可根据需求调整提示词，如将 Disney 换成 Pixar，boy 换成 girl 等。 3. 通用人物模版： 用真人照片+照片描述+方法 1 的关键词来处理。 需要注意的是，不同平台的效果可能因图片和操作而有所差异，您可以自行尝试。
2025-02-06
我想把黑白老照片修复成彩色，然后给人物换衣服。请问哪个AI网站或者软件可以免费使用
以下为您介绍可免费使用的将黑白老照片修复成彩色并给人物换衣服的方法： 使用 Stable Diffusion 可以实现此需求。在新上线的 controlnet 模型中，新增的 Recolor 模型能将黑白图片重新上色。操作时选择 realisian 的写实大模型，提示词直接描述颜色和对应的内容，如黑色的头发、黄色的皮肤、深蓝色的衣服、浅蓝色的背景等。ControlNet 选择 Recolor，预处理器选择“recolor_luminance”效果较好。 将照片放入后期处理，使用 GFPGAN 算法将人脸变清晰，可参考文章——。 之后将图片发送到图生图中，打开 stableSR 脚本，放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的，可参考文章——。切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可不写以免对原图产生干扰。 原文网址：https://mp.weixin.qq.com/s/hlnSTpGMozJ_hfQuABgLw
2025-02-04
视频中的人物和背景替换，用什么工具
以下是一些可用于视频中人物和背景替换的工具及相关流程： ComfyUI 工作流： 前景处理： 使用 SAM 之前的版本来分割视频背景。 根据实际情况调整提示词和阈值。 移除背景后，使用图像遮罩复合生成灰色背景的图像批次，以帮助柔化前景对象（如人物）的边缘，减少锯齿或硬边缘的视觉效果，为后续和背景融合时过渡更自然顺滑。 在网盘里可以找到对应的模型，下载后按文件夹目录地址放置。 背景：背景部分可以是图片或者视频，为了有前后的视觉效果，可以添加一个图像的模糊，让生成的视频有种景深的效果。 边缘的处理： 核心是优化和改善前景对象的边缘，使其能够与新背景无缝融合，同时保持前景细节的完整性和自然性。 通过遮罩模糊生长（growMaskWithBlur），调整扩展和模糊半径来控制边缘的遮罩。 【SD】工作流： GroundingDINO 模型分割：当需要更精确的蒙版，如人物的眼睛或身上的配饰等，可使用 segment anything 中的 GroundingDINO。启用 GroundingDINO 时，AI 会自动下载模型，也可去云盘下载放到指定文件目录下。在检测提示词中输入相关内容，AI 可自动检测并设置蒙版，还能通过预览箱体得到编号选择调整单一部分。 希望以上内容对您有所帮助。
2025-02-02
即梦AI里做儿童绘本制作、故事绘本里，怎么做到人物一致，风格一致，场景风格一致。
要在即梦 AI 中制作儿童绘本并做到人物、风格和场景风格一致，可以按照以下步骤进行： 1. 描述故事场景：利用 ChatGPT 或者自行构思一段适合画绘本的故事，将其分为多个场景，用一句包含环境、人物、动作的话描述每个场景。例如，故事名《Lily 的奇妙之旅》，场景 1 为“探险开始，Lily 来到一个阳光明媚的森林，跳过清澈的小溪，愉快玩耍。在路上结识了一只友善的棕熊，她们成为了旅伴”。 2. 生成场景图片：为每个场景生成图片时，使用固定的 prompt 风格词，如“super high details,HDsmooth,by Jon Burgerman,s 400niji 5style expressivear 3:4”。为了使熊和人物有更好的互动感，生成场景时也包括人物主角。如场景 2 的 prompt 为“Walking in a mysterious cave with glittering gems,little girl Lily wearing a yellow floral skirt,her friend brown bear,dim,dreamlike,super high details,HDsmooth,by Jon Burgerman,s 400niji 5style expressivear 3:4”。如果需要，可使用 mj 的 region vary 工具将小女孩完全框选，在提示词中完全删除 Lily 的描述词，重新生成得到场景图像。 3. 绘制绘本主角：确定人物形象，如“a little girl wearing a yellow floral skirt+人物动作+风格词”，在 mj 中生成直到得到一张满意的人物图像，且一套绘本中风格词语不要改变。 4. 保持一致性描述：在写 prompt 时，应从多个角度描述需求，包括人种、画风、宠物品种等，以稳定内容符合预期。例如，如果想生成一个关于“狗”的视频，提供不同狗的品种、外貌、行为等信息，确保物种和画风的一致性。
2025-01-23
如何让文生图，做到风格一致，人物一致，场景风格一致，
要让文生图在风格、人物和场景风格上保持一致，可以参考以下方法： 1. 图片生成工具：可使用 Midjourney 进行图片生成。 2. 画面电影感： 画幅：常用 21:9 的画幅比例，其会影响构图和光影。 Prompt 风格后缀：例如“________.Shot on Sony Venice 2,muted color tones,green and dark gray,awardwinning composition,cinematic scenear 21:9”。 专用摄影机：在 Prompt 里可添加电影专用摄影机，如 RED Helium 8K 等。 3. 人物一致性： 对于主角，可先跑一张定妆照。 利用 Midjourney 的新功能 Cref 保持发型、人脸、衣服，但对亚洲人脸尤其是老人的一致性效果较差，且对画面审美和构图有一定破坏性，能不用则不用，如只有背影时简单描述即可。 4. 场景一致性：目前尚无很好的解决办法，基本随缘。 此外，还可参考以下方式： 1. 生成人物图片：确定人物形象，如“a little girl wearing a yellow floral skirt+人物动作+风格词”，在 Midjourney 中生成满意的人物图像，为确保人物一致性，取“iw 2”。 2. 合成人物和场景：使用 PS 或者 Canva 将人物和场景合成到一张图，若色调不和谐，可将合成后的图作为垫图（“iw 2”），在 Midjourney 中重新生图。
2025-01-23
ai虚拟人物和真实视频融合需要用到哪些工具
AI 虚拟人物和真实视频融合可能会用到以下工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入内容，平台的 AI 语音机器人会自动转换成语音并合成逼真的会开口说话的视频。 此外，还有 Pika、Pixverse、Runway、SVD 等工具。Pika 对奇幻感强的画面把控较好，但真实环境画面易糊，新的唇形同步功能需抽卡；Pixverse 在高清化方面有优势，对特定物体移动的画面友好，但生成视频有帧率问题；Runway 在真实影像质感方面表现最佳，但爱变色且光影不稳定；SVD 整体表现略差，仅在风景片测试中表现较好。在实际使用中，可根据不同工具对画面的处理能力进行组合使用。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关条款和政策，并注意版权和伦理责任。
2025-01-21
AI图片制作视频如何保持人脸一致性的工具
以下是一些关于在 AI 图片制作视频中保持人脸一致性的工具和方法： 1. U 传：在 U 传中，通过点击相应按钮参考角色、风格或图生图，可保持人物一致性。 2. PixVerse：其“角色（Character）”新功能能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能，上传符合要求的真实人脸图像，点击创建自定义角色，训练一个新角色，然后可使用自定义角色生成视频，可在 AI 生成视频中轻松切换场景，同时保持同一角色身份。 3. Midjourney：在有了 Midjourney 的新功能 Cref 以后，可在一定程度上保持人物一致性。先跑一张主角的定妆照，然后在需要出现主角人物的地方，扔进去 Cref 以保持发型、人脸、衣服。但 Midjourney 对亚洲人脸的一致性效果，尤其是亚洲老人的一致性效果较差，且 Cref 在画面的审美和构图上有一定的破坏性，所以能不用则不用。 需要注意的是，目前对于场景一致性，基本上还没有任何有效的解决办法。
2025-01-31
图的角色 用 cref 去控制一致性 风格可以用 sref 去控制
在 Midjourney 中，cref 和 sref 是用于引用图片的功能，它们有以下区别和使用方法： 1. 角色参考（cref）： 作用：保持图像角色的一致性。 使用方法：在提示后添加“cref”，紧接着指向人物参考图像的 URL。例如：/imagine prompt beautiful girlcref。可以使用“cw”调整参考图像对生成图像的影响程度，数值范围从 0 到 100。强度 100（“cw 100”）是默认值，会使用面部、头发和衣服，cw 为 0 的话仅保证脸部一致。基础格式为“cref 图片链接，cw 100”。 参考链接： 2. 风格参考（sref）： 作用：生成类似风格的图片，保持画风的一致性。 使用方法：在提示后添加“sref”，紧接着指向风格参考图像的 URL。例如：/imagine prompt beautiful girlsref。可以使用“sw”调整参考风格对生成图像的影响程度，数值范围从 0 到 1000。基础格式为“sref 图片链接，sw 100”。 参考链接： 如果想引用一张图，但只是把它作为新图的一部分，可以使用“sref”或“cref”，并通过调整“sw”或“cw”的值来控制引用图像的影响程度。例如：/imagine prompt beautiful girlsrefsw 500。这样，生成的图像将会在保持原有风格的同时，融入一部分引用图像的风格。
2025-01-13
flux lora调参数，我训练出来的人物模型和数据集的人物图片不像，出现这种情况的原因都有哪些，应该调整哪些参数，我需要我的flux模型训练出来的模型是一致性还原性，和泛化性比较不错的，按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
LLM输出的结果一致性如何保证
要保证 LLM 输出结果的一致性，可以采取以下几种策略： 1. Prompt 工程： 明确的待处理内容指引：在构建 Prompt 时，清晰地定义需要处理的文本，并使用标记框起来，让模型准确识别待处理内容范围，从中提取信息。 提供明确字段定义：具体化每个字段的名称、用途及要求，为 LLM 提供明确的提取方向和标准。 异常处理：设置异常处理原则，如规定缺失数据使用默认值填充，特殊数据类型符合标准格式，确保模型输出的完整性和一致性。 要求结构化输出：指示 LLM 以结构化格式（如 JSON）输出数据，便于后续处理和系统集成。 2. 自我一致性增强可靠性：促使 LLM 对同一问题产生多个答案，通过一致性审查衡量其可信度。一致性评估可从内容重叠、语义相似性评估及高级指标（如 BERT 分数或 ngram 重叠）等多方面进行，增强 LLM 在事实核查工具中的可靠性。 3. 衡量和评估不确定性：如牛津大学通过生成一个问题的多个答案，并使用另一个模型根据相似含义分组来衡量 LLM 不确定性。 4. 利用外部工具验证：如 Google DeepMind 推出的 SAFE，通过将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估 LLM 响应的真实性。 5. 借助其他 LLM 发现错误：如 OpenAI 推出的 CriticGPT，使用基于大量有缺陷输入数据集训练的 GPT 式 LLM 来发现其他 LLM 生成代码中的错误。 6. 利用 LLM 生成的评论增强 RLHF 的奖励模型：如 Cohere 使用一系列 LLM 为每个偏好数据对生成逐点评论，评估提示完成对的有效性。
2025-01-02
可灵ai如何保持人物一致性
要保持可灵 AI 中人物的一致性，可以参考以下方法： 1. 人物设定： 明确主角、配角等人物的性格特点、外貌特征等，如主角是一位 40 岁的中年男探险家，性格特点是面对挑战从不轻言放弃，外貌特征是健壮、棕色头发、常穿探险服。 2. MJcref 控制人物一致性： 先根据人物设定，在 MJ 里筛选适合的人物形象，选中后右键复制图片链接。 在尾缀加入【cref 图片链接】控制人物一致性，【cw 数值】控制权重。 对于镜头较多的角色，建议炼个人物模型出来控制，不然 MJ 容易不稳定。 3. 控制多人物场景统一： 先控制一个角色再进行重绘。 选一张合适的图片后，点击 Vary进行局部重绘，并把尾缀机器人的 cref 链接改成主角的 cref 链接。 4. 通过 prompt 格式实现“角色一致性”： 公式：发型+年龄性别+衣物颜色+环境+其他（动作、镜头等）。 发型/衣物：构造尽可能多的角色非面部视觉元素，产生观众对角色的“一致性观感”。 年龄：约束角色年龄特征。 环境：约束能够产生相同观感的环境空间，尤其是光环境，增加观众对于形象认识的“一致性”认知。例如： 特写一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，面部被烛光照亮，表情惊讶，环境昏暗明暗对比强烈。 特写一个棕色卷发，身穿棕褐色上衣的小男孩，侧对镜头，微微仰头走在一片暗绿色的森林中，面部被手中提着的油灯照亮，环境昏暗明暗对比强烈。 一个棕色卷发，身穿棕褐色上衣的小男孩侧对镜头，看着面前桌上的蜡烛，环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，在一个梦幻感的暖色调房间里，全身贯注地拼装面前的积木玩具。
2024-12-21
我想做简洁卡通风格的ai动画，根据故事文案生成的那种，需要保持人物一致性，用哪个工具比较好？
以下是一些适合生成简洁卡通风格、根据故事文案生成动画并保持人物一致性的工具： 1. U 传：在 U 传中，通过点击相应按钮参考角色、风格或图生图，可保持人物一致性。新注册有免费生成额度。 2. 季梦：可辅助写视频提示词，能根据上传的图片生成合理的运镜及提示词，还可写分镜脚本。若为 1.2 版本，选慢速或适中的标准模式，效果更好，且生成的视频无水印。每天给 60 积分。 3. 可玲：可辅助写视频提示词，能根据上传的图片生成合理的运镜及提示词，还可写分镜脚本。每天给 60 积分，可用于日常使用，创作片子可能需买会员，生成的视频有无水印选项。 此外，在使用 Midjourney 生图时，若要保持人物和场景一致性，有两个取巧的方式：一个是像上个视频一样生成动物，动物会比较容易保持一致性；另一个方式是特定的名人或者有特殊属性的人物。在确定影片风格时，比如可以选择皮克斯动画风格。同时，在提示词中利用 cref 命令也有助于保持人物的一致性。
2024-12-18