直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

ipadapter的作用是什么,能实现人物的一致性吗?比如参考人物的脸部特征

回答

IP Adapter 即图像提示词适配器,其作用包括:

  • 能够“复刻图像”,用户输入图像可直接生成内容或风格相似的图像。
  • 注重图像风格和语义的复刻,兼容性强,可与结构控制插件一起使用,既控制结构,也控制图像的语义和风格。
  • 是解决角色和风格一致性的优雅方法,能够非常精准地提取风格参考图中的角色和风格特征。

在处理人物一致性方面,IP Adapter 有一定的应用,例如在相关的图生图操作中会用到。关于其使用,之前有文章介绍。同时,Midjourney 也有类似的人物一致性相关功能。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

EP.3 - IP Adapter 对话阿文:一图定风格,我和 AI 的契约

Jojo:接下来的话题是,咱们怎么向听众解释什么是IP Adapter?两位如果用一句话来描述这个工作,它是什么,有什么用?对SD意味着什么?叶虎:如果用一句话说,IPA就是“复刻图像”。我稍微展开一下,IP Adapter的全名是“图像提示词适配器”。图像提示词和文本提示词是类似的概念。对于文本提示词,用户输入文本生成图像;而对于图像提示词,用户输入图像,就可以直接生成内容或风格相似的图像。以前的插件,比如ControlNet,主要关注结构的可控性,但IP Adapter更注重图像风格和语义的复刻,IPA的兼容性很强,可以和结构控制插件一起使用,既控制结构,也控制图像的语义和风格。阿文:对我来说,IP Adapter是解决角色和风格一致性的优雅方法。一句话来说,它能够非常精准地提取风格参考图中的角色和风格特征,这在过去可能需要训练专门的模型来完成,但现在一张图就能解决许多问题。我觉得这个方法非常优雅,也非常方便。

第三期 黏土自由

需要用到的插件如果提示缺失节点,就通过管理器安装一下.1.提示词反推WD14-Taggerhttps://github.com/pythongosss/ComfyUl-WD14-Tagger首次使用会自动下载模型(需要网络环境)1.处理人物一致性IPAdapter:https://github.com/cubiq/ComfyUI_IPAdapter_plus也可以用instantID,这里我们使用的是IPadpter,后续很多地方也会用到,建议大家也可以先用起来关于IPAdapter的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下.[ComfyUI IPAdapter](https://waytoagi.feishu.cn/wiki/XrKwwYZcxixalykFpyfcMU2rnph)因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少.

Midjourney 人物一致性已上线

翻译版本DavidH:嘿@大家@这里我们今天正在测试一个新的“角色参考”功能这类似于“样式d引用”功能,只是它不是匹配引用样式,而是尝试使字符匹配“字符引用”图像。它是如何工作的在提示后键入--crefURL,并URL字符图像您可以使用--cw将引用“强度”从100修改为0强度100(--cw 100)是默认值,使用脸部、头发和衣服在强度0(--cw 0)时,它只关注面部(适合换衣服/头发等)它的意义是什么此功能在使用由Midjourney图像制作的角色时效果最佳。它不是为真实人物/照片设计的(并且可能会像常规图像提示一样扭曲它们)Cref与常规图像提示类似,只是它“专注”于角色特征这种技术的精确度有限,无法复制精确的酒窝/雀斑/或T恤标志。Cref适用于Niji和普通MJ模型,也可以与--sref组合高级功能您可以使用多个URL来混合从多个图像/characters的信息,如下所示--cref URL1 URL2(这类似于多个图像或样式提示)它在网络alpha上是如何工作的?

其他人在问
Error occurred when executing IPAdapterAdvanced: insightface model is required for FaceID models File "D:\AI\comfyui_20240421\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "D:\AI\co
以下是针对您所遇到的报错问题的一些解决建议: 1. 对于 ipadater 部分报错说 model 不存在的情况,将文中画圈部分修改调整到不报错。Pulid 部分,除了下载好对应的节点以及参考官方网站最下面的安装对应要求外,还要注意上图中的第二要点,对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接:PulID 全套模型,链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb,提取码:y6hb。否则将会遇到报错:Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分,为了应对没下载大模型带来的报错,需要下载大模型。首先,下载 ollama,网站: 。 3. 如果缺少 ipadapter 的模型,可去这个网址下载:https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错,可在这个网址里找到多个关于 IPAdapter 报错的解决办法:https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外,换脸工作流的核心组件是 Apply InstantID Advanced 节点,这个节点的作用就是将源人脸替换到目标图像中。其中,instantID 模型擅长提取图片的高层次特征,包括面部的纹理信息、几何结构、风格特征等,在图中例子是 IPAdpater,用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量,作用是使生成图像时,人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征,包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用,结合使用可以达到将源人脸的五官替换目标图像中五官的效果。
2024-09-03
我想做简洁卡通风格的ai动画,根据故事文案生成的那种,需要保持人物一致性,用哪个工具比较好?
以下是一些适合生成简洁卡通风格、根据故事文案生成动画并保持人物一致性的工具: 1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。新注册有免费生成额度。 2. 季梦:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。若为 1.2 版本,选慢速或适中的标准模式,效果更好,且生成的视频无水印。每天给 60 积分。 3. 可玲:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。每天给 60 积分,可用于日常使用,创作片子可能需买会员,生成的视频有无水印选项。 此外,在使用 Midjourney 生图时,若要保持人物和场景一致性,有两个取巧的方式:一个是像上个视频一样生成动物,动物会比较容易保持一致性;另一个方式是特定的名人或者有特殊属性的人物。在确定影片风格时,比如可以选择皮克斯动画风格。同时,在提示词中利用 cref 命令也有助于保持人物的一致性。
2024-12-18
Changer软件能实现视频中人物的无缝换头吗
Changer 软件可以实现视频中人物的无缝换头。以下是一些相关的操作指引和注意事项: 上传原始视频和换脸图片,点击生成,即可自动识别视频中的人脸并进行替换。 在 TecCreative 创意工具箱中,操作指引为:上传原始视频——上传换脸图片——点击生成。 实战中,通过 JupyterLab 工具中的终端输入相关命令启动 facefusion 程序,在 facefusion 软件界面上传准备好的图片、视频,可看到预览效果,点击开始按钮执行换脸处理,完成后可下载处理后的视频。 此外,还有其他与图片和视频处理相关的方法和技巧,例如利用 MJ 画图、InsightFaceSwap 插件等进行处理。
2024-12-17
国内大模型领域关键人物、关键院校
以下是国内大模型领域的关键人物、关键院校及相关信息: 8 月正式上线的国内大模型: 北京: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com/ 上海: 商汤(日日新大模型):https://www.sensetime.com/ MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 聊天状态下能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 特色功能:昇思——生图,MiniMax——语音合成 阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。 中文大模型评测收集与调研: InfoQ + 极客帮:https://www.guotaixia.com/post/5124.html GAOKAOBench:地址:https://github.com/OpenLMLab/GAOKAOBench ,是一个以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架 清华安全大模型测评:地址:http://115.182.62.166:18000 ,清华收集的一个评测集,涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别,包括细粒度划分的 40 余个二级安全类别 JioNLP 个人测评:评测数据集:https://github.com/dongrixinyu/JioNLP/wiki/LLM 评测数据集 ,考察 LLM 模型对人类用户的帮助效果、辅助能力,可否达到一个【智能助手】的水平。题型介绍:选择题来源于中国大陆国内各种专业性考试,重点在于考察模型对客观知识的覆盖面,占比 32%;主观题来源于日常总结,主要考察用户对 LLM 常用功能的效果。 EduTEP:华东师范大学计算机科学与技术学院 EduNLP 团队组建智能教育算法测评小组,开发智能教育可信评测平台(EduTEP)。EduTEP 对比多种大模型在教育领域中的综合性能,针对 K12 教育发布首个 CALMEDU 评测框架与 CALMEDU001 评测报告 娱乐资本论:我们的测试并非旨在提供学术上的严谨标准,我们的目标是:从实用的角度出发,分析这些大模型在各种文本应用场景,如小红书带货文案、抖音直播文案、知乎问答、小说创作、公关信写作、歌词生成、淘宝商品详情页文案、广告宣传片文案、剧本创意策划等方面的综合表现 中国大模型面临的真实问题: OpenAI 对字节跳动可能存在的违规使用其技术和知识产权的指控,字节跳动回应在 2023 年初技术团队在大模型探索初期有部分工程师将 GPT 的 API 服务应用于较小模型的实验性项目研究中,但强调该模型仅用于测试,从未计划上线或对外使用,且自 2023 年 4 月公司引入 GPT API 调用规范检查后已停止这种做法。 2024 年也有更多被指“套壳”国内大模型的事件,比如斯坦福大学 AI 团队主导的 Llama3V 开源模型,被证实套壳抄袭国内清华与面壁智能的开源模型。大模型的建设方式粗浅地分为三类。
2024-12-16
gpt是否可以识别图片中的人脸、人物
GPT 可以在一定程度上对图片中的人物进行识别和描述。例如,可以利用 GPT 的识图功能对人物照片的内容进行细致描述,包括人物的年龄、发型、肤色、五官、穿着、表情等方面,还能对人物所处的背景进行分析。但需要注意的是,其识别和描述的准确性可能会受到多种因素的影响,如图片的质量、清晰度、复杂程度等。同时,对于 GPT 是否能准确识别所有人脸和人物,还存在一定的不确定性和局限性。
2024-11-24
请问现在好用的AI图片生产工具有哪些,对人物一致性要求高
以下是一些好用的 AI 图片生产工具,且对人物一致性要求较高: 1. Artguru AI Art Generator:是一个在线平台,能够生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:这是一款 AI 工具,可将图片转换为非凡肖像,拥有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具有细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,能将上传的照片转换为芭比风格,效果出色。 在使用 AI 生图时,若要保证人物和场景的一致性,有两个取巧的方式:一是像生成动物,动物会比较容易保持一致性;二是特定的名人或有特殊属性的人物。 另外,目前市面上的 AI 工具分为线上和线下本地部署两种。线上的优势是出图速度快,不依赖本地显卡配置,无需下载大型模型,还能参考其他创作者的作品,但出图分辨率有限。线下部署的优势是可以添加插件,出图质量高,但对电脑配置要求高,使用时可能导致电脑宕机。可以充分发挥线上和线下平台的优势,线上用于找参考、测试模型,线下作为主要出图工具。
2024-11-23
可以根据照片生成人物的AI软件
以下是一些可以根据照片生成人物的 AI 软件: PhotoMaker:可以根据文字描述生成人物照片,能混合不同人物特征创造新形象,还能改变照片中人物的性别、年龄。访问链接:https://photomaker.github.io ,https://x.com/xiaohuggg/status/1746861045027869072?s=20 HeyGen:通过上传照片或文字提示,即可生成个性化 AI 数字形象视频。支持自定义肢体动作、服装、背景、年龄、性别等特征。仅需 1 分钟即可生成包含脚本、声音和情感表达的数字人视频。访问链接:https://x.com/imxiaohu/status/1852317866038809035
2024-11-22
sd角色一致性
在 Stable Diffusion(SD)中实现角色一致性多角度头像绘制的方法如下: 1. 准备工作: 准备一张人物的多角度图片,共有 15 个不同视图,尺寸设置为 1328×800px,放大两倍后保证每张小图为 512×512px。 加上网格图,通过 lineart 分割不同块面。 设置 controlnet,第一张图选择 openpose_face 得到人物的 15 个面部角度,第二张图选择 lineart_standard得到清晰的表格分区。 增加 ADetailer 的脸部修复插件防止小图模式下人脸崩坏。 2. 开始生图: 大模型:majicmixRealistic_v6.safetensors 正向提示词:,auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,,lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w 参数设置:迭代步数 50,采样方法 DPM++ 2M Karras,尺寸 1328×800px。 3. 细节放大: 发送到图生图,重绘幅度设置为 0.55,使用 controlnet 的 teil 模型增加细节,控制模式选择“更倾向 controlnet”。 使用 Ultimate SD upscale 脚本放大为 2 倍,采用 4xUltraSharp 放大算法。 4. 尝试不同风格: 例如使用 AnythingV5 大模型绘制浅绿色侧马尾女孩形象,使用 revAnimated 大模型绘制粉色头发的长发公主形象。 需要注意的是,由于 AI 绘画的随机性存在,15 个角度的画面不可能完美,controlnet 的控制能让我们更大程度接近想要的效果,想要好的结果需要多刷图。如需 stable diffusion 相关资料,可关注公众号【白马与少年】发送【sd】获取链接。
2024-11-25
mj如何保持人物一致性
在 MJ 中保持人物一致性可以按照以下步骤进行: 1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 2. 确定前后图的构图风格:出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw 参数)。 iw 取值范围为,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为确保人物一致性,建议取 iw 2。 3. 确定图片角色一致性: 在得到构图相同后,利用 MJ 重绘功能,对画面进行局部重绘。在重绘提示词里输入 cref cw 来保证角色一致性。cref 所垫图还是用的是刚才一张图,因为第一张图有两个内容我们都要拿:构图、人物。 若出现黑边,将黑边部分框住,重绘输入关键词“background”就能去除黑边,保证背景一致。 需要注意的是,由于 MJ 不可控因素,相较于保证人物位置,先保证构图会容易很多。因为 MJ 在重绘时,如果要将一个角色从镜头一个位置挪到另外一个指定位置,非常难处理。整个 MJ 出图基本也是靠降噪重绘,固定位置重绘局部内容会比改变整个画面结构容易很多。这就好比美术课画画,给一张参考图,一个是把背景风格都做好了,让在固定位置添加内容,另一个是将整个页面内容全部重绘,还要保证画面的主题内容要和参考图一样,相比之下后者的随机性会大非常多(抽卡次数也会很多)。 在生成人物图片时,先确定人物形象,如“a little girl wearing a yellow floral skirt+人物动作+风格词”,在 mj 中生成直到得到一张满意的人物图像。为了确保人物一致性,取 iw 2 。然后可以使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(iw 2),mj 重新生图。
2024-11-02
图片的前后一致性,如何实现
要实现图片的前后一致性,可以参考以下步骤: 1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 2. 确定前后图的构图风格:出第二张图时,描述其内容并在提示词中加入第一张图的构图风格(使用 iw 参数)。需注意,输入 ar、iw 等参数时,要与前面的提示词用空格隔开,否则会报错。例如:“a dog 空格 ar 16:9 空格 iw 1”。将生成的多张图中选择一张图作为垫图,通过右键图片获取其地址。按照格式将提示词、垫图关键词写入。通过微调提示词,得出满意图。 3. 确定图片角色一致性:在得到构图相同后,利用 MJ 重绘功能对画面里的角色重绘。在重绘提示词里输入 cref cw 来保证角色一致性,cref 所垫图还是用之前的图,因为它包含构图和人物两个内容。如果出现黑边,可将黑边部分框住,重绘输入关键词“background”去除黑边,保证背景一致。 由于 MJ 存在不可控因素,如果要保证前后两张图画风、构图等都保持一致,可以按照上述三个确定来处理。需要注意的是,MJ 在重绘时,相较于改变整个画面结构,固定位置重绘局部内容会容易很多。先保证构图再确认角色一致性,就好比美术课画画,把背景风格做好了在固定位置添加内容,比将整个页面内容全部重绘且保证画面主题内容与参考图一样要容易,后者随机性更大。
2024-10-10
stable diffusion 绘本一致性
Stable Diffusion 绘本一致性相关知识如下: 工作原理: Stable Diffusion 生成随机噪声,并逐步更改噪声以努力获得与提示一致的图像。其基本结构包括 encoder + diffusion + decoder 的流程。Checkpoint 记录某个训练周期整个 diffusion 及可能的 encoder decoder 的参数,VAE 是 encoder decoder 的参数,在 SDXL 等大型模型中需配对以避免花屏现象。LoRA 模型训练时先冻结 SD 模型权重,然后在 UNet 结构中注入 LoRA 模块并与 CrossAttention 模块结合,只对部分参数微调。 相关论文: AnyDoor: MixofShow: LyCORIS: 影响生成结果的因素: 影响生成的图与他人不同的因素包括随机数种子(Seed)。随机数种子控制最底层形状,决定照片基础轮廓,如人物外形轮廓、姿势和站位等。当随机数为“1”时,SD 会随机生成种子。可在点击生成的照片下面的一大串英文中查看 seed 值。只有所有参数包括随机数种子都与他人相同时,才能生成相似的照片。
2024-09-30