人物一致性

Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术，具体如下： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，它结合了两个不同的模型分支（Lightning T2I 分支和标准扩散模型），引入了两种损失（对比对齐损失和精确 ID 损失）。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标 ID 一致。 此外，在保持人物一致性方面，还有一些操作步骤： 生成图像（提示词加入分割描述，让一张图生成多张同空间小图）。 通过目标图像不断的重复生成，获取更多一致性的角色图像，下载分类（按照视角不同分类）。 上传图像，调用 prefer option set 命令，先写命令名称（一个视角操作一次），再放入该视角的照片（4 5 张）。 放开角色限制生成图像，在确认好的图像上进行局部重绘，框选头部，在原来的命令下加入—快捷命令名称，确认生成即可。 同时，Eva CLIP 也是相关的技术： Eva CLIP 是一种基于对比学习的视觉文本模型，将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构：使用对比学习方法，将图像和文本嵌入到一个共享的空间，通过最大化匹配图像和文本对的相似度，同时最小化不匹配对的相似度，学习到图像和文本之间的关联。 强大的特征提取能力：编码器擅长提取图像中的细节特征，并将其转换为有意义的嵌入向量，用于下游任务。 多模态应用：能够处理图像和文本两种模态，广泛应用于多模态任务中，如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用，如卷积神经网络（CNN）用于图像特征提取，Transformer 网络用于处理文本描述。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： instant ID 脸部特征抓取得比 pulid 好，放在最后一步重绘，先 pulid，再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例：

要在 ComfyUI 中保持人物一致性，可以通过以下方式实现： 1. PuLID 技术： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支，并引入了对比对齐损失和精确 ID 损失两种损失，以确保在保持原始模型效果的同时，高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型，标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份，将特定 ID（例如人脸）嵌入到预训练的文本到图像模型中，而不会破坏模型的原始能力。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： 百度网盘：https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好，可放在最后一步重绘，先 PuLID，再 instantID。 2. 节点设置： 节点插件 PuLID ComfyUI：https://github.com/cubiq/PuLID_ComfyUI model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如，ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法，而 projection ortho 和 fidelity:16 等价于 style 方法。 此外，在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法，课程后期会介绍。

Midjourney 推出了角色一致性功能，以下是相关要点： 1. 该功能在 MJ 一鸽再鸽后终于放出，同步支持 MJ V6 和 Niji V6。 2. 风格一致性、角色一致性、场景一致性是进入生产管线的重要可控性功能，实现难度由低到高。 3. cref 背后参数 cw 的值可从 0 设到 100，cw 100 是默认参数，会参考原图的脸部、头发和衣服，但会非常不吃 Prompt；cw 0 时，就只会参考脸部，约等于一个换脸。 4. 使用方法：在提示词后输入 `cref URL` 并附上一个人物图像的 URL，注意一定要在提示词后面，第一次没注意加在前面会报错。可以使用 `cw` 来修改参考强度，强度 100 是默认值，会使用面部、头发和衣服；强度 0 时，只会关注面部，适合改变服装、发型等。 5. cref 命令适用于单一主题、单一角色的图像。如果计划在场景中添加多个角色，需要使用平移按钮来添加，基于 cref 的多个角色放置到单个画布上的最佳方法是使用平移功能将新的画布与现有画布拼接在一起，每个新画布的部分都将有自己的 cref。使用时需先使用 /settings 将 Remix 打开，然后选择 ，选择将包含第二个字符的图像，然后使用 U 将其从网格中分离出来，寻找蓝色小箭头添加新角色。 6. 您可以仅描述环境、周围环境、背景或情境，Midjourney 将努力将角色融入场景中。如果出现不连贯的结果，可尝试使用更高值的样式化（s），例如 s 800。 7. 体验 MJ 网页版的网址：https://alpha.midjourney.com/

以下是关于 Midjourney 多人物在不同场景下一致性的相关内容： 参数局限性： 最好使用 Midjourney 生成的图像，因为其对自身输出的解读已优化，使用真实世界图像可能导致扭曲或不一致。 无法精确复制每一个小细节，AI 更倾向于关注更广泛的视觉特征。 不太适用于多人组合，通常会让组内所有人看起来相同。 实际应用案例： 分镜和漫画：在不同面板和场景中保持同一角色的一致性，不丧失角色核心身份。 角色设计：为角色创建不同版本，如不同服装、姿势或环境中的版本。 奇幻和叙事艺术：以视觉一致的方式描绘角色在旅程中的变化。 最佳结果的技巧： 使用清晰、放大的图片，其中角色面部特征清晰可见，最好正对镜头，有助于 AI 更好地解读关键面部特征。 从 cw 100 开始，若希望引入变化，可逐渐降低该值。 角色参考： Midjourney 中的 cref 是一个高级命令参数，允许用户在多张图像之间保持角色一致性。无论创作故事板还是创建不同场景中的角色变化，该命令参数能确保角色的核心视觉特征（如面部特征、发型和服装）在每次生成时得以保留。 频道说明： 您可以仅描述环境、周围环境、背景或情境，Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果，此时可尝试使用更高值的样式化（s），如 s 800。 多个角色的放置： cref 命令适用于单一主题、单一角色的图像。若计划在场景中添加多个角色，需要使用平移按钮来添加。 基于 cref 的多个角色放置到单个画布上的最佳方法是使用平移功能将新的画布与现有画布拼接在一起，每个新画布的部分都将有自己的 cref。 1. 使用 /settings 将 Remix 打开，然后选择 。 2. 选择将包含第二个字符的图像，然后使用 U 将其从网格中分离出来。 3. 寻找蓝色小箭头。⬆️⬇️⬅️➡️每个都会在现有图像中添加一条新图像。选择新角色的前进方向并输入提示及其 cref。这将缝合一条新的画布。

以下是关于风格一致性的相关内容： Midjourney 中的风格一致性： Midjourney v6 版本提供“风格一致性”功能，用户给 Midjourney 输入一幅图像，它会根据这幅图像的风格进行创作，如素描风、油画风等。（可参考） 使用指令：垫图链接（可选择）+关键词+“sref”+图片链接+风格化参数+“v 6.0” sw 风格化参数用于控制整体的风格强度，默认为 100，数值范围为。参考多张图像风格时，url 间使用空格隔开，权重代表不同参考风格的权重。适用模型为 V6 和 Niji V6。 sref 与垫图的比较： sref 主要模仿图片风格，垫图主要模仿图片结构、元素。 音乐风格中的风格提示词： Equitable：公平和公正的音乐风格，通常具有平等和均衡的特质，用于表现公平和公正情感的音乐作品，示例为公益歌曲和社会正义主题的音乐，关联流派为 Folk、Protest Music、Rock。 Equivalent：等同和相似的音乐风格，通常具有相似和可互换的特质，用于表现相似和可互换情感的音乐作品，示例为翻唱歌曲和不同版本的音乐，关联流派为 Pop、Rock、Cover。 Erudite：博学和有学问的音乐风格，通常具有复杂和深奥的表现，用于表现学术和知识情感的音乐作品，示例为 Bach 的《赋格的艺术》，关联流派为 Classical、Baroque、Modern Classical。 Escalating：逐步增强和上升的音乐风格，通常具有递增和累积的特质，用于表现逐步增强和累积情感的音乐作品，示例为 Led Zeppelin 的《Stairway to Heaven》，关联流派为 Rock、Progressive Rock、Classical。 Esoteric：深奥和神秘的音乐风格，通常具有复杂和不易理解的特质，用于表现神秘和深奥情感的音乐作品，示例为 King Crimson 的《In the Court of the Crimson King》，关联流派为 Progressive Rock、Experimental、Avantgarde。 此外还有： Congenial：友好和谐的音乐风格，带有温暖和愉快的情感，用于表现友好和轻松氛围的音乐作品，示例为 Jack Johnson 的《Banana Pancakes》，关联流派为 Acoustic、Folk、Pop。 Consequential：重要和有影响力的音乐风格，具有深远的意义和影响力，用于表现重要事件和深刻主题的音乐作品，示例为 Bob Dylan 的《The Times They Are AChangin'》，关联流派为 Folk、Protest Music、Rock。 Considerate：体贴和细腻的音乐风格，带有温柔和关怀的情感，用于表现温柔和关怀的音乐作品，示例为 Norah Jones 的《Don't Know Why》，关联流派为 Jazz、Folk、SingerSongwriter。 Consistent：一致和连贯的音乐风格，具有稳定的结构和风格，用于表现连贯和一致性的音乐作品，示例为 AC/DC 的专辑《Back in Black》，关联流派为 Rock、Pop、Indie。 Consonant：和谐和悦耳的音乐风格，具有愉快和协调的和声，用于表现和谐和愉快的音乐作品，示例为莫扎特的《Eine kleine Nachtmusik》。

要在图生图中保持幻想生物形象的一致性，可以参考以下方法： 1. 对于 Midjourney ，可以采用特定的名人或有特殊属性的人物形象，先确定好影片风格，比如皮克斯动画风格，然后确定好人物形象，如角色的发型、穿着等细节。 2. 利用 Midjourney 的新功能 Cref ，先跑一张主角的定妆照，在需要出现主角人物的地方扔进去 Cref ，以保持发型、人脸、衣服等的一致性。但需要注意的是，Midjourney 对亚洲人脸的 Cref 一致性，尤其是亚洲老人的一致性效果相对较差，且 Cref 在画面的审美和构图上有一定的破坏性，所以原则上能不用就不用，比如只有背影时，简单描述即可。 3. 生成动物形象，动物相对更容易保持一致性。

要在 Midjourney 中生成人物侧脸照，您可以按照以下步骤进行操作： 1. 初始图（单人画面生成结果）。 2. 找到已生成的人物纯图，提取图片链接（url）做准备工作。 3. 基于生成的构图清晰但人物失控的成图基础上，进行重绘 Vary Region。具体操作包括：框选需要被替换的人物，然后将准备好的链接，贴入框内界面 cref 后面，注意先把原始的 cref（即红色部分）删掉。 4. 连续“抽卡”后找到合适的角度，选中理想的图片，U1/U2/U3/U4 点击后就可以拿出来使用。 5. 假设需求是让配角转头营造“偷看主角”的感觉。先准备一个正脸照的链接，然后进入重绘界面圈起红色部分，更新 cref 的链接为正脸照链接。如果还是出不来，再修改原有指令词，要求将女性的侧脸照替换成正脸。坚持几轮抽卡后就可以得到需要的结果。 此外，Midjourney V6 更新了角色一致性命令“cref”。您可以添加角色参考图像，并选择一个“cw”以达到效果。Midjourney 能够从参考图像中识别的角色属性将与提示混合，从而创建出您角色的最终表现。您可以通过使用“cw N”参数（cref 权重）来大致控制转移，其中 N 的值可以从 1 到 100，默认值为 100。需要注意的是，“cw”参数不会改变角色参考图像的强度/影响力，“cw 100”的值（默认值）将捕捉整个角色，“cw 99 到cw 1”之间的值将开始捕捉较少的整个角色，仅集中于转移面部，“cw 0”的值将仅捕捉面部，大致类似于面部替换。

以下是一些可以帮助您实现用 AI 动漫人物唱歌的相关信息和资源： 在 AI 图像处理方面，有一些项目可以将图像进行动漫化处理，例如卡通头像制作等。 在音频与音乐制作方面，有专属歌曲创作、声音克隆、AI 唱歌等项目。比如制作专属歌曲、声音克隆/视频对口型等。 腾讯 AniPortrait 可以根据音频和静态人脸图片生成逼真的动态视频，支持多种语言、面部重绘、头部姿势控制。相关链接：https://github.com/ZejunYang/AniPortrait 、https://arxiv.org/abs/2403.17694 、https://x.com/imxiaohu/status/1772965256220045659?s=20 。 Hedra Studio 推出的 Character3 AI 支持全身动态与情感控制，能唱歌、说话甚至表演。

以下是制作以自己为蓝本，包括人物和声音的数字人用来录制课程的方法： 1. 生成数字人： 在剪映右侧窗口顶部打开“数字人”选项，选取免费且适合的数字人形象，如“婉婉青春”。选择数字人形象时会播放其声音，可判断是否需要，然后点击右下角“添加数字人”将其添加到当前视频中，软件会生成对应音视频并添加到视频轨道中，左下角会提示渲染完成时间，完成后可点击预览按钮查看效果。 2. 增加背景图片： 可删除先前导入的文本内容，为视频增加背景图片。点击左上角“媒体”菜单并点击“导入”按钮选择本地图片上传，如一张书架图片，点击图片右下角加号将其添加到视频轨道上（会覆盖数字人）。为让图片在整个视频播放时都显示，点击轨道最右侧竖线向右拖拽至与视频对齐。 3. 增加字幕： 点击文本智能字幕识别字幕，点击开始识别，软件会自动将文字智能分段并形成字幕。 4. 换脸： 若希望数字人换成自己的面孔，需要用另一个工具进行换脸。 第一步：打开谷歌浏览器，点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面，在右上角点击“代码执行程序”选择“全部运行”，无需安装和付费，点击红框对应的 URL 打开操作界面。 第二步：点击“source”上传自己的照片和“target”上传之前的剪映数字人视频，保持默认参数，点击“START”生成。 第三步：等待专属数字人视频出炉。 有关数字人使用上的问题，欢迎在底部评论区留言交流。同时如果对数字人课程感兴趣，欢迎查看通往 AGI 之路 X AI 沃茨的《克隆你自己》课程： 课程内容： 在线观看第一节：https://www.bilibili.com/video/BV1yw411E7Rt/?spm_id_from=333.999.0.0

ComfyUI 视频背景替换工作流主要包括以下几个方面： 1. 前景处理： 使用 SAM 之前的版本来分割视频背景，提示词和阈值可根据实际情况调整。 移除背景后，使用图像遮罩复合生成灰色背景的图像批次，以在后续与背景融合时过渡更自然顺滑。灰色背景有助于柔化前景对象（如人物）的边缘，减少锯齿或硬边缘的视觉效果，改善抠图质量，为后续处理做准备，减少背景干扰，增加深度感，便于视觉检查。 在网盘里可以找到对应的模型，下载后按文件夹目录地址放置。 2. 边缘的处理： 核心是优化和改善前景对象的边缘，使其能够与新背景无缝融合，同时保持前景细节的完整性和自然性。 通过遮罩模糊生长（growMaskWithBlur），调整扩展和模糊半径来控制边缘的遮罩。 边缘处理的主要目的包括改善前景和背景之间的过渡效果、消除锯齿和不自然的硬边缘、使整体合成效果更加自然和平滑。 遮罩的白色区域（人物轮廓）是需要重点处理和优化的区域，灰色过渡区域是创造平滑过渡的关键区域。 SetLatentNoiseMask 在 latent space 中指导模型关注和处理特定区域，主要关注白色和灰色区域。 处理过程中模型在白色和灰色区域进行精细处理，包括边缘平滑、消除锯齿、调整像素等操作，特别注重前景和背景交界处的自然过渡。 最终效果是人物轮廓边缘变得更加平滑自然，减少或消除锯齿和硬边缘，在前景（人物）和新背景之间创造更自然的 blend 效果。 3. 模型与 lora： 模型部分，选一个现有和视频画风对应的即可。 lora 用了一个 animate lcm，加速生成的时间。 4. 背景： 背景部分，可以是图片或者视频，为了有视觉效果，加了一个图像的模糊，让生成的视频有种景深的效果。 5. 前景与背景的初步融合： 图像遮罩复合（ImageCompositeMasked）用于将前景（人物）精确地与新背景合并，使用遮罩决定哪些部分保留前景，哪些部分显示背景。 图像混合（ImageBlend）具有微调和平滑化、颜色协调、细节增强、灵活性等额外作用，允许对最终效果进行更精细的控制。