人物一致性

以下是关于星流 AI 人物一致性的相关内容： 在实现角色一致性方面，有以下几种方法和示例： 1. 可以通过特定的 prompt 格式来实现，公式为：发型+年龄性别+衣物颜色+环境+其他（动作、镜头等）。例如： 特写一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，面部被烛光照亮，表情惊讶，环境昏暗明暗对比强烈。 特写一个棕色卷发，身穿棕褐色上衣的小男孩，侧对镜头，微微仰头走在一片暗绿色的森林中，面部被手中提着的油灯照亮，环境昏暗明暗对比强烈。 一个棕色卷发，身穿棕褐色上衣的小男孩侧对镜头，看着面前桌上的蜡烛，环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，在一个梦幻感的暖色调房间里，全身贯注地拼装面前的积木玩具。 2. Midjourney 推出了角色一致性功能，同步支持 MJ V6 和 Niji V6。跟之前的风格一致性sref 命名基本一致，为cref。cref 背后参数cw 的值可以从 0 设到 100，cw 100 会参考原图的脸部、头发和衣服，但相应的会非常不吃 Prompt；cw 0 时，就只会参考脸部，大概约等于一个换脸。 3. PixVerse 有“角色（Character）”新功能，能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能，上传符合要求的图像，点击创建自定义角色，训练一个新角色，然后可使用自定义角色生成视频，可在 AI 生成视频中轻松切换场景，同时保持同一角色身份。该功能目前只支持真实人脸，暂不支持动物或其他风格照片。操作说明：在主页面点击选择“Character”，点击“Create Character”，在此界面通过点击或拖动的方式上传图片，命名您创建的 Character，最后点击“Create Cha”。提示：最好使用包含真实人脸的单人图片效果最佳，脸部大小需要超过 200×200px，面部无遮挡。Character 添加完毕后，等待 20 秒左右，在看到“Success”提示后，点击“Create”进。若未等到“Success”提示便进入创作界面，会找不到创建的 Character，此时需等待 10 30 秒，待 Character 创建完成即可。 相关网址： 1. 2. 3. Midjourney 网页版：https://alpha.midjourney.com/ 4. PixVerse：https://app.pixverse.ai/ （目前可以免费使用）

Midjourney 的角色一致性功能： 此功能是官方推出的重要功能，可使生成的人物与参考图像相匹配。 使用方法：在提示词后输入 `cref URL` 并附上人物图像的 URL。需注意一定要在提示词后面，否则会报错。 可使用 `cw` 来修改参考强度，从 0 到 100。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性，可利用 MJ 重绘功能，在重绘提示词里输入 `cref cw` 。 若有黑边问题，可将黑边部分框住，重绘输入关键词 `background` 去除黑边保证背景一致。 体验 MJ 网页版效果较好，网址：https://alpha.midjourney.com/

Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术，具体如下： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，它结合了两个不同的模型分支（Lightning T2I 分支和标准扩散模型），引入了两种损失（对比对齐损失和精确 ID 损失）。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标 ID 一致。 此外，在保持人物一致性方面，还有一些操作步骤： 生成图像（提示词加入分割描述，让一张图生成多张同空间小图）。 通过目标图像不断的重复生成，获取更多一致性的角色图像，下载分类（按照视角不同分类）。 上传图像，调用 prefer option set 命令，先写命令名称（一个视角操作一次），再放入该视角的照片（4 5 张）。 放开角色限制生成图像，在确认好的图像上进行局部重绘，框选头部，在原来的命令下加入—快捷命令名称，确认生成即可。 同时，Eva CLIP 也是相关的技术： Eva CLIP 是一种基于对比学习的视觉文本模型，将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构：使用对比学习方法，将图像和文本嵌入到一个共享的空间，通过最大化匹配图像和文本对的相似度，同时最小化不匹配对的相似度，学习到图像和文本之间的关联。 强大的特征提取能力：编码器擅长提取图像中的细节特征，并将其转换为有意义的嵌入向量，用于下游任务。 多模态应用：能够处理图像和文本两种模态，广泛应用于多模态任务中，如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用，如卷积神经网络（CNN）用于图像特征提取，Transformer 网络用于处理文本描述。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： instant ID 脸部特征抓取得比 pulid 好，放在最后一步重绘，先 pulid，再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例：

要在 ComfyUI 中保持人物一致性，可以通过以下方式实现： 1. PuLID 技术： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支，并引入了对比对齐损失和精确 ID 损失两种损失，以确保在保持原始模型效果的同时，高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型，标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份，将特定 ID（例如人脸）嵌入到预训练的文本到图像模型中，而不会破坏模型的原始能力。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： 百度网盘：https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好，可放在最后一步重绘，先 PuLID，再 instantID。 2. 节点设置： 节点插件 PuLID ComfyUI：https://github.com/cubiq/PuLID_ComfyUI model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如，ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法，而 projection ortho 和 fidelity:16 等价于 style 方法。 此外，在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法，课程后期会介绍。

Midjourney 的角色一致性功能： 此功能类似于“风格参考”，但尝试使人物与“人物参考”图像相匹配。 使用方法：在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面，否则会报错。 可以使用`cw`来修改参考“强度”，从 100 到 0。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性，可利用 MJ 重绘功能，在重绘提示词里输入`cref cw`。 若有黑边问题，可将黑边部分框住，重绘输入关键词“background”去除黑边，保证背景一致。 体验 MJ 网页版效果更佳，网址：https://alpha.midjourney.com/

Midjourney 推出了角色一致性功能，以下是相关要点： 1. 该功能在 MJ 一鸽再鸽后终于放出，同步支持 MJ V6 和 Niji V6。 2. 风格一致性、角色一致性、场景一致性是进入生产管线的重要可控性功能，实现难度由低到高。 3. cref 背后参数 cw 的值可从 0 设到 100，cw 100 是默认参数，会参考原图的脸部、头发和衣服，但会非常不吃 Prompt；cw 0 时，就只会参考脸部，约等于一个换脸。 4. 使用方法：在提示词后输入 `cref URL` 并附上一个人物图像的 URL，注意一定要在提示词后面，第一次没注意加在前面会报错。可以使用 `cw` 来修改参考强度，强度 100 是默认值，会使用面部、头发和衣服；强度 0 时，只会关注面部，适合改变服装、发型等。 5. cref 命令适用于单一主题、单一角色的图像。如果计划在场景中添加多个角色，需要使用平移按钮来添加，基于 cref 的多个角色放置到单个画布上的最佳方法是使用平移功能将新的画布与现有画布拼接在一起，每个新画布的部分都将有自己的 cref。使用时需先使用 /settings 将 Remix 打开，然后选择 ，选择将包含第二个字符的图像，然后使用 U 将其从网格中分离出来，寻找蓝色小箭头添加新角色。 6. 您可以仅描述环境、周围环境、背景或情境，Midjourney 将努力将角色融入场景中。如果出现不连贯的结果，可尝试使用更高值的样式化（s），例如 s 800。 7. 体验 MJ 网页版的网址：https://alpha.midjourney.com/

以下是为您推荐的一些用于视频二创，如更换视频背景、人物衣服的相关 AI 工具： 1. 山寨版阿里 Animate Anyone 开源：利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持，提供照片和视频即可自动生成动画。 GitHub：https://github.com/novitalabs/AnimateAnyone API：https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 2. ViViD 视频虚拟试穿技术：由阿里巴巴开发，可以替换视频中人物的衣服，生成真实自然的视频，支持多种服装类型，在视觉质量、时间一致性和细节保留方面表现优异。 https://x.com/imxiaohu/status/1796019244678906340 3. 在进行视频二创时，若需要更精确的蒙版，比如人物的眼睛或身上的配饰等，可以使用 segment anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，也可在没有魔法的情况下到云盘直接下载，放到指定文件目录下“……sdwebuiakiv4.2\\extensions\\sdwebuisegmentanything\\models\\groundingdino”。在检测提示词中输入相关内容，AI 可根据语义分割自动检测并设置好蒙版。还能通过预览箱体得到部分编号进行单一调整。比如给人物换背景时，加载生成的背景蒙版，选择合适的大模型和正向提示词，蒙版模式选择“重绘非蒙版内容”，若有需要还可进行后续细化和 PS 修复。

要让一张卡通人物动起来，可以参考以下几种方法： 1. 使用 AnimateX ：类似 Animate Anyone，输入角色图片和参考动作序列，即可实现角色动画，尤其适配拟人化的角色。 2. 借助 Pika ： 账号注册：访问完成免费注册。 素材整理： 视频：准备一段视频，可手机实拍，≥5 秒，生成时会自动截取前 5 秒，横屏/竖屏均可（建议 1080p 以上）。 图片：准备一张主体清晰无遮挡的角色图片，生成的视频中将参考此图片的角色并融入视频。 文案思路：提前构思角色动态关键词（如“奔跑/挥手/发光”），也可让模型自由发挥。 3. 运用即梦进行图生视频：只需上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，能生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，以随机运镜为主，生成速度可选择慢速。 此外，在制作过程中，还可以像桂大羊的教程那样，通过描绘人物的提示词、上传角色参考图、扣除角色背景以便于进行角色加背景的融合生成时进行垫图操作等方式，提高人物和场景的融合度。

以下是关于图片生成人物衣服的一些提示词相关内容： 在使用 Segment Anything 时，启用 GroundingDINO 可自动下载模型，将其放到特定文件目录下，在检测提示词中输入相关内容，如“eye”，可自动检测并设置蒙版。通过预览箱体获取编号，可选择调整单一部分。例如，只想调整左边眼睛，勾选 1 即可。还可给人物换背景，如大模型选择 revAnimated_v122，正向提示词为简单背景、花、国画、工笔，蒙版模式选择“重绘非蒙版内容”。将生成的图片放入图生图中，使用 tile 模型能给人物衣服添加国风元素。 设置模型和提示词时，例如大模型为 ghostmix_v20Bakedvae，正向提示词包含人物特征、服饰等描述，负向提示词包含 EasyNegative、badhandsv5neg 等。生成图片后可进行细节微调。 使用 cutoff 插件时，点击启用后按提示词顺序依次填入颜色提示词，中间用逗号分开，能准确显示颜色。如创建双人物构图，设置好人物形象和提示词，先在不开启插件时生成图片可能有颜色污染，开启插件并输入颜色信息后能保证颜色与提示词的关联性。

以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法： 1. HEYGEN： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 2. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加您的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 3. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。 4. 剪映： 优势：作为字节跳动旗下的产品，在抖音平台上被广泛应用，海外版 CapCut 也有出色表现。其拥有六大 AI 功能，能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址：剪映 制作流程： 打开剪映，添加一个文本到文字轨道，并修改好需要朗读的文字。 点击朗读，并进行声音克隆，剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后，选择喜欢的数字人形象，并把自己的克隆音色换上去。 一键智能生成字幕，再自行调整文字样式并校准。 生成数字人： 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费的、适合的数字人形象。 当选择一个数字人形象时，软件会马上播放出该数字人的声音。点击右下角的“添加数字人”，就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮，查看生成的数字人效果。 增加背景图片： 可以直接删除先前导入的文本内容。 为视频增加背景图片，点击左上角的“媒体”菜单，并点击“导入”按钮，来选择本地的一张图片上传。 点击图片右下角的加号，将图片添加到视频的轨道上（会覆盖数字人）。 点击轨道最右侧的竖线，向右拖拽，直到视频的最后，也就是和视频对齐。

以下是用 AI 生成饰品商业用人物海报的步骤： 1. 商业教程：统一 2 个角色的插画海报 生成女性：获取男生那张的 seed，加在关键词后面，生成女生。挑选相似的。也可以先 U3 后继续通过变化的变化 2 个按钮挑选合适的。 局部重绘：局部重绘不满意的表情，比如希望女生开心点，添加“happy”。 PS 处理：把需要的角色扣在一起，PS 把颜色调整一致（如果有 PS AI 版可以修修手）。 小素材生成：其他过程稿。 2. 【SD】商业换装如此简单，Segment Anything 保姆级教学 启用 GroundingDINO 模型分割：当需要更精确的蒙版，如人物的眼睛或身上的配饰等，启用 GroundingDINO，AI 会自动下载模型，可通过魔法或云盘下载，放到指定文件目录下。在检测提示词中输入相关内容，如“eye”，可自动检测并设置蒙版，还能通过预览箱体得到编号选择调整单一部分。 更换背景：加载生成的背景蒙版，选择大模型和正向提示词，设置蒙版模式，生成图片。若头发部分没抠好，可放入图生图中使用 tile 模型做整体细化，再到 PS 用创成式填充修复头发。 3. Midjourney 商业实战案例 娇兰香水产品摄影图：输入关键词“Guerlain Perfume,plant flowers,top light.cean natural backaround with water,saturation color scheme.The productis bright,Motled shading,studo lighfing,contrast high precision,Fine gloss,Centered composition,Photography,HD4Krealism–q 2–v 5–s 750–ar 9:16”，多生成几组图片，挑选不错的在 PS 或其他后期软件中修改调整并进行文字排版。 美女模特摄影海报：输入关键词“On a sunny summer day,a beautiful and innocent18yearold Korean gir smiles brightly playing withwater in the stream–ar 9:16–v 5”，生成图片后制作海报。 江南清明节海报：输入关键词“jiangnan,hangzhou,summer scenery,Green trees,small houses,brook2,Ultrahigh definition picture,8K–ar 2:3–v 4”。