Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Midjourney怎样生成人物侧脸照?

Answer

要在 Midjourney 中生成人物侧脸照,您可以按照以下步骤进行操作:

  1. 初始图(单人画面生成结果)。
  2. 找到已生成的人物纯图,提取图片链接(url)做准备工作。
  3. 基于生成的构图清晰但人物失控的成图基础上,进行重绘 Vary Region。具体操作包括:框选需要被替换的人物,然后将准备好的链接,贴入框内界面 cref 后面,注意先把原始的 cref(即红色部分)删掉。
  4. 连续“抽卡”后找到合适的角度,选中理想的图片,U1/U2/U3/U4 点击后就可以拿出来使用。
  5. 假设需求是让配角转头营造“偷看主角”的感觉。先准备一个正脸照的链接,然后进入重绘界面圈起红色部分,更新 cref 的链接为正脸照链接。如果还是出不来,再修改原有指令词,要求将女性的侧脸照替换成正脸。坚持几轮抽卡后就可以得到需要的结果。

此外,Midjourney V6 更新了角色一致性命令“--cref”。您可以添加角色参考图像,并选择一个“--cw(cref 权重)”以达到效果。Midjourney 能够从参考图像中识别的角色属性将与提示混合,从而创建出您角色的最终表现。您可以通过使用“--cw N”参数(cref 权重)来大致控制转移,其中 N 的值可以从 1 到 100,默认值为 100。需要注意的是,“--cw”参数不会改变角色参考图像的强度/影响力,“--cw 100”的值(默认值)将捕捉整个角色,“--cw 99 到--cw 1”之间的值将开始捕捉较少的整个角色,仅集中于转移面部,“--cw 0”的值将仅捕捉面部,大致类似于面部替换。

Content generated by AI large model, please carefully verify (powered by aily)

References

Midjourney群像人物一致性保持及空间深度控制

A.初始图(单人画面生成结果)B.男同事Jeff画像C.构思中应产生的构图效果(即男生作为主角,女生作为配角,一前一后,画面具有层次感)Step 2:找到已生成的Lisa纯人物的图,提取图片链接(url)做准备工作。Step 3:基于Step 1生成的构图清晰但人物失控的成图(C)基础上,进行重绘Vary Region,步骤:a.框选需要被替换的人物,b.然后将Step 2准备好的链接,贴入框内界面cref后面,注意⚠️:先把原始的cref(即红色部分)删掉哦!Step 4:连续“抽卡”后找到合适的角度,选中理想的图片,U1/U2/U3/U4点击后就可以拿出来使用啦。Step 5:假设此时突然加大难度-即当甲方爸爸(小伙伴)提需求:要求配角将头转过来,营造一种TA在“偷看主角”的感觉。这时候,a.先准备一个正脸照的链接,然后进入重绘界面圈起红色部分,b.更新cref的链接为正脸照链接(如果还是出不来,再修改原有指令词,要求将女性的侧脸照替换成正脸);坚持几轮抽卡后就可以得到需要的结果(如成品图”所示)。

Midjourney群像人物一致性保持及空间深度控制

Step 5:将Step 4生成的图seed值复制,重新使用Prompt+sref+cref+上图的seed值再次生成,这里请注意⚠️:sref需要使用的是“成品图”,cref使用的是step3里的链接-原始侧身照,这样就可以得到右图。参考:Sci-fi movie scene.The profile of a woman is in the foreground,and in the background are the backs of three employees,who are standing and operating virtual screens.Rendered in a C4D style inspired by Unreal Engine,with high resolution and rich detail.--ar 16:9--seed 3792896587--cref url--sref url--style raw--sw 100--cw 100Step 6:用“右图”作为sref风格提示图,提示词,cref和种子值保持不变,进行再次刷新迭代,得到下图。Step 7:以Step 6为基础,进行局部重绘改变后排两个人的形象,请耐心的一个个改,不要一次改俩(会失控),最后在你的耐心下,会最终收获“第四张”完美的图。最后的最后,既然看到这里了,来个总结👫:1.思路是这样的,但追求效率更高的话,可以用PS或者其他工具哟,有时候不要过于死磕纯ai处理。2.如果非要死磕MJ来实现群像控制&空间深度控制,一句咒语:“sref+cref+局部重绘”配合不断的练习和刷新,以及耐心可以得到99%的满意,这时候效率就别考虑了🤣🤣🤣。

Midjourney V6 更新角色一致性命令 "--cref "

例子:Two people standing in the forest.Ezra is a husky adult plump male wearing red glasses.He has an undercut short black buzzcut short hairstyle.He is a gamer-nerd dressed in layers,a dark undershirt,an overshirt,hipster boho stylish fashion.He wears a teal overshirt and thick plastic red eyeglasses.--cref https://s.mj.run/dCsjeI5AflU--ar 3:2翻译:在森林中站着两个人。Ezra是一个傻大个、胖胖的男性,戴着红色眼镜。他有一个短的黑色发型。他是一个穿着层层叠叠的游戏宅男,穿着一件深色背心、一件外套,时尚的嬉皮士波西米亚风格。他穿着蓝绿色的外套和厚厚的塑料红色眼镜。--cref https://s.mj.run/dCsjeI5AflU--ar 3:2根据需要重复此过程,但要小心不要过多地这样做,因为会丧失保真度。4.添加您的角色参考图像,并选择一个--cw(cref权重)以达到效果Midjourney能够从参考图像中识别的角色属性将与提示混合,从而创建出您角色的最终表现。您可以通过使用--cw N参数(cref权重)来大致控制转移,其中N的值可以从1到100。默认值为100。注意:--cw参数不会改变角色参考图像的强度/影响力,--cw参数的作用:·--cw 100的值(默认值)将捕捉整个角色。·--cw 99到--cw 1之间的值将开始捕捉较少的整个角色,仅集中于转移面部。·--cw 0的值将仅捕捉面部,大致类似于面部替换。

Others are asking
midjourney
以下是关于 Midjourney 的相关信息: 隐私政策: 本隐私政策适用于 Midjourney,Inc.、Midjourney.com 网站和 Midjourney 图像生成平台的服务。Midjourney 是一家通信技术孵化器,提供图像生成服务以增强人类创造力并促进社会联系。 个人数据指与个人相关、可用于直接或间接识别个人身份的任何信息。本政策适用于 Midjourney 收集、使用和披露的个人数据,包括通过服务、训练机器学习算法过程、网站以及第三方来源收集的数据,但不适用于 Midjourney 员工和候选人等的个人数据。 可能会不时更新政策,适用法律要求时会通知变更。若不接受变更应停止互动。 定义方面,“您”指访问或使用服务的个人或代表该个人的公司等。使用数据指自动收集的数据。 收集的数据类型包括个人数据。 图像提示: 要将图像添加到提示中,可按“/imagine”开始输入,出现提示框后,将图片文件拖入或右键单击并粘贴图片的 URL。 使用 Midjourney Bot 在私信中上传图像可防止其他服务器用户看到,除非用户具有隐身模式,否则图像提示在 Midjourney 网站上可见。 给出了多个例子,如阿波罗雕像、复古花图、恩斯特·海克尔的水母等,以及不同模型版本和纵横比提示。 社区准则: Midjourney 是默认开放的社区,内容必须为 P。 要友善并尊重彼此和员工,禁止不尊重、攻击性或辱骂性的图像或文本提示,不容忍任何形式的暴力或骚扰。 禁止成人内容或血腥内容,未经许可不得公开转发他人创作,分享时要小心。 违反规则可能导致服务被禁止,规则适用于所有内容。
2025-03-17
学习MIdjourney
学习 Midjourney 可以采取以下步骤: 1. 注册 Discord 账号并加入 Midjourney 服务器:这是使用 Midjourney 的基础,Midjourney 也推出了在线版本,可以直接使用。 2. 掌握 Midjourney 的提示词(Prompt)结构:了解 Prompt 的基本组成部分,如“主体”“媒介”“环境”等,学习如何构建有效的 Prompt 来生成理想的图像。 3. 熟悉 Midjourney 的常用参数和命令:学习 Midjourney 的各种参数设置,如放大、细节等,掌握常用的 Midjourney 命令,如/imagine、/test 等。 4. 针对不同应用场景练习创作:尝试针对插画、游戏、框架等不同场景进行创作练习,通过实践不断提高 Prompt 编写和图像生成的技巧。 5. 学习他人的优秀作品并进行模仿:观察和学习其他用户的优秀作品,了解他们的 Prompt 技巧,通过模仿练习,提高自己的创作水平。 此外,还可以通过以下方式辅助学习: 训练 Midjourney 的 prompt:把 Midjourney 的官网说明书喂给 GPT,让它根据说明一步步了解机制和结构,给出适合的提示词。如果官网说明更新了,可以自主替换,也可以用这个方法去学习一些其他技能。 参考 Midjourney 官方指南:在私信 Midjourney Bot 使用/imagine 命令,了解更多的 Prompts,学习如何编写基础提示信息,探索如何通过艺术媒介、地点和时期的描述来改变图像。还可以学习如何使用/blend 命令合并图片,上传至少两张图像,然后使用命令加上已上传的图像 ID,调整混合过程中的各种设置。 总的来说,系统地学习 Prompt 编写技巧、熟悉 Midjourney 的功能,并通过大量实践创作,是学习 Midjourney 的有效方法。同时也要善于学习他人的经验,不断提升自己的创作能力。内容由 AI 大模型生成,请仔细甄别。
2025-03-16
Midjourney
以下是关于 Midjourney 的相关信息: 隐私政策: 本隐私政策适用于 Midjourney,Inc.、Midjourney.com 网站和 Midjourney 图像生成平台的服务。Midjourney 是一家通信技术孵化器,提供图像生成服务以增强人类创造力并促进社会联系。 个人数据指与个人相关、可用于直接或间接识别个人身份的任何信息。本政策适用于 Midjourney 收集、使用和披露的个人数据,包括通过服务、训练机器学习算法过程、网站以及第三方来源收集的数据,但不适用于某些特定人员的个人数据。 可能会不时更新政策,适用法律要求时会通知变更。 定义了“您”或“您的”的含义以及使用数据的概念。 收集的数据类型包括个人数据。 图像提示: 要将图像添加到提示中,可按/imagine 输入,出现提示框后,将图片文件拖入或右键单击并粘贴链接。 使用 Midjourney Bot 在私信中上传图像可防止其他服务器用户看到,除非用户具有隐身模式,否则图像提示在 Midjourney 网站上可见。 给出了多个例子,如不同的起始图像和中途模型版本的相关示例,还提到纵横比提示,即将图像裁剪为与最终图像相同的宽高比以获得最佳效果。 社区准则: Midjourney 是默认开放的社区,内容必须为 P。 要友善并尊重彼此和员工,不创建不尊重、攻击性或辱骂性的图像或使用此类文本提示,禁止任何形式的暴力或骚扰。 无成人内容或血腥内容,未经许可不公开转发他人创作,分享时要小心。 任何违反规则的行为可能导致服务被禁止,规则适用于所有内容。
2025-03-12
midjourney 一致性
Midjourney 推出了角色一致性功能,以下是相关要点: 1. 该功能在 MJ 一鸽再鸽后终于放出,同步支持 MJ V6 和 Niji V6。 2. 风格一致性、角色一致性、场景一致性是进入生产管线的重要可控性功能,实现难度由低到高。 3. cref 背后参数 cw 的值可从 0 设到 100,cw 100 是默认参数,会参考原图的脸部、头发和衣服,但会非常不吃 Prompt;cw 0 时,就只会参考脸部,约等于一个换脸。 4. 使用方法:在提示词后输入 `cref URL` 并附上一个人物图像的 URL,注意一定要在提示词后面,第一次没注意加在前面会报错。可以使用 `cw` 来修改参考强度,强度 100 是默认值,会使用面部、头发和衣服;强度 0 时,只会关注面部,适合改变服装、发型等。 5. cref 命令适用于单一主题、单一角色的图像。如果计划在场景中添加多个角色,需要使用平移按钮来添加,基于 cref 的多个角色放置到单个画布上的最佳方法是使用平移功能将新的画布与现有画布拼接在一起,每个新画布的部分都将有自己的 cref。使用时需先使用 /settings 将 Remix 打开,然后选择 ,选择将包含第二个字符的图像,然后使用 U 将其从网格中分离出来,寻找蓝色小箭头添加新角色。 6. 您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。如果出现不连贯的结果,可尝试使用更高值的样式化(s),例如 s 800。 7. 体验 MJ 网页版的网址:https://alpha.midjourney.com/
2025-03-11
midjourney 提示词
以下是关于 Midjourney 提示词的相关内容: Midjourney V6 更新风格参考命令 2.0: 将 sref 和 URL添加到提示的末尾,以指定风格参考图像。使用“风格参考”图像的魔力在于 Midjourney 将努力捕捉参考图像的美学特质而非语义内容。新提示本身不应包含美学内容,这有助于 sref 的执行。例如:A young man stands at the edge of the forest cliff,looking over the ocean below.sref https://s.mj.run/9DFZsjKwkyEv 6.0 Midjourney 基础知识·提示: 在 Midjourney 中,提示是提供给 AI 的文本命令,用于指示其创建内容,可以是单词、句子或详细描述。提示设计越周到,结果越可能符合预期。 简单提示示例:Prompt:An alien humanoidv 6.1 提示:一个外星人形生物v 6.1 详细提示示例:Prompt:A lowangle shot of an alien humanoid creature with a glowing screen on its face,looking down from the side,atmospheric lighting,and a minimalist backgroundv 6.1 提示:一个外星人形生物的低角度镜头,它的脸上有一个发光的屏幕,从侧面向下看,大气的照明,和极简主义的背景v 6.1 色彩缤纷的油画: 在 Midjourney 中,"colorful oil painting"是特定提示词,用于引导生成具有油画质感且色彩丰富的图像。"Colorful"指包含许多鲜明、明亮的颜色,"Oil painting"指使用油画颜料作画的艺术形式,特点是颜料质地浓厚、层次丰富、色彩深邃。 艺术风格: "Oil painting"通常与古典艺术和现实主义联系,也可与多种艺术风格和主义结合,如印象派、表现主义或超现实主义等。 使用"colorful oil painting"提示词时,构图通常呈现油画特有的质感和笔触,可能采用传统油画构图技巧,如黄金分割、三分法或动态对称来平衡画面元素。 "Colorful"强调色彩丰富多样,生成的图像通常包含鲜艳、饱和的色彩及对比色或互补色运用,以增加视觉冲击力。 此外,关于 Midjourney V6、V5.2 和 niji 6 的出图部分未提供具体内容。如果您想了解更多关于 Midjourney 提示词的信息,建议参考 Midjourney 官方文档或相关教程。
2025-03-10
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
我要给我的队伍生成一个海报有什么ai工具可以帮助到我
以下是一些可以帮助您为队伍生成海报的 AI 工具: 1. Canva(可画):https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具,提供大量模板和设计元素,用户通过简单拖放操作即可创建海报,其 AI 功能可帮助选择合适的颜色搭配和字体样式。 2. 稿定设计:https://www.gaoding.com/ 稿定智能设计工具采用先进的人工智能技术,自动分析和生成设计方案,稍作调整即可完成完美设计。 3. VistaCreate:https://create.vista.com/ 这是一个简单易用的设计平台,提供大量设计模板和元素,用户可使用 AI 工具创建个性化海报,其智能建议功能可帮助快速找到合适的设计元素。 4. Microsoft Designer:https://designer.microsoft.com/ 通过简单拖放界面,用户可快速创建演示文稿、社交媒体帖子等视觉内容,还集成丰富模板库和自动图像编辑功能,如智能布局和文字优化,大大简化设计流程。 此外,如果您想制作视频海报,以下是一些工具和相关活动信息供您参考: 1. 活动:6 月 10 号端午节视频海报 玩法介绍:参赛者需根据端午节主题自由发挥,用 AI 转化成不长于 6 秒视频。 视频工具建议: 。不局限于 Dreamina、PixVerse、Runway、Pika、LiblibAI、SVD、Deforum、AnimateDiff 。 参与规则: 格式限制:投稿文件宽高比为 9:16,竖屏视频海报,不长于 8 秒。文生视频、图生视频均可。 提交的作品必须是原创,不得抄袭他人作品。 请确保内容健康、积极,符合博物馆日的主题。 不建议出现鲜血、武器、鬼怪骷髅、知名人物、18X 等不符合国家政策的内容,违规内容可能导致无法计入评选名单。 不在时间内提交的自动失去评选资格。 提交时间:6 月 10 日 18:00 前提交。 如果您想了解如何用 AI 快速做一张满意的海报,可参考以下方法: 1. 需求场景:当您想在社交平台发布内容但干巴巴的文字点赞少、网上图片质量差易撞图、相册照片不合适等情况,可考虑自己制作。 2. 大致流程: 主题与文案:确定海报主题后,可借助 ChatGPT 等文本类 AI 工具协助完成文案。 风格与布局:选择想要完成的风格意向,背景不一定是空白的,可根据文案和风格灵活调整画面布局。 生成与筛选:使用无界 AI,输入关键词,生成并挑选一张满意的海报底图。 配文与排版:将上述素材进行合理排版,得到成品。排版同样可以参考 AIGC 海报成果。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-03-17
根据图片加文字描述生成分镜脚本的提示词
以下是一些根据图片加文字描述生成分镜脚本的提示词示例及相关说明: 1. 对于影片《哪吒·龙影之下》的分镜脚本,其提示词包括分镜编号、分镜内容描述、人物、情绪、对白或配音等方面,如“1|高中操场,学生们活动|学生群|活跃|无”。 2. 在商业级 AI 视频广告的分镜创作中,提示词的结构为:要做多长时间的视频、要出多少个分镜、每个分镜包含哪些内容、对输出格式有什么要求。例如“请把这个故事脚本改写成一个 30 秒时长的广告片分镜脚本,脚本结构包括序号、场景、景别、镜头时长、镜头运动、画面内容、对话旁白和音乐音效。每个分镜拆分细致一些,补充多一些细节,单镜头时长控制在不超过 5 秒,一共拆分 10 个分镜”。 3. 在“城市狂想”的图片制作中,针对分镜内容生成了不同风格的提示词,如“远景,三分法构图,俯视视角,数字绘画,云雾缭绕的山谷,群山连绵起伏,山谷间云雾缭绕,阳光透过云层洒在山间,形成光与影的对比,模拟观众的视线逐渐接近这片土地,新印象派风格特征,使用数字画笔和渐变工具ar 16:9v 6.1”。 希望以上内容能对您有所帮助。
2025-03-17
谷歌AI 生成访谈对话
以下是关于谷歌 AI 相关的信息: 谷歌推出的 NotebookLM ,有人称它为笔记工具,有人说它是 AI 学习工具,还有人认为它是播客生成器。体验地址:https://notebooklm.google/ 。只要上传文档、音频或感兴趣的网页链接,如 YouTube 链接,它就能生成专业的播客,其中两个主持人的对话生动自然,包含各种人类的语气和行为。 Character.ai 是一款由 Noam Shazeer 和 Daniel De Freitas 于 2022 年 9 月创建的基于 LLM 的聊天机器人网站。该网站预先创建了许多聊天角色,用户可以与之交流,也能自己创作角色。与 ChatGPT 不同,它更注重人格属性,试图满足社交、情感、陪伴、支持等需求,还支持创建房间,多人可用不同角色聊天。目前没有商业变现途径,但计划在不久的将来推出付费订阅模式,也可能采用广告支持模式。 生成式 AI Studio : 详细功能介绍: 创建对话:包括指定对话上下文、示例、测试对话。 集成到应用程序:提供 API 和 SDK ,需下载适合编程语言(如 Python 或 Curl )的 Vertex AI SDK ,按照示例代码和 API 文档将代码插入应用程序。 调整大型语言模型的挑战与解决方案: 挑战:微小的措辞或词序变化可能影响模型结果,模型响应可能不完全可预测,模型响应质量不一,微调大型模型可能耗时且成本高,为大模型提供服务可能涉及额外麻烦和成本。 解决方案:参数有效调整,通过仅训练一部分参数来减轻微调 LLM 的挑战,这些参数可能是现有模型参数的子集或全新的参数,例如向模型添加额外的层或额外的嵌入到提示中。
2025-03-17
想要使用AI软件对学生成绩进行分析,请问应该用什么提示词
以下是一些关于使用提示词对学生成绩进行分析的建议: 1. 明确分析目标:例如找出成绩优秀和较差的学生特点、分析成绩的趋势等。 2. 描述数据特点:包括成绩的科目、分数范围、数据量等。 3. 确定分析方法:如比较不同时间段的成绩、按照班级或年级进行分类分析等。 4. 强调重点关注内容:比如特定学科的成绩表现、成绩波动较大的学生等。 5. 注意提示词的准确性和清晰性,避免模糊或歧义的表述。 在实际编写提示词时,可以参考以下格式:“对的表现。” 同时,不同的 AI 工具可能对提示词的要求和处理方式有所不同,您可能需要根据具体工具的特点进行适当调整。
2025-03-17
哪个AI可以根据视频里提取生成词
以下几种 AI 可以根据视频提取生成词: Dream Machine:这是一种可以快速将文本和图像制作成高质量、逼真视频的 AI 模型。它直接在视频上进行训练,能够生成物理上准确、一致且多变的镜头。体验地址:https://lumalabs.ai/dreammachine/creations 。 PixVerse:通过输入提示词生成视频,需要对提示词有深入了解以准确描述画面内容。 此外,在智能纪要中提到的一些与 AI 视频创作相关的内容,如不同模型在剧本生成、分镜脚本、提示词生成、图像生成及优化等方面的特点和技巧,但未明确指出可直接从视频提取生成词。
2025-03-17
哪个AI可以从视频里提取生成词
以下是一些可以从视频里提取生成词的 AI 相关信息: Dream Machine 是一种 AI 模型,能直接在视频上训练,生成物理上准确、一致且多变的镜头,可将文本和图像制作成高质量、逼真的视频。体验地址:https://lumalabs.ai/dreammachine/creations 。其测试目的包括掌握影视级运镜、评估对不同类型运镜的精度和稳定性、检测运镜崩坏情况。测试总结表明纯运镜关键词效果不佳,需结合具体画面描述才有较好效果。 Adobe Firefly 在处理视频时,提示词技巧包括清晰定义动作(用具体动词和副词描述角色动作,建议使用动态动词并包含动作速度)、使用描述性形容词(准确传达视频氛围)、提供背景故事或上下文(融入特定情节元素或角色)、使用相机角度和运动(常见的相机指令有推镜头、拉镜头、平移、倾斜、固定镜头)。 为 AI 视频生成设计的结构化提示词模板包含镜头语言、主体、细节、氛围等要素,如主题风格+镜头运动+主体描述+动态细节+背景环境+光影色调+情绪氛围(可附加技术参数:如时长、运镜速度、镜头焦距等)。
2025-03-17
comfy ui 九宫格生图保持人物一致性的原理
Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术,具体如下: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,它结合了两个不同的模型分支(Lightning T2I 分支和标准扩散模型),引入了两种损失(对比对齐损失和精确 ID 损失)。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐,使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征(比如人物的脸部特征)与目标 ID 一致。 此外,在保持人物一致性方面,还有一些操作步骤: 生成图像(提示词加入分割描述,让一张图生成多张同空间小图)。 通过目标图像不断的重复生成,获取更多一致性的角色图像,下载分类(按照视角不同分类)。 上传图像,调用 prefer option set 命令,先写命令名称(一个视角操作一次),再放入该视角的照片(4 5 张)。 放开角色限制生成图像,在确认好的图像上进行局部重绘,框选头部,在原来的命令下加入—快捷命令名称,确认生成即可。 同时,Eva CLIP 也是相关的技术: Eva CLIP 是一种基于对比学习的视觉文本模型,将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构:使用对比学习方法,将图像和文本嵌入到一个共享的空间,通过最大化匹配图像和文本对的相似度,同时最小化不匹配对的相似度,学习到图像和文本之间的关联。 强大的特征提取能力:编码器擅长提取图像中的细节特征,并将其转换为有意义的嵌入向量,用于下游任务。 多模态应用:能够处理图像和文本两种模态,广泛应用于多模态任务中,如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用,如卷积神经网络(CNN)用于图像特征提取,Transformer 网络用于处理文本描述。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: instant ID 脸部特征抓取得比 pulid 好,放在最后一步重绘,先 pulid,再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例:
2025-03-17
comfy UI 如何保持人物一致性
要在 ComfyUI 中保持人物一致性,可以通过以下方式实现: 1. PuLID 技术: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支,并引入了对比对齐损失和精确 ID 损失两种损失,以确保在保持原始模型效果的同时,高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型,标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份,将特定 ID(例如人脸)嵌入到预训练的文本到图像模型中,而不会破坏模型的原始能力。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: 百度网盘:https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好,可放在最后一步重绘,先 PuLID,再 instantID。 2. 节点设置: 节点插件 PuLID ComfyUI:https://github.com/cubiq/PuLID_ComfyUI model:使用预训练的基础文本到图像扩散模型,如 Stable Diffusion。 pulid:加载的 PuLID 模型权重,定义 ID 信息如何插入基础模型。 eva_clip:用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis:使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image:提供的参考图像用于插入特定 ID。 method:选择 ID 插入方法,如“fidelity”(优先保真度)、“style”(保留生成风格)和“neutral”(平衡两者)。 weight:控制 ID 插入强度,范围为 0 到 5。 start_at 和 end_at:控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask:此选项用于提供灰度掩码图像,以控制 ID 自定义的应用位置,但并不是必需输入,而是可选输入。 Advanced Node:提供了高级节点,可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如,ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法,而 projection ortho 和 fidelity:16 等价于 style 方法。 此外,在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法,课程后期会介绍。
2025-03-17
人物一致性
Midjourney 的角色一致性功能: 此功能类似于“风格参考”,但尝试使人物与“人物参考”图像相匹配。 使用方法:在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面,否则会报错。 可以使用`cw`来修改参考“强度”,从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性,可利用 MJ 重绘功能,在重绘提示词里输入`cref cw`。 若有黑边问题,可将黑边部分框住,重绘输入关键词“background”去除黑边,保证背景一致。 体验 MJ 网页版效果更佳,网址:https://alpha.midjourney.com/
2025-03-13
我想用ai动漫人物唱歌
以下是一些可以帮助您实现用 AI 动漫人物唱歌的相关信息和资源: 在 AI 图像处理方面,有一些项目可以将图像进行动漫化处理,例如卡通头像制作等。 在音频与音乐制作方面,有专属歌曲创作、声音克隆、AI 唱歌等项目。比如制作专属歌曲、声音克隆/视频对口型等。 腾讯 AniPortrait 可以根据音频和静态人脸图片生成逼真的动态视频,支持多种语言、面部重绘、头部姿势控制。相关链接:https://github.com/ZejunYang/AniPortrait 、https://arxiv.org/abs/2403.17694 、https://x.com/imxiaohu/status/1772965256220045659?s=20 。 Hedra Studio 推出的 Character3 AI 支持全身动态与情感控制,能唱歌、说话甚至表演。
2025-03-12
我想要一个以自己为蓝本,包括人物和声音的数字人,用来录制课程
以下是制作以自己为蓝本,包括人物和声音的数字人用来录制课程的方法: 1. 生成数字人: 在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象,如“婉婉青春”。选择数字人形象时会播放其声音,可判断是否需要,然后点击右下角“添加数字人”将其添加到当前视频中,软件会生成对应音视频并添加到视频轨道中,左下角会提示渲染完成时间,完成后可点击预览按钮查看效果。 2. 增加背景图片: 可删除先前导入的文本内容,为视频增加背景图片。点击左上角“媒体”菜单并点击“导入”按钮选择本地图片上传,如一张书架图片,点击图片右下角加号将其添加到视频轨道上(会覆盖数字人)。为让图片在整个视频播放时都显示,点击轨道最右侧竖线向右拖拽至与视频对齐。 3. 增加字幕: 点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。 4. 换脸: 若希望数字人换成自己的面孔,需要用另一个工具进行换脸。 第一步:打开谷歌浏览器,点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”,无需安装和付费,点击红框对应的 URL 打开操作界面。 第二步:点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。 第三步:等待专属数字人视频出炉。 有关数字人使用上的问题,欢迎在底部评论区留言交流。同时如果对数字人课程感兴趣,欢迎查看通往 AGI 之路 X AI 沃茨的《克隆你自己》课程: 课程内容: 在线观看第一节:https://www.bilibili.com/video/BV1yw411E7Rt/?spm_id_from=333.999.0.0
2025-03-11
有没有换人物背景相关的comfyui工作流
ComfyUI 视频背景替换工作流主要包括以下几个方面: 1. 前景处理: 使用 SAM 之前的版本来分割视频背景,提示词和阈值可根据实际情况调整。 移除背景后,使用图像遮罩复合生成灰色背景的图像批次,以在后续与背景融合时过渡更自然顺滑。灰色背景有助于柔化前景对象(如人物)的边缘,减少锯齿或硬边缘的视觉效果,改善抠图质量,为后续处理做准备,减少背景干扰,增加深度感,便于视觉检查。 在网盘里可以找到对应的模型,下载后按文件夹目录地址放置。 2. 边缘的处理: 核心是优化和改善前景对象的边缘,使其能够与新背景无缝融合,同时保持前景细节的完整性和自然性。 通过遮罩模糊生长(growMaskWithBlur),调整扩展和模糊半径来控制边缘的遮罩。 边缘处理的主要目的包括改善前景和背景之间的过渡效果、消除锯齿和不自然的硬边缘、使整体合成效果更加自然和平滑。 遮罩的白色区域(人物轮廓)是需要重点处理和优化的区域,灰色过渡区域是创造平滑过渡的关键区域。 SetLatentNoiseMask 在 latent space 中指导模型关注和处理特定区域,主要关注白色和灰色区域。 处理过程中模型在白色和灰色区域进行精细处理,包括边缘平滑、消除锯齿、调整像素等操作,特别注重前景和背景交界处的自然过渡。 最终效果是人物轮廓边缘变得更加平滑自然,减少或消除锯齿和硬边缘,在前景(人物)和新背景之间创造更自然的 blend 效果。 3. 模型与 lora: 模型部分,选一个现有和视频画风对应的即可。 lora 用了一个 animate lcm,加速生成的时间。 4. 背景: 背景部分,可以是图片或者视频,为了有视觉效果,加了一个图像的模糊,让生成的视频有种景深的效果。 5. 前景与背景的初步融合: 图像遮罩复合(ImageCompositeMasked)用于将前景(人物)精确地与新背景合并,使用遮罩决定哪些部分保留前景,哪些部分显示背景。 图像混合(ImageBlend)具有微调和平滑化、颜色协调、细节增强、灵活性等额外作用,允许对最终效果进行更精细的控制。
2025-03-11