直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

动作姿态生成

回答

以下是关于动作姿态生成的相关内容:

在使用 Stable Diffusion 进行动作姿态生成时,可采用以下方法:

  1. 利用 ControlNet 中的姿态约束功能,如国风 3 模型,点击生成姿态,但可能存在骨骼错位等问题,需要耐心刷图和调整参数。同时,还收集了不同 pose 的骨架图,可通过添加公众号【白马与少年】回复【SD】获取参考。
  2. 对于人物绘制,先确定人物动作,可在草图基础上用 Clip Studio Pro 中的 3D 人物模型进行姿态调整,或使用其他 3D Pose 类软件生成人物姿态,然后使用 ControlNet 的 Openpose 功能生成人物姿态。为控制人物色彩,可采用合适图片放入 img2img 中调整 Denoising strength,或使用 ControlNet Color 等插件,过程中需进行 img2img 反复迭代,并适时加入背景元素,人物大致确定后用 photoshop 融合,再继续生成和调整。
  3. 对于特殊物品如天狗面具,若 Stable Diffusion 没有合适模型和 Lora,可自行训练专用 Lora,使用时用 inpainting sketch 重绘或在 Photoshop 处理后进入 img2img 重绘,注意重绘区域要小。
  4. 对图片进行细化时,可使用扩展图片方法,将图发送到图生图,用 ControlNet 中 tile 模型细化,再使用 SD 放大插件。若找不到满足需求的动作图片,可在【扩展】-【加载扩展列表】中搜索【posex】插件,安装或拷贝至指定目录,重启软件后在首页点击“将图片发送至 ControlNet”进行操作,可通过鼠标操作调整视角,调动作时启用 ControlNet,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【SD】最强控制插件ControlNet(2)姿态约束

[title]【SD】最强控制插件ControlNet(2)姿态约束依旧是国风3模型,点击生成,这个姿势就绘制出来了。当然,AI的识别不会这么准确,经常会出现骨骼错位的崩坏图,所以需要你耐心的去刷图和调整参数。好了,今天我们介绍了ControlNet中关于姿态约束类的预处理器和模型。另外,我这边还收集了一些不同的pose的骨架图,可以在人物动作上做一些参考,有需要的可以添加我的公众号【白马与少年】,回复【SD】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

进阶:Mazz的SD进阶分享

首先需要确定人物动作。这里我在草图的基础上,用Clip Studio Pro中的3D人物模型进行姿态调整。你也可以使用其他3D Pose类软件生成人物姿态。然后我们需要使用ControlNet的Openpose功能,生成人物姿态。为了控制人物的色彩,可以用一张色彩合适的图片放入img2img中,将Denoising strength调至0.9以上,作为色板使用。当然,你也可以画出基本色稿放入img2img中,或是使用ControlNet Color等插件来控制色彩。在此过程中需要进行img2img反复迭代,并且适时加入背景中的森林和光线元素,以便将来合成时人物与背景更易于融合。人物大致确定以后,使用photoshop进行简单融合,再使用img2img继续生成画面。此过程依然需要反复迭代,并配合inpainting和inpainting sketch进行调整。至此,画面已经有了雏形。脸部角度和手都存在问题,但是不用急于修改。Prompt:
masterpiece,best quality,1male,japanese monk,back lighting,((rim light)),long hair,white hair,floating hair,white beard,long beard,meditation,in the forest with sunbeams shining through the trees,rocks laying on the ground in the foreground,depth of field,low angle[heading2]第四步:天狗[content]现在我们要让老人戴上天狗面具。由于Stable Diffusion没有合适的模型和Lora可以方便地生成天狗面具,所以我为此训练了专用Lora。Lora在使用时需要使用inpainting sketch进行重绘,或是使用Photoshop剪裁并简单手绘好面具后进入img2img重绘。注意重绘区域要小,以免Lora的风格污染画面的其他元素。绘制Stable Diffusion不能很好地识别和绘制的特殊物品,最直接的方法就是自制Lora。

【SD】最强控制插件ControlNet(2)姿态约束

[title]【SD】最强控制插件ControlNet(2)姿态约束这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。完美。以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。拖动鼠标左键可以旋转视角。拖动鼠标中键可以缩放视角。拖动鼠标右键可以拖动视角。如果玩坏了,可以点击这里重置镜头和动作。我们调一个玛丽琳梦露的经典动作来试一试,右边可以调整出图的尺寸。接下来启用ControlNet,因为骨架图是从posex链接过来的,所以这里不需要再添加图片,也不需要预处理器,直接加载openpose的模型就可以了。

其他人在问
动作姿态生成的网站
以下为一些关于动作姿态生成的网站相关信息: 在 Stable Diffusion 中,ControlNet 是一个强大的控制插件。对于姿态约束,您可以通过以下方式操作: 1. 国风 3 模型点击生成姿势,但 AI 识别可能不准确,需耐心刷图和调整参数。 2. 若要细化图片,可使用扩展图片的方法,将图发送到图生图,通过“缩放后留白”和提高重绘幅度改变背景,再用 ControlNet 中的 tile 模型细化,最后使用 SD 放大插件。 3. 当找不到满足需求的动作图片时,可以自定义动作骨架。在【扩展】【加载扩展列表】中搜索【posex】安装插件(若安装不了,可将分享的插件文件夹拷贝至...\\sdwebuiakiv4\\extensions 目录,确保软件为最新版本后重启)。重启后来到首页,点击“将图片发送至 ControlNet”,可通过鼠标操作调整视角。如调一个玛丽琳梦露的经典动作,右边可调整出图尺寸,启用 ControlNet 时,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型即可。 另外,公众号【白马与少年】有不同 pose 的骨架图可供参考,回复【SD】获取。该公众号还分享 Stable Diffusion、Blender 等学习心得,有 139 篇原创内容持续更新。
2024-11-01
如何在midjourney中只进行照片背景修改,而不修改人物姿态和表情
在 Midjourney 中只修改照片背景而不修改人物姿态和表情,您可以参考以下方法: 1. 得益于cref,midjourney 能够迅速达成角色一致性的目的而无需 Lora。其中,cref 代表 character reference(角色参考);cw 则代表 character weight(参考权重),默认为 100,会参考角色的人脸和服装特点。如果您只想关注人脸,请调低到 0。您不需要对角色原图使用/describe 来贴近目标生成角色的形象,因为cref 会帮您完成这件事情。 2. 风格复制和服装的替换,则应当用提示词(prompt)和sref,默认值 100,越高越接近参考图像的风格。 3. 如果遇到“形似而神不似”的问题,即 MJ 直出和原人物在眼睛、眉毛、鼻子等其他地方的大小、间距有一些细微的差距,您可以按照以下步骤操作: 使用/settings 确保您处于模式并且 Remix 设置为打开。 选择带有您想要更改的面部的图像。使用将其从网格中分离出来,然后选择。 由于您已经开启了 Remix,您将能够编辑提示。 从提示中删除cref 和cw。一旦删除了它们,修改提示以对面部进行更改。例如,您可以慷慨地选择面部的下半部分,并添加“清洁剃须”来除去胡须。您可以尝试使用小的负权重,例如 tattoos::0.5 来移除纹身。 注意:当您对更改满意时,请确保不要再次添加cref 到提示中!一旦添加回来,“面部交换”将再次发生,那些不需要的属性将重新出现。 4. 有时,Midjourney 在正确将角色放置在背景中时会遇到一些困难。如果结果不连贯(例如,您看到头部朝后或图像被奇怪地裁剪),请尝试将 stylize增加到 800 1000。您也可以尝试将cw 同时降低到低于 100 的值,视情况而定。
2024-10-10
🚀接着上期SOP+AI:打造职场高效能人士的秘密武器的分享,今天继续聊聊SOP+AI的应用,🎯今天的主题是“怎样利用AI节约10倍内容创作时间?”📚最近跟团队有开始运营小红书账号,就想着先给自己打造点顺手的工具,于是乎「小红书文案专家」就出生啦~🎉[heading1]一、先介绍下我们小Bot[content]🛺BOT名称:小红书文案专家功能价值:见过多个爆款文案长啥样,只需输入一个网页链接或视频链接,就能生成对应的小红书文案,可以辅助创作者生成可以一键复制发布的初稿,提供创意和内容,1
以下是关于“SOP+AI”的相关内容: 怎样利用 AI 节约 10 倍内容创作时间? 最近团队开始运营小红书账号,于是打造了“小红书文案专家”。 BOT 名称:小红书文案专家 功能价值:见过多个爆款文案,输入网页或视频链接就能生成对应的小红书文案,辅助创作者生成可一键复制发布的初稿,提供创意和内容,节约 10 倍文字内容创作时间。 应用链接:https://www.coze.cn/s/ij5C6LWd/ 设计思路: 痛点:个人时间有限,希望有人写初稿并生成配图。 实现思路:为自己和团队设计工作流,让 AI 按运营思路和流程工作。 一期产品功能: 1. 提取任何链接中的标题和内容。 2. 按小红书平台文案风格重新整理内容。 3. 加入 emoji 表情包,使文案更有活力。 4. 为文案配图片。 二期计划功能:持续优化升级,增加全网搜索热点功能,提炼热点新闻或事件关键信息,结合用户想要生成的内容方向输出文案和配图。 SOP+AI:打造职场高效能人士的秘密武器 案例分享:X 公司客服团队引入 SOP 和 AI 助手后,工作效率显著提升。引入 SOP 前,客服工作流程混乱,效率低下,客户满意度不高。引入 SOP 标准化操作后,效率提高。进一步引入 AI 助手,自动回复常见问题、处理简单请求,减少客服工作量,还能及时发现问题帮助优化。结果客服团队工作效率提升 30%以上,客户满意度显著提高。SOP 能提升效率、减少失误、促进协作,借助 AI 助手,SOP 制定和优化更高效智能。
2024-12-20
视频生成哪一个ai最强
目前在视频生成领域,以下几个 AI 表现较为突出: Luma AI: Dream Machine 功能包括 txt2vid 文生视频和 img2vid 图生视频,还支持 Extend 延长 4s、循环动画、首尾帧动画能力。 8 月底最新发布的 Dream Machine 1.5 增强了提示词理解能力和视频生成能力,对视频内文字的表现很强。 在 img2vid 图生视频方面,生成效果在多方面远超其他产品,如生成时长较长(5s)、24 帧/s 非常丝滑、运动幅度大且能产生相机的多角度位移、提示词中可增加无人机控制的视角变化、运动过程中一致性保持较好、分辨率高且有效改善了运动幅度大带来的模糊感。 Runway:推出了实力强劲的 Gen3 模型。 此外,以下是其他视频生成的 Top10 产品及相关数据: |排行|产品名|分类|4 月访问量(万 Visit)|相对 3 月变化| |||||| |1|InVideo|其他视频生成|736|0.118| |2|Fliki|其他视频生成|237|0.165| |3|Animaker ai|其他视频生成|207|0.076| |4|Pictory|其他视频生成|122|0.17| |5|Steve AI|其他视频生成|76|0.119| |6|decohere|其他视频生成|57.5|0.017| |7|MagicHour|其他视频生成|53.7|0.071| |8|Lumen5|其他视频生成|51|0.149| |9|democreator|其他视频生成|41.9|0.136| |10|腾讯智影|其他视频生成|35.4|0.131|
2024-12-20
免费生成思维导图的AI网址
以下是一些免费生成思维导图的 AI 网址: 1. GitMind:一款免费的跨平台 AI 思维导图软件,支持提问、回答、自动生成等多种模式,可通过 AI 自动生成思维导图。 2. ProcessOn:国内思维导图+AIGC 的工具,能够利用 AI 生成思维导图。 3. AmyMind:轻量级的在线 AI 思维导图工具,无需注册登录即可使用,支持自动生成节点。 4. Xmind Copilot:Xmind 推出的基于 GPT 的 AI 思维导图助手,可一键拓展思路,生成文章大纲。 5. TreeMind:“AI 人工智能”思维导图工具,输入需求后由 AI 自动完成思维导图生成。 6. EdrawMind:提供一系列 AI 工具,包括 AI 驱动的头脑风暴功能,有助于提升生产力。 总的来说,这些 AI 思维导图工具都能通过 AI 技术自动生成思维导图,提高制作效率,为知识工作者带来便利。 此外,以下是一些可以使用 AI 绘制示意图的工具和平台: 1. Lucidchart:强大的在线图表制作工具,集成 AI 功能,可自动化绘制流程图、思维导图、网络拓扑图等多种示意图。具有拖放界面,易于使用,支持团队协作和实时编辑,有丰富的模板库和自动布局功能。官网:https://www.lucidchart.com/ 2. Microsoft Visio:专业的图表绘制工具,适用于复杂的流程图、组织结构图和网络图。其 AI 功能可帮助自动化布局和优化图表设计。集成 Office 365,方便与其他 Office 应用程序协同工作,有丰富的图表类型和模板,支持自动化和数据驱动的图表更新。官网:https://www.microsoft.com/enus/microsoft365/visio/flowchartsoftware 3. Diagrams.net:免费且开源的在线图表绘制工具,适用于各种类型的示意图绘制。支持本地和云存储(如 Google Drive、Dropbox),有多种图形和模板,易于创建和分享图表,可与多种第三方工具集成。官网:https://www.diagrams.net/
2024-12-20
为什么ai生成视频被寄予厚望
AI 生成视频被寄予厚望的原因主要有以下几点: 1. 技术突破:2023 年是人工智能视频领域的飞跃之年,在这一年中见证了数十种视频生成工具的问世,文本生成视频的模型持续进步,并且像图像转视频、视频转视频这样的衍生技术也开始流行起来。 2. 应用潜力:虽然目前工具存在局限性,但仍预示着正处于一场巨大变革的初期阶段,未来有望仅凭一个文本提示(或者几个提示)就制作出高质量的短片。 3. 产品优势:例如国内的可灵,在视频生成质量、生成速度和可访问性方面表现出色,达到了与国际顶级模型相当的水准,处理效率更高,为国内用户提供了便捷、稳定的使用体验。 4. 生成方式多样:从交互方式来看,当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式,且存在多种生成技术,如先生成静态关键帧图像再构建为视频序列,或直接端到端生成视频的技术。
2024-12-19
你可以根据问题说生成PPT或者图片吗
以下是关于生成 PPT 或图片的相关内容: 增强版 Bot 是基于 AI 驱动的智能创作平台,可实现一站式内容生成,包括图片、PPT、PDF 等。例如,在对话框输入诉求“生成常见的系统架构风格架构设计图”即可生成相应图片,输入“帮我生成一篇包含以上架构风格的完整 PPT”可生成 PPT 幻灯片内容及相关模板选择,输入“根据上面的架构风格,制作一篇常见系统架构风格的 PDF 文件”可生成相应的可选模板。 在 MJ 应用中,为 PPT 配图可通过复制图像链接和提示词,在 discord 中输入相应命令生成图像。生成后可改变比例和镜头拉远,检查构图,选择合适的图放入 PPT 调整构图。 在制作课程时,可通过一系列提问模板让 ChatGPT 协助创作章节内容,并将其转换成 PPT 格式,还可加入学员案例、参考范例让其进行改写或续写。
2024-12-19
有生成提示词的提示词嘛
以下是为您提供的关于生成提示词的相关信息: Apple Intelligence 中各种智能应用的提示词已曝光,包括用于生成 Apple Photos 中“回忆”视频的提示词。生成的内容需以 JSON 格式响应,遵循特定的故事和照片说明指南,且不能包含宗教、政治、有害、暴力、色情、肮脏或任何负面、悲伤或挑衅的内容。 一泽 Eze 提出通过输入一句提示词和一个品牌 Logo,利用大模型 LLM 可一键生成超级符合品牌调性的创意名片。提示词已开源,同时还介绍了获取提示词的流程、注意事项,如提示词的目的是设计符合品牌调性的创意名片,Logo 建议使用清晰、底图透明的 PNG 格式,若生成结果不符合预期可尝试让模型重新生成或提出修改意见。 【SD】自动写提示词脚本 One Button Prompt 可通过设定主题、正向提示词等生成随机的提示词,还能通过图生图控制,生成的提示词风格各异,可进行修改调整,也可使用“Latent Couple”插件给画面做定义。
2024-12-19
midjourney中如何结合A图片的人物和B图片的动作和内容
在 Midjourney 中结合 A 图片的人物和 B 图片的动作和内容,可以使用新上线的“Character Reference”(cref)功能。以下是一些关键方法和示例: 1. 锚定细节:您可以掌控姿势、表情、情感、服装、道具、场景、动作等细节。例如:“Jo is a young woman with blue curly hair, pink sunglasses, and a colorful scarf around her neck. She waits in line at the bank. cref https://my.image.host/joisstanding.jpg”。 2. 让 cref 处理大部分工作:提示无需加强标志性细节,只是“操纵”或“定位”角色。例如:“有人正在银行排队等候。 cref https://my.image.host/joisstanding.jpg”。 3. 只提供场景:如果您的 cref 图像已包含想要的姿势和其他细节,您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果,此时可尝试使用更高值的样式化,如“s 800”。 需要注意的是,此功能在使用 Midjourney 生成的图像人物时效果最佳,不太适用于真实人物或照片。同时,在 Midjourney V6 的 Web Alpha 版本中,您可以通过拖放或粘贴图像到想象栏,并选择相应图标来设置图像为图像提示、风格参考或角色参考。
2024-11-18
视频导出动作的AI
以下是关于视频导出动作的 AI 相关信息: AI 视频导出方面:普通社交媒体分享选 1080P,需放大选 720P,码率越高越好,可自定义最高 5 万。 Move AI 推出的 Move API 能从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据,相关链接为 https://move.ai/api 。
2024-11-05
会自动作美女跳舞视频的AI
以下是为您提供的关于能自动制作美女跳舞视频的 AI 相关信息: XLabsAI 发布了 6 个不同的 Lora,分别是: 1. mjv6_lora Midjourney 风格,示例为:A fullprofile portrait of a Chinese dancer poised on a moonlit stone bridge, surrounded by the delicate blooms of a cherry orchard. Her silk garments ripple with her movement, her eyes are focused and intense, with skin details on her face. She's part of a scene inspired by classical poetry, her fluid motions a dance of elegance. The luminance is delicate and dreamlike, bestowing a soft ambience. 2. realism_lora 写实风格,示例为:In a conference room setting, a beauty women dressed in business attire are attending a meeting,random expressions, postures, and physical characteristics. A RAW ultrarealistic photo, UHD, 8k. 3. anime_lora 动漫风格,示例为:1girl. 4. disney_lora 迪斯尼风格,示例为:1cat, cartoon, disney. 5. scenery_lora 风景风格,示例为:A breathtaking view of the Himalayas mountain range, showcasing its majestic and serene beauty. The mountains are covered in snow, with their peaks reaching towards the sky, creating a stunning contrast with the blue horizon. The range is vast and imposing, with numerous towering peaks, including Mount Everest, the highest point on Earth. The scene captures the grandeur and tranquility of the Himalayas, with sunlight casting a soft glow on the snowcovered slopes. The foreground shows the rugged terrain and lush greenery of the lower elevations, adding to the diverse and spectacular landscape. 6. art_lora 艺术风格,示例为:Cat, European street, exploration, cozy, mysterious, colorful buildings, sunlight through leaves, cobblestone path, high definition, watercolor painting, warm tones, bright lighting effects, paper texture. Lora 下载地址:https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs
2024-09-21
我做了一个视频,背景是实拍的城市照片,角色是一个卡通角色,通过即梦让照片上的卡通角色动起来后,发现卡通角色的脸跟手臂动作都糊了。 我现在有什么办法优化,对卡通角色五官重绘更清晰的情况下,还保留现实的照片背景。(用sd重绘的话是不是就丢失了)
以下是一些可能有助于您优化视频的建议: 1. 对于您提到的卡通角色动作模糊的问题,可以尝试使用 Dreamina 工具,并将运动速度设为慢速,同时在 Prompt 里写轻微的动作描述,可能会有不错的效果。 2. 由于 Dreamina 工具存在只有 8 帧和 720P 的限制,您可以使用 Topaz Video AI 将其增强到 24 帧和 4K。在 B 站搜索“Topaz Video AI 4.2.1”关键词能找到相关教程。增强完成后,再放到剪映里裁成 21:9 的比例。 3. 对于卡通角色五官不清晰的情况,如果 AI 工具无法处理,可能需要使用传统的 AE 软件自己制作,比如普通的下沉位移动画。 需要注意的是,在某些情况下,如人物在水中下沉时,AI 视频可能会出现脸糊的情况,这种情况可能需要传统手段来解决。
2024-08-25
我创作了一个AI视频,背景是实拍的城市照片,角色是一个卡通角色,通过即梦让照片上的卡通角色动起来后,发现卡通角色的脸跟手臂动作糊了,我期望通过comfy对其重绘,能解决保留现实背景,卡通角色五官重绘更清晰吗?
在处理您提到的这种情况时,有以下一些建议和方法: 1. Dreamina 对 Prompt 的语义理解较好,您可以将运动速度设为慢速,并在 Prompt 里写轻微的相关描述,可能会有不错的效果。但需要注意的是,Dreamina 存在只有 8 帧和 720P 的限制,对比 Runway 的 24 帧和 4K 有差距。所以需要使用 Topaz Video AI 去增强到 24 帧和 4K,您可以在 B 站通过“Topaz Video AI 4.2.1”这个关键词搜索教程进行学习。增强完以后,再扔到剪映里裁成 21:9。 2. 对于人物在水中下沉等情况导致的脸糊问题,很多时候 AI 搞不定,可能需要使用传统 AE 自己制作普通的下沉位移动画。 不过,需要说明的是,在一些复杂的场景和动作中,AI 可能仍然存在一定的局限性,需要综合多种工具和方法来达到理想的效果。
2024-08-25