直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

动作姿态生成

回答

以下是关于动作姿态生成的相关内容:

在使用 Stable Diffusion 进行动作姿态生成时,可采用以下方法:

  1. 利用 ControlNet 中的姿态约束功能,如国风 3 模型,点击生成姿态,但可能存在骨骼错位等问题,需要耐心刷图和调整参数。同时,还收集了不同 pose 的骨架图,可通过添加公众号【白马与少年】回复【SD】获取参考。
  2. 对于人物绘制,先确定人物动作,可在草图基础上用 Clip Studio Pro 中的 3D 人物模型进行姿态调整,或使用其他 3D Pose 类软件生成人物姿态,然后使用 ControlNet 的 Openpose 功能生成人物姿态。为控制人物色彩,可采用合适图片放入 img2img 中调整 Denoising strength,或使用 ControlNet Color 等插件,过程中需进行 img2img 反复迭代,并适时加入背景元素,人物大致确定后用 photoshop 融合,再继续生成和调整。
  3. 对于特殊物品如天狗面具,若 Stable Diffusion 没有合适模型和 Lora,可自行训练专用 Lora,使用时用 inpainting sketch 重绘或在 Photoshop 处理后进入 img2img 重绘,注意重绘区域要小。
  4. 对图片进行细化时,可使用扩展图片方法,将图发送到图生图,用 ControlNet 中 tile 模型细化,再使用 SD 放大插件。若找不到满足需求的动作图片,可在【扩展】-【加载扩展列表】中搜索【posex】插件,安装或拷贝至指定目录,重启软件后在首页点击“将图片发送至 ControlNet”进行操作,可通过鼠标操作调整视角,调动作时启用 ControlNet,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【SD】最强控制插件ControlNet(2)姿态约束

[title]【SD】最强控制插件ControlNet(2)姿态约束依旧是国风3模型,点击生成,这个姿势就绘制出来了。当然,AI的识别不会这么准确,经常会出现骨骼错位的崩坏图,所以需要你耐心的去刷图和调整参数。好了,今天我们介绍了ControlNet中关于姿态约束类的预处理器和模型。另外,我这边还收集了一些不同的pose的骨架图,可以在人物动作上做一些参考,有需要的可以添加我的公众号【白马与少年】,回复【SD】即可。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

进阶:Mazz的SD进阶分享

首先需要确定人物动作。这里我在草图的基础上,用Clip Studio Pro中的3D人物模型进行姿态调整。你也可以使用其他3D Pose类软件生成人物姿态。然后我们需要使用ControlNet的Openpose功能,生成人物姿态。为了控制人物的色彩,可以用一张色彩合适的图片放入img2img中,将Denoising strength调至0.9以上,作为色板使用。当然,你也可以画出基本色稿放入img2img中,或是使用ControlNet Color等插件来控制色彩。在此过程中需要进行img2img反复迭代,并且适时加入背景中的森林和光线元素,以便将来合成时人物与背景更易于融合。人物大致确定以后,使用photoshop进行简单融合,再使用img2img继续生成画面。此过程依然需要反复迭代,并配合inpainting和inpainting sketch进行调整。至此,画面已经有了雏形。脸部角度和手都存在问题,但是不用急于修改。Prompt:
masterpiece,best quality,1male,japanese monk,back lighting,((rim light)),long hair,white hair,floating hair,white beard,long beard,meditation,in the forest with sunbeams shining through the trees,rocks laying on the ground in the foreground,depth of field,low angle[heading2]第四步:天狗[content]现在我们要让老人戴上天狗面具。由于Stable Diffusion没有合适的模型和Lora可以方便地生成天狗面具,所以我为此训练了专用Lora。Lora在使用时需要使用inpainting sketch进行重绘,或是使用Photoshop剪裁并简单手绘好面具后进入img2img重绘。注意重绘区域要小,以免Lora的风格污染画面的其他元素。绘制Stable Diffusion不能很好地识别和绘制的特殊物品,最直接的方法就是自制Lora。

【SD】最强控制插件ControlNet(2)姿态约束

[title]【SD】最强控制插件ControlNet(2)姿态约束这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。完美。以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。拖动鼠标左键可以旋转视角。拖动鼠标中键可以缩放视角。拖动鼠标右键可以拖动视角。如果玩坏了,可以点击这里重置镜头和动作。我们调一个玛丽琳梦露的经典动作来试一试,右边可以调整出图的尺寸。接下来启用ControlNet,因为骨架图是从posex链接过来的,所以这里不需要再添加图片,也不需要预处理器,直接加载openpose的模型就可以了。

其他人在问
动作姿态生成的网站
以下为一些关于动作姿态生成的网站相关信息: 在 Stable Diffusion 中,ControlNet 是一个强大的控制插件。对于姿态约束,您可以通过以下方式操作: 1. 国风 3 模型点击生成姿势,但 AI 识别可能不准确,需耐心刷图和调整参数。 2. 若要细化图片,可使用扩展图片的方法,将图发送到图生图,通过“缩放后留白”和提高重绘幅度改变背景,再用 ControlNet 中的 tile 模型细化,最后使用 SD 放大插件。 3. 当找不到满足需求的动作图片时,可以自定义动作骨架。在【扩展】【加载扩展列表】中搜索【posex】安装插件(若安装不了,可将分享的插件文件夹拷贝至...\\sdwebuiakiv4\\extensions 目录,确保软件为最新版本后重启)。重启后来到首页,点击“将图片发送至 ControlNet”,可通过鼠标操作调整视角。如调一个玛丽琳梦露的经典动作,右边可调整出图尺寸,启用 ControlNet 时,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型即可。 另外,公众号【白马与少年】有不同 pose 的骨架图可供参考,回复【SD】获取。该公众号还分享 Stable Diffusion、Blender 等学习心得,有 139 篇原创内容持续更新。
2024-11-01
如何在midjourney中只进行照片背景修改,而不修改人物姿态和表情
在 Midjourney 中只修改照片背景而不修改人物姿态和表情,您可以参考以下方法: 1. 得益于cref,midjourney 能够迅速达成角色一致性的目的而无需 Lora。其中,cref 代表 character reference(角色参考);cw 则代表 character weight(参考权重),默认为 100,会参考角色的人脸和服装特点。如果您只想关注人脸,请调低到 0。您不需要对角色原图使用/describe 来贴近目标生成角色的形象,因为cref 会帮您完成这件事情。 2. 风格复制和服装的替换,则应当用提示词(prompt)和sref,默认值 100,越高越接近参考图像的风格。 3. 如果遇到“形似而神不似”的问题,即 MJ 直出和原人物在眼睛、眉毛、鼻子等其他地方的大小、间距有一些细微的差距,您可以按照以下步骤操作: 使用/settings 确保您处于模式并且 Remix 设置为打开。 选择带有您想要更改的面部的图像。使用将其从网格中分离出来,然后选择。 由于您已经开启了 Remix,您将能够编辑提示。 从提示中删除cref 和cw。一旦删除了它们,修改提示以对面部进行更改。例如,您可以慷慨地选择面部的下半部分,并添加“清洁剃须”来除去胡须。您可以尝试使用小的负权重,例如 tattoos::0.5 来移除纹身。 注意:当您对更改满意时,请确保不要再次添加cref 到提示中!一旦添加回来,“面部交换”将再次发生,那些不需要的属性将重新出现。 4. 有时,Midjourney 在正确将角色放置在背景中时会遇到一些困难。如果结果不连贯(例如,您看到头部朝后或图像被奇怪地裁剪),请尝试将 stylize增加到 800 1000。您也可以尝试将cw 同时降低到低于 100 的值,视情况而定。
2024-10-10
如何生成游戏技能特效
以下是关于生成游戏技能特效的一些信息: 音频方面:声音和音乐是游戏体验的重要部分。音效是 AI 的一个有吸引力的开放领域,已有学术论文探讨在电影中生成“现场效果音”的想法,在游戏中的商业产品尚少。例如为玩家角色生成脚步声音,传统方法存在问题,更好的方式是使用实时的生成性 AI 模型制作现场效果音,能根据游戏参数响应。 视觉效果方面:生成性 AI 可以为游戏创建 2D 艺术、纹理、3D 模型,并协助关卡设计。在营销中也有应用,在网页设计、室内设计和景观设计中也已开始使用。全面的创意努力,包括视觉、文字和音乐等,都可能被 AI 影响。例如,AI 模型可能有助于产生具有吸引力和真实感的电影海报、广告和插图。
2024-10-31
生成ppt
以下是几种利用 AI 工具生成 PPT 的方法: 1. 卓 sir 的方法: 先让 GPT4 生成 PPT 大纲,然后把大纲导入到 WPS 当中,启用 WPS AI 一键生成 PPT。 为让 PPT 更具灵动性和观感,让 chatPPT 添加一些动画,最后手动修改细节,如字体、事实性错误等。 制作过程中,最耗时的是让 GPT4 生成符合要求的大纲,3 小时的制作时间中,大纲环节就花了 2 小时。 2. 熊猫 Jay 推荐的闪击: 网址:https://ppt.isheji.com/?code=ysslhaqllp&as=invite 选择模版,输入大纲和要点,将准备的大纲转换成适配闪击的语法,点击文本转 PPT 并确定,在线编辑,导出(需会员)。 3. 熊猫 Jay 推荐的 Process ON: 网址:https://www.processon.com/ 输入大纲和要点,有两种方式:导入大纲和要点(包括手动复制和通过一系列步骤导入),输入主题自动生成大纲和要求。 选择模版并生成 PPT,点击下载,选择导入格式为 PPT 文件,选择模版再下载。若没有会员,可在某宝买一天会员。
2024-10-31
什么网站可以输入word文档,AI生成简历
以下是一些可以输入 word 文档并由 AI 生成简历的网站: 1. Kickresume 的 AI 简历写作器:使用 OpenAI 的 GPT4 语言模型,能为简历摘要、工作经验和教育等专业部分编写内容,并保持一致语调。 2. Rezi:受到超过 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的各个方面,包括写作、编辑、格式化和优化。 3. Huntr 的 AI 简历构建器:提供免费的简历模板,以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品,还可以查看这里:https://www.waytoagi.com/category/79 。 以上工具都能帮助您快速、高效地创建出专业的简历,您可以根据自身需要选择最适合的工具。
2024-10-31
ai生成视频教程
以下是关于 AI 生成视频的教程: 使用 Adobe Firefly 生成带有文本提示和图像的视频: 在 Advanced 部分,您可以使用 Seed 选项添加种子编号,以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置,则可以重新生成类似的视频剪辑。选择 Generate 进行生成。 将小说做成视频的制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 AI 视频工具合集: Runway(有免费额度) 网址:https://app.runwayml.com/videotools/ 官方使用教程:https://academy.runwayml.com/ 知识库详细教程: 简单介绍:支持文生视频、图生视频,视频生视频;使用英文提示词;文生视频支持正向提示词、风格选择、运镜控制、运动强度控制、运动笔刷,支持 16:9、9:16、1:1、4:3、3:4、21:9 尺寸,可设置种子值;图生视频、视频生视频除了尺寸不可选以外,其他跟文生视频基本相同;生成好的视频可以延长时间,默认生成 4s 的视频。 Stable video(有免费额度) 网址:https://www.stablevideo.com/generate 知识库详细教程: 简单介绍:支持文生视频、图生视频,仅英文;图生视频不可写 prompt,提供多种镜头控制;文生视频先生成 4 张图片,选择其中一张图片以后再继续生成视频。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2024-10-31
Stable diffusion提示词生成器
以下是关于 Stable diffusion 提示词生成器的相关内容: 1. 描述逻辑:通常包括人物及主体特征(如服饰、发型发色、五官、表情、动作),场景特征(如室内室外、大场景、小细节),环境光照(如白天黑夜、特定时段、光、天空),画幅视角(如距离、人物比例、观察视角、镜头类型),画质(如高画质、高分辨率),画风(如插画、二次元、写实)。通过这些详细的提示词,能更精确地控制绘图。 2. 辅助网站: http://www.atoolbox.net/ ,可通过选项卡方式快速填写关键词信息。 https://ai.dawnmark.cn/ ,每种参数有缩略图参考,方便直观选择提示词。 还可以去 C 站(https://civitai.com/)抄作业,复制每一张图的详细参数粘贴到正向提示词栏,点击生成按钮下的第一个按键,Stable Diffusion 会自动匹配所有参数,但要注意图像作者使用的大模型和 LORA,否则即使参数相同,生成的图也可能不同。也可以选取其中较好的描述词,如人物描写、背景描述、小元素或画面质感等。 3. 充当有艺术气息的 Stable Diffusion prompt 助理:根据给定的主题想象完整画面,转化为详细、高质量的 prompt,包含“Prompt:”和“Negative Prompt:”两部分,用英文半角“,”分隔,negative prompt 描述不想在生成图像中出现的内容。 4. 插件“Easy Prompt Selector”:安装方式是在扩展面板中点击“从网址安装”,输入 https://github.com/bluepen5805/sdwebeasypromptselector 直接安装,将汉化包复制进“……\\sdwebuiakiv4\\extensions”路径文件夹下覆盖,重启 webUI 后,在生成按钮下会多出“提示词”按钮,点击会出现下拉列表,包含很多分类,如点击“人物”会出现常用标签,选择后自动加入正向提示词。
2024-10-31
会自动作美女跳舞视频的AI
以下是为您提供的关于能自动制作美女跳舞视频的 AI 相关信息: XLabsAI 发布了 6 个不同的 Lora,分别是: 1. mjv6_lora Midjourney 风格,示例为:A fullprofile portrait of a Chinese dancer poised on a moonlit stone bridge, surrounded by the delicate blooms of a cherry orchard. Her silk garments ripple with her movement, her eyes are focused and intense, with skin details on her face. She's part of a scene inspired by classical poetry, her fluid motions a dance of elegance. The luminance is delicate and dreamlike, bestowing a soft ambience. 2. realism_lora 写实风格,示例为:In a conference room setting, a beauty women dressed in business attire are attending a meeting,random expressions, postures, and physical characteristics. A RAW ultrarealistic photo, UHD, 8k. 3. anime_lora 动漫风格,示例为:1girl. 4. disney_lora 迪斯尼风格,示例为:1cat, cartoon, disney. 5. scenery_lora 风景风格,示例为:A breathtaking view of the Himalayas mountain range, showcasing its majestic and serene beauty. The mountains are covered in snow, with their peaks reaching towards the sky, creating a stunning contrast with the blue horizon. The range is vast and imposing, with numerous towering peaks, including Mount Everest, the highest point on Earth. The scene captures the grandeur and tranquility of the Himalayas, with sunlight casting a soft glow on the snowcovered slopes. The foreground shows the rugged terrain and lush greenery of the lower elevations, adding to the diverse and spectacular landscape. 6. art_lora 艺术风格,示例为:Cat, European street, exploration, cozy, mysterious, colorful buildings, sunlight through leaves, cobblestone path, high definition, watercolor painting, warm tones, bright lighting effects, paper texture. Lora 下载地址:https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs
2024-09-21
我做了一个视频,背景是实拍的城市照片,角色是一个卡通角色,通过即梦让照片上的卡通角色动起来后,发现卡通角色的脸跟手臂动作都糊了。 我现在有什么办法优化,对卡通角色五官重绘更清晰的情况下,还保留现实的照片背景。(用sd重绘的话是不是就丢失了)
以下是一些可能有助于您优化视频的建议: 1. 对于您提到的卡通角色动作模糊的问题,可以尝试使用 Dreamina 工具,并将运动速度设为慢速,同时在 Prompt 里写轻微的动作描述,可能会有不错的效果。 2. 由于 Dreamina 工具存在只有 8 帧和 720P 的限制,您可以使用 Topaz Video AI 将其增强到 24 帧和 4K。在 B 站搜索“Topaz Video AI 4.2.1”关键词能找到相关教程。增强完成后,再放到剪映里裁成 21:9 的比例。 3. 对于卡通角色五官不清晰的情况,如果 AI 工具无法处理,可能需要使用传统的 AE 软件自己制作,比如普通的下沉位移动画。 需要注意的是,在某些情况下,如人物在水中下沉时,AI 视频可能会出现脸糊的情况,这种情况可能需要传统手段来解决。
2024-08-25
我创作了一个AI视频,背景是实拍的城市照片,角色是一个卡通角色,通过即梦让照片上的卡通角色动起来后,发现卡通角色的脸跟手臂动作糊了,我期望通过comfy对其重绘,能解决保留现实背景,卡通角色五官重绘更清晰吗?
在处理您提到的这种情况时,有以下一些建议和方法: 1. Dreamina 对 Prompt 的语义理解较好,您可以将运动速度设为慢速,并在 Prompt 里写轻微的相关描述,可能会有不错的效果。但需要注意的是,Dreamina 存在只有 8 帧和 720P 的限制,对比 Runway 的 24 帧和 4K 有差距。所以需要使用 Topaz Video AI 去增强到 24 帧和 4K,您可以在 B 站通过“Topaz Video AI 4.2.1”这个关键词搜索教程进行学习。增强完以后,再扔到剪映里裁成 21:9。 2. 对于人物在水中下沉等情况导致的脸糊问题,很多时候 AI 搞不定,可能需要使用传统 AE 自己制作普通的下沉位移动画。 不过,需要说明的是,在一些复杂的场景和动作中,AI 可能仍然存在一定的局限性,需要综合多种工具和方法来达到理想的效果。
2024-08-25
如何生成卡通动作
以下是关于生成卡通动作的一些方法: 1. 使用 Panels 命令:可以生成连续的动作和表情设计,若希望设计一个角色并拥有连续动作和表情,此命令会很方便。比如:a Super cute sports anime girl,style by Miyazaki Hayao,6 panels with different poses 8K。如果想画动漫角色,可将模型设置先改为 niji mode,效果会更好。但需注意,约束太多可能导致命令失效,存在权重问题。 2. 利用 continuous running:能更稳定地生成连续动作,甚至可以做成 gif 动画。例如:a Super cute sports anime girl,style by Miyazaki Hayao,6 panels with continuous running。 3. 使用 character sheet 命令:创建一个角色的多角度以及特写细节。比如:a Super cute sports anime girl,style by Miyazaki Hayao,character sheet,full body,8k。同时,实测发现 v5 模型在画手方面比 niji 模型更好。 在游戏创作中,生成出色动画的方式包括: 1. 运动捕捉技术:让演员或舞者穿上运动捕捉服,在特殊设置的运动捕捉舞台上记录他们的动作。 2. 利用生成性 AI 模型直接从视频中捕捉动画,这样效率更高,一是消除了对昂贵运动捕捉设备的需求,二是可以从现有视频中捕捉动画,还能给现有动画应用滤镜。涉足这一领域的公司包括 Kinetix、DeepMotion、RADiCAL、Move Ai 和 Plask。 如果给自己做一个卡通头像,操作如下: 1. 简单提示词:在聊天窗口输入/imainge 找到/imagine prompt,然后把链接放进去,空格后加英文逗号分隔的提示词,最后加上设置参数。 2. 设置参数: iw 1.5:设置参考图片的权重,数值越高与参考图片越接近,默认是 0.5,最大是 2,可选择中间值调整。 s 500:设置风格强度,个性化,艺术性,数字越大,更有创造力和想象力,可设置为 0 1000 间任意整数。 v 5:指用 midjourney 的第 5 代版本,这一代最真实,目前 v5 需要订阅付费,不想付费可以使用v 4。 no glasses:指不戴眼镜,若不喜欢戴眼镜的图片,可使用此设置。 如果对生成结果不满意,可以选择调整s 和iw 的值来多次尝试。
2024-08-13
lora训练的数据集没有跳绳动作,后期如何使用lora生成跳绳的图,需求要保持人脸和服装跟训练人物一致
如果您的 Lora 训练数据集没有跳绳动作,但希望生成跳绳的图并保持人脸和服装与训练人物一致,可以参考以下步骤: 1. 首先,在已有训练集中选择一两张合适的形象图片,用 PS 把人物肢解处理一下,得到各部位的图片。 2. 在 Tripo 中逐个上传图片转换成 3D 模型(由于全身图单次转换 3D 目前效果较差,所以需逐个分部转换)。 3. 利用 3D 软件将模型整合,绑定骨架。 4. 最后对照所需的分镜图凹好造型,再进行重绘。重绘时可以使用 cref cw0 来保证基础面部。 另外,训练 Lora 时需要注意: 1. 对于一个固定的形象,面部五官最重要,其次是体型、服装、配饰等。收集训练集时,收集形象的头部图片很重要。 2. 给图片打标时,要仔细检查每一张图片,打标的好坏会影响到后面人物 Lora 的泛化性。若想让人物有更多变化,描述应尽量详细。
2024-08-12