Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何控制图生图的形象和动作呢

Answer

要控制图生图的形象和动作,可以参考以下方法:

  1. 使用 ControlNet 插件:
    • 姿态约束类预处理器:包含了所有人物信息的预处理器,可将图片发送到图生图,通过“缩放后留白”和提高重绘幅度改变背景,再次发送到图生图使用 ControlNet 中 tile 模型细化,最后使用 SD 放大插件。
    • 自定义动作骨架:在【扩展】-【加载扩展列表】中搜索【posex】安装插件,或将插件文件夹拷贝至指定目录,确保软件是最新版本并重启。重启后点击“将图片发送至 ControlNet”,可通过拖动鼠标左键旋转视角、中键缩放视角、右键拖动视角,玩坏了可点击重置镜头和动作。
  2. 参考风格 reference:首先进入文生图,填写提示词生成一张图。然后将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,保真度数值越高对图片的参考越强。可以通过添加关键词的方式来改变人物的服装、表情、动作等。
  3. 利用 ControlNet 控制姿势:大模型和关键词正常填写生成想要的小姐姐照片,接着鼠标滑到最下面点击“ControlNet”,上传指定姿势的照片并点击“启用”,在“预处理器”和“模型”里选择“openpose”,点击“预览预处理结果”,最后点击生成照片。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】最强控制插件ControlNet(2)姿态约束

包含了所有人物信息的预处理器,我们再次请出库里当一下模特,模型使用的国风3,这个动作的模仿也是让人不得不佩服AI的脑洞了。这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。完美。以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。拖动鼠标左键可以旋转视角。拖动鼠标中键可以缩放视角。拖动鼠标右键可以拖动视角。如果玩坏了,可以点击这里重置镜头和动作。

【SD】最强控制插件ControlNet(5)参考风格reference

首先我们进入文生图,填写一段提示词。如下:(杰作,最好的质量),一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景。设置一下常规参数,先生成一张图。接下来,我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中,预处理器选择reference only,控制模型一定要选择“均衡”。保真度数值越高,对图片的参考就越强,我们先设置为1看看。可以看到,在没有明确指向性提示词的情况下,人物形象保持了一致,但是她的表情、动作、服装产生了随机的不同程度的变化。我们可以试着通过添加关键词的方式来给人物换装,比如添加“红裙子”。同时更改服装和表情,比如添加“黑色校服、哭泣”。同时更改动作和表情,比如添加“抱手、生气”。同时更改姿态,环境和表情,比如添加“在花丛中奔跑、开心”。添加“红色棒球帽,时尚卫衣,在商场逛街”。通过一系列测试,可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时,能保持主角形象的统一,也能根据情况做实时的调整,如果后期再配合lora,潜力可以想象是非常大的。

教程:超详细的Stable Diffusion教程

现在我们已经能够生成美女的照片了可以定制出独一无二的脸,换上更好看的衣服但是我们怎么才能让照片的小姐姐摆出指定的姿势呢?通过关键词去描绘动作,可是出来的照片又不太准确通过图生图去生成,可是人脸又变了那我们就可以用到这个“ControlNet”功能,翻译成中文就是控制网络简单来说就是可以用它控制照片的线条,比如人物的动作、建筑物的线条等比如,我现在想让左边照片的小姐姐摆出右边小姐姐的姿势,得到最右边的一张照片首先,大模型和关键词我们还是正常的填写生成一张我们我们想要的小姐姐的照片接着鼠标滑到最下面,点击“ControlNet”①点击空白的地方,上传我们需要指定的姿势的照片②点击“启用”③在“预处理器”和“模型”里选择“openpose”,这就是用来让计算机识别人物姿势的下一步就点击这个“预览预处理结果”接着原来照片的右边就会出现人物姿势的线条,最后点击生成照片这样我们一张指定姿势的美女小姐姐就生成啦!

Others are asking
免费的图生视频软件
以下为一些免费的图生视频软件: Runway:可将图片拖进去生成 4 秒视频,但它是收费的,您也可以在闲鱼或淘宝找号。进入官网首页点击“start with image”,直接拖图片进来,动画幅度用 3,5 有时会乱跑,无需等进度条转完可继续放图。 Haiper:有免费额度,网址为 https://haiper.ai/ 。能生成文生视频、图生视频、素描生视频、扩展视频,还能生成 HD 超高清的视频。文生视频支持选择风格、秒数(2s 和 4s)、种子值,图生视频只能写提示词、秒数(2s 和 4s)、种子值。 DynamiCrafter:免费,网址为 https://huggingface.co/spaces/Doubiiu/DynamiCrafter ,可生成 2 秒图生视频,还能做短视频拼长视频。 此外,还有一些相关模型的特点供您参考: |排序(从高到低)|模型|特点(优缺)| |||| |1|pd 2.0 pro|生成的画面有点颗粒感,p2.0 模型很能打,适合做一些二次元动漫特效,理解能力更强,更适合连续运镜| |2|luma 1.6|画面质量挺好,但太贵| |3|可灵 1.6 高品质|YYDS!| |4|海螺01live|文生视频比图生视频更有创意,图生也还可以,但大幅度动作下手部会出现模糊的情况,整体素质不错,就是太贵| |5|runway|画面质量不算差,适合做一些超现实主义的特效、经特殊就容镜头| |6|智谱 2.0|做的一些画面特效挺出圈,适合整过,但是整体镜头素质还差点,好处就是便宜,量大,管饱,还能给视频加音效| |7|vidu1.5|二维平面动画的快乐老家,适合做特效类镜头,单镜头很惊艳,大范围运镜首尾帧 yyds! 就是太贵| |8|seaweed 2.0 pro|适合动态相对小的,更适合环绕旋转运镜动作小的| |9|pixverse v3 高品质|首尾帧能打,就是画面美学风格还有待提升| |10|sora|不好用,文生视频挺强,但图生视频抽象镜头太多,半成品都算不上,不建议使用|
2025-02-26
将婴儿彩超图生成照片的AI提示词
以下是关于将婴儿彩超图生成照片的 AI 提示词相关信息: 在图生图功能中,除了文本提词框,还有图片输入口。可将照片拖入,通过反推提示词的按钮(如 CLIP 可反推出完整含义的句子,DeepBooru 可反推出关键词组)获取提示词,但可能存在瑕疵,需手动补充信息。调整宽度和高度使红框匹配图片,并注意提示词相关性和重绘幅度这两个重要参数。 以生成蜘蛛侠生日海报为例,可在 Midjoureny Feed 中寻找优秀案例,复制 prompt 来跑,如使用“baby spider man”“birthday”等关键词。还可将 prompt 交给智谱清言拆解以获取更多关键词。找到满意的图后记录 seed 值保障一致性,为增加专属定制感可增加细节,如“4 岁男孩”“英文名 Andy”“西瓜(儿子的小名)”等。MJ 擅长创意和高质量图片,但细节处理随机,可通过调整“权重”和“局部重绘”解决。
2025-02-24
根据户型图生成图片
以下是根据您提供的户型图生成图片的相关方法: 使用 StableDiffusion(SD)生成图片: 1. 设置模型和提示词: 大模型:如 ghostmix_v20Bakedvae。 正向提示词:例如 1girl,solo,long hair,looking at viewer,jewelry,earrings,indoors,bangs,dress,blush,plant,multicolored hair,upper body,shelf,pink eyes,window,potted plant,flower,closed mouth,from side,wavy hair,bare shoulders,sleeveless,pink hair,kitchen,breasts,blue dress,white hair,<lora:Colorful portraits_20230715165729000018:1>。 负向提示词:如 EasyNegative,badhandsv5neg,Subtitles,word。 2. 一口气生成多张图,选择合适的一张,使用差异随机种子进行细节微调。 3. 将满意的图发送到图生图。 4. 使用 tile 和脚本放大。 使用 PS Beta 版本 Firefly lmage 3 模型生成图片: 1. 生成图像: 局部生成图像看起来较自然。 英文关键词生成的结果通常比中文好。 2. 参考图像: 产品外形还原效果一般,颜色还原较好。 3. 调整画笔:功能丰富实用。 4. 生成类似的内容:右侧变化可选择生成类似内容,效果尚可。 5. 生成背景: 有添加背景的 3 种方式,包括生成背景、导入背景和油漆桶。 生成背景效果一般,自动抠图并添加蒙版的功能在处理投影的透明区域时存在不足。 6. 增强细节:先生成一个蝴蝶,点击左上角的增强细节图标,效果有一定提升但不明显。 使用 SD 的 ControlNet 插件生成图片: 1. 以某张图为例,将其导入图生图界面。 2. 根据情况选择大模型,如卡通类选择“revAnimated”,真实类选择“Realistic Vision”,效果不好可尝试其他模型。 3. 图生图中重要参数设置: 缩放模式选择“缩放后填充空白”。 按需求调整尺寸。 单批数量可根据需求填写。 加大“重绘幅度”到 0.8 以上。 4. ControlNet 设置: 升级到最新版本,导入图片。 启用插件,控制类型选择“局部重绘”,预处理器选择“inpaint_only+lama”,控制模式选择“更倾向 Controlnet”,缩放模式选择“缩放后填充空白”。 为使风格统一,可增加 reference_only 通道。 5. 点击生成,选择满意的结果。 6. 试验其他图时,可通过反推提示词增加文本控制,新生成部分可能存在色差,需调整参数修正。 7. 以建筑图为例,使用真实系模型扩展,调整尺寸,将图片分别放入“图生图”和“ControlNet”中,点击生成即可。 请注意,不是每一次生成效果都能非常好,可能需要通过调整各项参数来获得理想的图片。
2025-02-21
哪个ai工具可以根据现有的网站或截图生成源代码
以下是一些可以根据现有的网站或截图生成源代码的 AI 工具: :借助 GPT4 Vision 的能力,能直接将屏幕截图转换为 HTML/Tailwind CSS,并利用 DALLE 3 的图像生成能力生成相似图像。 此外,还有一些与网站制作相关的 AI 工具: Wix ADI 。基于用户提供的信息自动生成定制化网站,提供多个设计选项和布局,集成了 SEO 工具和分析功能。 Bookmark:网址为 。通过询问用户几个简单问题快速生成网站,提供直观的拖放编辑器,包括多种行业模板和自动化营销工具。 Firedrop:网址为 。其 AI 设计助手 Sacha 可根据用户指示创建和修改网站设计,提供实时编辑和预览功能,包含多种现代设计风格和自定义选项。 The Grid:网址为 。其 AI 设计助手 Molly 可以自动调整网站的设计和布局,基于内容和用户互动进行优化,支持多种内容类型。 在 AI 代码生成和开发工具方面: :由 Wingware 开发的专为 Python 编程设计的开发环境,集成了多种功能,年度许可证起价 179 美元/月。 :开源的 AI 开发助手,能根据产品需求生成完整的代码库,遵循 MIT 许可证。 :Sourcegraph 的 AI 工具,作为全面的编程助手能理解整个代码库,个人使用免费。
2025-02-18
免费图生视频AI有哪些
以下是一些免费的图生视频 AI 工具: 1. Pika:出色的文本生成视频 AI 工具,擅长动画制作,支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装此最新插件,能在图片基础上生成视频,由 Stability AI 开源。 3. Adobe Firefly:支持文生视频、图生视频、视频翻译,免费用户赠送生成 2 个视频。访问。 4. 混元:腾讯视频模型,目前只支持文生视频,图生视频即将上线。 更多的文生视频的网站可以查看这里: 内容由 AI 大模型生成,请仔细甄别。
2025-02-17
图生图, 如何保持幻想生物形象一致性
要在图生图中保持幻想生物形象的一致性,可以参考以下方法: 1. 对于 Midjourney ,可以采用特定的名人或有特殊属性的人物形象,先确定好影片风格,比如皮克斯动画风格,然后确定好人物形象,如角色的发型、穿着等细节。 2. 利用 Midjourney 的新功能 Cref ,先跑一张主角的定妆照,在需要出现主角人物的地方扔进去 Cref ,以保持发型、人脸、衣服等的一致性。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性,尤其是亚洲老人的一致性效果相对较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以原则上能不用就不用,比如只有背影时,简单描述即可。 3. 生成动物形象,动物相对更容易保持一致性。
2025-02-14
如何让文生图片保持形象一致
要让文生图片保持形象一致,可以参考以下方法: 1. 首先进入文生图,填写提示词,例如“,一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景”,设置常规参数生成一张图。 2. 若想以该人物为主角生成一系列其他图,将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,先将保真度数值设置为 1。 3. 在没有明确指向性提示词的情况下,人物形象能保持一致,但表情、动作、服装可能产生随机变化。 4. 可以通过添加关键词来给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等,比如添加“红裙子”“黑色校服、哭泣”“抱手、生气”“在花丛中奔跑、开心”“红色棒球帽,时尚卫衣,在商场逛街”。 5. 像制作典籍类作品时,可对主要人物先出一版形象照,后续所有画面用“cref”做人物一致性的操作。 通过以上一系列操作和测试,可以发现这些功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况做实时的调整,若后期再配合 lora,潜力非常大。
2025-03-02
Ai 换脸形象照怎么换
以下是关于 AI 换脸形象照的相关信息: 法律风险: AI 换脸技术存在民事侵权风险。《民法典》规定,未经肖像权人同意,使用他人肖像的行为侵犯肖像权。 在刑事犯罪方面,使用他人肖像进行 AI 换脸旨在侮辱、诽谤、恶意丑化他人,并在网络上肆意传播,可能涉嫌侮辱、诽谤罪。此外,还存在利用该技术进行诈骗罪和制作、复制、出版、贩卖、传播淫秽物品牟利罪或传播淫秽物品罪等违法犯罪活动的情况。 制作方法: 可以通过某些工具生成数字人,在显示区域调整背景图和数字人的位置,增加字幕,完成后导出备用。若要换脸,需使用其他工具。 例如星流一站式 AI 设计工具,选中图像进入扩展功能界面,自动提取面部信息,上传想要替换的图片,选择重绘风格等参数即可。
2025-02-27
Ai 换脸形象照
以下是关于 AI 换脸的相关信息: 应用场景:包括 ai 写真换脸、工作流、自媒体、设计、电商、修复老照片等。在节目单中,也有 AI 换脸在视频与影视方面的应用,如春晚开头、AI 这一年等节目。 法律风险:民事方面,未经肖像权人同意使用其肖像可能侵犯肖像权。刑事方面,使用他人肖像进行 AI 换脸旨在侮辱、诽谤、恶意丑化他人并在网络上肆意传播,可能涉嫌侮辱、诽谤罪,此外还存在利用该技术进行诈骗罪和制作、复制、出版、贩卖、传播淫秽物品牟利罪或传播淫秽物品罪等违法犯罪活动的风险。
2025-02-27
图生图, 如何保持生物形象一致性
在图生图中保持生物形象一致性,有以下几种方法: 1. 对于人物和场景一致性问题,可以采用生成动物的方式,动物相对容易保持一致性。 2. 选择特定的名人或具有特殊属性的人物。 3. 确定好影片风格,如皮克斯动画风格。 4. 先确定好人物形象,如明确角色的发型、穿着等特征。 5. 使用 Midjourney 的新功能 Cref,在需要出现主角人物的地方,保持发型、人脸、衣服等特征。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性效果相对较差,尤其对于亚洲老人,而且 Cref 在画面的审美和构图上有一定破坏性,原则上能不用则不用。例如只有背影时,简单描述特征即可。
2025-02-14
基于参考图片人物形象生成指定迪士尼风格的图片
以下是关于基于参考图片人物形象生成指定迪士尼风格图片的相关内容: 在 Midjourney 中,生成指定迪士尼风格的图片可以通过以下方式: 1. 角色参考(cref):cref 的功能是保持图像角色的一致性。使用方法是在提示后添加 cref,并紧接着指向人物参考图像的 URL。您可以使用 cw 来调整参考图像对生成的图像的影响程度,数值范围从 0 到 100。 2. 风格参考(sref):sref 的功能是生成类似风格的图片,保持画风的一致性。使用方法是在提示后添加 sref,并紧接着指向风格参考图像的 URL。您可以使用 sw 来调整参考风格对生成的图像的影响程度,数值范围从 0 到 1000。 如果想引用一张图,但只是把它作为新图的一部分,可以使用 sref 或 cref,并通过调整 sw 或 cw 的值来控制引用图像的影响程度。 生成一张 Disney 风格的头像的具体步骤如下: 1. 选一张比较满意的图片,在 Discord 社区的 Midjourney 服务器聊天栏点击“+”,然后点击上传文件,选取图片,然后在聊天框发送(记得点击回车或发送按钮)。 2. 图片会上传到服务器并生成一张唯一的链接,点击图片,然后点击在浏览器中打开,然后可以看到浏览器上方有一个链接,复制下来。 3. 使用这个链接加 prompt 提示词来发送给 Midjourney,Midjourney 会根据需求生成特定的图片,这就是 Midjourney 的以图绘图。 此外,在生成 3D 效果图时,如生成可爱的拟人小鹿角色,可以在即梦图片生成界面中导入参考图,参考选项为参考轮廓边缘,生图模型选择 图片 2.0,输入包含角色、细节描述、场景、风格材质等的提示词,生成图片。
2025-02-12
生成漫画动作参考图
以下是一些生成漫画动作参考图的方法: 1. 喂参考图:先上传喜欢的参考图,复制其链接。在关键词处填写“图片链接+这张图的关键词”,例如“链接图片.png,a Super cute sports girl,wearing a basketball vest,blueshortsbig watery eyes,clean bright basketball court background,super cute boy IP by pop mart,Bright color,mockup blind box toydisney stylefine luster,3D render,octane render,best quality,8k brightfront lightingFace Shot,fine luster,ultra detail,ar 9:16”。还可以通过修改关键词改变服装颜色等细节。 2. 使用 panels 命令:此命令可生成连续的动作和表情设计,将模型设置改为 niji mode 画动漫角色效果更好。例如“a Super cute sports anime girl,style by Miyazaki Hayao,6 panels with different poses 8K”,也可以使用“continuous running”生成更稳定的连续动作,甚至做成 gif 动画。 3. 利用 character sheet 命令:创建一个角色的多角度以及特写细节,例如“a Super cute sports anime girl,style by Miyazaki Hayao,character sheet,full body,8k”。 4. 使用 emoji、expression sheet:emoji 代表表情包,expression sheet 代表各种表情组合,可用此核心关键词设计出表情包。例如“图片链接.png a Super cute sports anime girl,style by Miyazaki Hayao,emoji,expression sheet,8k”。 另外,使用 ControlNet 插件也能生成漫画动作参考图。首先进入文生图,填写提示词生成一张图。然后将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,保真度数值越高,对图片的参考越强。可以通过添加关键词的方式给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等。这个功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况实时调整,后期配合 lora 潜力巨大。
2025-02-11
我想知道目前最新、效果最好、代码和模型开源的动作捕捉算法,也叫做人体姿态估计,是哪篇文章
目前最新、效果较好且代码和模型开源的人体姿态估计(动作捕捉算法)相关的研究有以下两篇: 1. 【SD】最强手部识别,controlnet 新预处理器 dw openpose 作者:白马少年|公众号:【白马与少年】 发布时间:20230813 20:00 原文网址:https://mp.weixin.qq.com/s/_RiKxWy9MXt4DUJIKH5w 介绍:在 controlnet 中,手部识别一直使用的是 openpose 预处理器,但复杂手势有时无法识别。新的 dw openpose 预处理器能完美解决手部识别问题,将其放入特定目录即可使用。但需说明的是,目前这个 DW Pose 只是更精确的 openpose 预处理器,未对 ControlNet 的 openpose 模型做改动。 2. YOLONAS Pose:一个开源的实时人体姿态估计模型 应用场景:基于骨骼标记为基础,适用于智慧体育等场景,可对训练过程的姿态、数据、状态等进行统计和管理。 技术类型:视频、AI 学习模型 简介:主要功能是识别图片和视频中人的姿势,能快速处理图像并实时返回姿态数据,适应不同场景和设备。 主要特点: 实时性能:旨在提供实时的姿态估计,适用于需要即时反馈的应用。 高精度:利用神经网络架构搜索(NAS)提高姿态估计的准确性。 优化的网络结构:NAS 自动测试不同网络结构,找到最优模型。
2024-12-31
midjourney中如何结合A图片的人物和B图片的动作和内容
在 Midjourney 中结合 A 图片的人物和 B 图片的动作和内容,可以使用新上线的“Character Reference”(cref)功能。以下是一些关键方法和示例: 1. 锚定细节:您可以掌控姿势、表情、情感、服装、道具、场景、动作等细节。例如:“Jo is a young woman with blue curly hair, pink sunglasses, and a colorful scarf around her neck. She waits in line at the bank. cref https://my.image.host/joisstanding.jpg”。 2. 让 cref 处理大部分工作:提示无需加强标志性细节,只是“操纵”或“定位”角色。例如:“有人正在银行排队等候。 cref https://my.image.host/joisstanding.jpg”。 3. 只提供场景:如果您的 cref 图像已包含想要的姿势和其他细节,您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果,此时可尝试使用更高值的样式化,如“s 800”。 需要注意的是,此功能在使用 Midjourney 生成的图像人物时效果最佳,不太适用于真实人物或照片。同时,在 Midjourney V6 的 Web Alpha 版本中,您可以通过拖放或粘贴图像到想象栏,并选择相应图标来设置图像为图像提示、风格参考或角色参考。
2024-11-18
视频导出动作的AI
以下是关于视频导出动作的 AI 相关信息: AI 视频导出方面:普通社交媒体分享选 1080P,需放大选 720P,码率越高越好,可自定义最高 5 万。 Move AI 推出的 Move API 能从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据,相关链接为 https://move.ai/api 。
2024-11-05
动作姿态生成的网站
以下为一些关于动作姿态生成的网站相关信息: 在 Stable Diffusion 中,ControlNet 是一个强大的控制插件。对于姿态约束,您可以通过以下方式操作: 1. 国风 3 模型点击生成姿势,但 AI 识别可能不准确,需耐心刷图和调整参数。 2. 若要细化图片,可使用扩展图片的方法,将图发送到图生图,通过“缩放后留白”和提高重绘幅度改变背景,再用 ControlNet 中的 tile 模型细化,最后使用 SD 放大插件。 3. 当找不到满足需求的动作图片时,可以自定义动作骨架。在【扩展】【加载扩展列表】中搜索【posex】安装插件(若安装不了,可将分享的插件文件夹拷贝至...\\sdwebuiakiv4\\extensions 目录,确保软件为最新版本后重启)。重启后来到首页,点击“将图片发送至 ControlNet”,可通过鼠标操作调整视角。如调一个玛丽琳梦露的经典动作,右边可调整出图尺寸,启用 ControlNet 时,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型即可。 另外,公众号【白马与少年】有不同 pose 的骨架图可供参考,回复【SD】获取。该公众号还分享 Stable Diffusion、Blender 等学习心得,有 139 篇原创内容持续更新。
2024-11-01
动作姿态生成
以下是关于动作姿态生成的相关内容: 在使用 Stable Diffusion 进行动作姿态生成时,可采用以下方法: 1. 利用 ControlNet 中的姿态约束功能,如国风 3 模型,点击生成姿态,但可能存在骨骼错位等问题,需要耐心刷图和调整参数。同时,还收集了不同 pose 的骨架图,可通过添加公众号【白马与少年】回复【SD】获取参考。 2. 对于人物绘制,先确定人物动作,可在草图基础上用 Clip Studio Pro 中的 3D 人物模型进行姿态调整,或使用其他 3D Pose 类软件生成人物姿态,然后使用 ControlNet 的 Openpose 功能生成人物姿态。为控制人物色彩,可采用合适图片放入 img2img 中调整 Denoising strength,或使用 ControlNet Color 等插件,过程中需进行 img2img 反复迭代,并适时加入背景元素,人物大致确定后用 photoshop 融合,再继续生成和调整。 3. 对于特殊物品如天狗面具,若 Stable Diffusion 没有合适模型和 Lora,可自行训练专用 Lora,使用时用 inpainting sketch 重绘或在 Photoshop 处理后进入 img2img 重绘,注意重绘区域要小。 4. 对图片进行细化时,可使用扩展图片方法,将图发送到图生图,用 ControlNet 中 tile 模型细化,再使用 SD 放大插件。若找不到满足需求的动作图片,可在【扩展】【加载扩展列表】中搜索【posex】插件,安装或拷贝至指定目录,重启软件后在首页点击“将图片发送至 ControlNet”进行操作,可通过鼠标操作调整视角,调动作时启用 ControlNet,若骨架图来自 posex 链接,无需添加图片和预处理器,直接加载 openpose 模型。
2024-11-01
生成视频不受提示词控制怎么办
如果生成视频不受提示词控制,可以考虑以下方法: 1. 向提示添加其他描述符,以便更好地控制生成的视频内容,例如: 电影摄影术语,如浅景深、胶片拍摄和电影。 构图术语,如广角、特写、从上方拍摄和从下方拍摄。 照明术语,如背光、柔光和硬光等。 颜色分级术语,如饱和色、高对比度以及暖色调或冷色调。 情绪或语气术语,如 somber、tense、euphoric 和 mysterious。 摄像机移动术语,如向右或向左平移、向上或向下倾斜以及推拉或向外移动。 2. 对于海螺 AI: MiniMax 视频模型不仅可以准确识别用户上传的图片,并确保所生成视频在形象保持上与原输入图像高度一致,且光影、色调完美嵌入新场景的设定,为创作者提供连贯、深度创作的空间。 在指令响应方面,还能理解超出图片内容之外的文本,解构指令框架和深层语义并在视频生成中整合,实现“所写即所见”。 只依靠模型综合能力,就能实现最顶级的影视特效。 人物表情控制力强,5 秒钟内实现从开怀大笑到掩面哭泣,让视频表达更能深入人心。 近期,海螺 AI 视频同步上线了提示词优化功能,即使在大家对特定的构图、氛围、动作或运镜没有特殊指定要求时,建议开启此功能,聪明的海螺 AI 会结合原始 Prompt 扩展视频的美学呈现。同时,对于更专业的创作者,开放 2000 字的提示词空间,让创作更加精准。 3. 使用 Camera Motion 时: 点击“AddImage”上传图片。 在“Prompt”中输入提示词。 选择您想要的运镜方向,输入。 运动幅度和画面主体运动幅度有关,与运镜大小无关,可以设置成您想要的任意值。 选择好种子(seed),是否高清(HD Quality),是否去除水印(Remove Watermark)。 点击“create”,生成视频。
2025-02-18
使用O1来控制智能硬件
O1 是一个完全开源的可以控制家里电脑的 AI 语音智能助手。它能够看到您的屏幕内容,学习使用您常用的应用,无论您身在何处,都能通过按下按钮、讲话让它帮您操作电脑完成任务。其 CAD 文件、电路设计、代码完全开源,有能力的开发者可以直接制作该设备。灵感来自 Andrej Karpathy 的 LLM 操作系统,10 月份他的 LLM 科普视频含金量仍在上升。O1 运行一个代码解释语言模型,并在计算机内核发生特定事件时调用它。项目地址:https://github.com/OpenInterpreter/01
2025-02-05
控制模特的姿势
以下是关于控制模特姿势的方法: 在使用相关 AI 工具时,如 Stable Diffusion 等,有以下几种控制模特姿势的方式: 1. 使用蒙版和提示词:输入相关提示词,如“蓝色毛衣”,处理蒙版区域内容为“填充”,调整尺寸与图像一致,重绘幅度为 1。但可能会出现衔接问题,此时可降低重绘幅度或添加 openpose 来控制人物身体,获得正确姿势。 2. 利用 ControlNet 功能: 正常填写大模型和关键词生成照片。 鼠标滑到最下面,点击“ControlNet”。 点击空白处上传指定姿势的照片,并点击“启用”。 在“预处理器”和“模型”里选择“openpose”,用于让计算机识别人物姿势。 点击“预览预处理结果”,最后点击生成照片,即可得到指定姿势的照片。 在 ControlNet 参数配置方面: tile 用于对整体画面的控制,可选择分块+固定颜色+锐化,以保证颜色统一降低后续闪烁,不需要全过程引导,仅在开始时固定画面。 lineart 用于提取人物线条,保证人物整体不跑偏,权重给到 0.6 以控制整体画面输出稳定。 openpose 用于控制人物的姿态、表情和动作,推荐使用 DWpose 处理器,其对面部和手部的识别效果较好。
2025-01-17
MJ中如何精准控制颜色
以下是关于在 Midjourney 中精准控制颜色的一些方法和相关信息: 1. 在使用 MJ 生成兔子贴纸的过程中,关键词中限制了颜色,生成的图片会一种情绪对应一种颜色。若不想让模型把情绪和颜色做挂钩,同一种情绪可多生成几张不同色系的;若需要挂钩,也可反其道而行之。 2. 进行 SD 上色时,正关键词主要前面添加了增加照片质感常用的+mj 生成线稿的关键词调整(去掉 mj 里线稿的关键词,一开始嘴巴效果不好,添加了张开嘴巴等关键词,颜色都是可以单独调整控制)+风格参数。负关键词看自己的效果添加,添加一切不想要的东西。 3. 在 MJ 的公式方面: 角色人物公式:人物姓名(命名)+描述词(重要描述词和人物特征描述词)+风格+官方命令词。 3D 公式:主体+描述词(重要描述词和物体特征描述词)+风格+灯光+官方命令词。 插画公式:主题描述词语+风格(风格名称或画家)+描述+颜色灯光+官方命令。 特定公式: 连续场景变化公式: 角色/场景公式:上传图片(喂图)+人物描写(融入其他场景需要关键词 white background,结合场景后换成 walking in a futuristic cyberpunk city)+场景风格描写+官方命令。 木偶公式:人物图片+场景+人物+动作+风格+官方命令。 等距粘土公式: 等距+物体+max emoji(表情符号),soft(柔和)lighting soft(柔和光线)pastel colors/pastel background(背景)+3Dicon+clay(粘土)+blender 3d+背景颜色=等距粘土物体。 安子布莱斯娃娃/也可以换成其他知道的娃娃名称+灯光/颜色/背景/材质+clay(粘土)+良奈吉友画风/或者其他名人风格=人。 3D 图标公式(未测试,可用):喂图(1~3 张相似的风格)+描述的 icon(和喂图一致的关键词)+颜色(和喂图颜色一致的)+渲染词+官方命令。 通用公式:角色/物体描述+背景描述+灯光风格+官方命令。
2025-01-17
图的角色 用 cref 去控制一致性 风格可以用 sref 去控制
在 Midjourney 中,cref 和 sref 是用于引用图片的功能,它们有以下区别和使用方法: 1. 角色参考(cref): 作用:保持图像角色的一致性。 使用方法:在提示后添加“cref”,紧接着指向人物参考图像的 URL。例如:/imagine prompt beautiful girlcref。可以使用“cw”调整参考图像对生成图像的影响程度,数值范围从 0 到 100。强度 100(“cw 100”)是默认值,会使用面部、头发和衣服,cw 为 0 的话仅保证脸部一致。基础格式为“cref 图片链接,cw 100”。 参考链接: 2. 风格参考(sref): 作用:生成类似风格的图片,保持画风的一致性。 使用方法:在提示后添加“sref”,紧接着指向风格参考图像的 URL。例如:/imagine prompt beautiful girlsref。可以使用“sw”调整参考风格对生成图像的影响程度,数值范围从 0 到 1000。基础格式为“sref 图片链接,sw 100”。 参考链接: 如果想引用一张图,但只是把它作为新图的一部分,可以使用“sref”或“cref”,并通过调整“sw”或“cw”的值来控制引用图像的影响程度。例如:/imagine prompt beautiful girlsrefsw 500。这样,生成的图像将会在保持原有风格的同时,融入一部分引用图像的风格。
2025-01-13
我想找一个能够实现运动控制逻辑的编程助手
目前在 AI 领域中,有一些编程助手可以帮助您实现运动控制逻辑。例如,您可以考虑使用 Python 中的相关库,如 `numpy`、`matplotlib` 等,结合数学和物理知识来构建运动控制模型。另外,一些专门的机器人编程框架和工具,如 ROS(Robot Operating System)也能为您提供支持。但具体选择哪种工具,还需要根据您的具体需求和技术背景来决定。
2024-11-20