直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图生图, 如何保持生物形象一致性

回答

在图生图中保持生物形象一致性,有以下几种方法:

  1. 对于人物和场景一致性问题,可以采用生成动物的方式,动物相对容易保持一致性。
  2. 选择特定的名人或具有特殊属性的人物。
  3. 确定好影片风格,如皮克斯动画风格。
  4. 先确定好人物形象,如明确角色的发型、穿着等特征。
  5. 使用 Midjourney 的新功能 Cref,在需要出现主角人物的地方,保持发型、人脸、衣服等特征。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性效果相对较差,尤其对于亚洲老人,而且 Cref 在画面的审美和构图上有一定破坏性,原则上能不用则不用。例如只有背影时,简单描述特征即可。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

前Sora时代我最想做的AI短片——使用Pika、Pixverse、Runway、SVD四大AI视频工具

更多写剧本的方法、小技巧、格式还有软件,希望后面有时间可以多写一些。照例,先放上我写的分镜,这是非常粗糙且不规范的分镜,正常的分镜是要更仔细的,所以大家凑活看。与上一次制作不同的是,因为更了解AI生图的局限,所以我这次写的分镜,有百分之八十都用上了。也算提高了效率,但还是写得太粗糙了,下次尽量按照正规格式写得准确一些,如果我的肝还好的话(主要是就只有我和Zoik看就有点偷懒了)……给大家推荐一些编剧相关的书,虽然我觉得写短片看这些书还是太多了,但基本涵盖了常见的剧作书,供参考吧~其实也不用看这么多书,只不过我看到同类型的书就想买来对比,没时间的话,看《救猫咪》或《电影剧本写作基础》的第一册就行。主要还是练习,写。第二步,生图这次生图,我明显感觉到Midjourney的语义理解比之前好了很多。很多人在生图上都遇到了人物和场景一致性的问题。有两个取巧的方式,一个是像我上个视频一样生成动物,动物会比较容易保持一致性,另一个方式是特定的名人/或者有特殊属性的人物。这次我们用的是第二种方式。首先,先确定好影片风格,这次用的是皮克斯动画风格。真的不是我们不做其他题材,是因为这个故事比较适合用动画呈现,后面的片子我们会多尝试别的题材风格。其次,先确定好人物形象。短片有两个主要角色,角色一:扎马尾、穿白色T恤、穿牛仔裤的14岁女孩;角色二:戴眼镜、灰色头发、穿灰色短衬衫的50岁男人。

卡兹克:我们花了10天时间,给CCTV6做了一部AI短片 - 5000字全流程复盘拆解

在图片生成上,我们依然用的是Midjourney,原因依然单纯的很简单:我要的电影感和审美,只有Midjourney可以做出来。很多人问,画面的电影感到底怎么做出来,为什么我的图总是一股子AI感。其实挺简单的,画面的电影感无非就是几个点:画幅,审美、色调、构图、光影、景深等等。我最喜欢用的画幅比例就是,21:9。画幅的比例是会影响生图的构图和光影的,21:9,是出电影感最好的比例。同时在Prompt里,也可以加电影的专用摄影机,比如RED Helium 8K等等。而我们的整体Prompt风格后缀:________.Shot on Sony Venice 2,muted color tones,green and dark gray,award-winning composition,cinematic scene--ar 21:9而在人物一致性上,在有了Midjourney的新功能Cref以后,其实就非常简单了。我们直接先跑了一张主角的定妆照。然后在需要出现主角人物的地方,扔进去Cref。保持发型、人脸、衣服。坦率的讲,Midjourney对亚洲人脸的Cref一致性,要比对欧美的人脸的一致性效果差太多太多了,年轻人还好点,亚洲老人简直惨不忍睹。而且Cref的效果,在画面的审美和构图上,其实是有一定的破坏性的,所以在原则上,是能不用Cref就不用Cref,比如只有背影的时候,写个短发男人黑卫衣就完事了。

开发:PIKA1.0上手评测 - 你就是传奇

能明显感受到,PIKA1.0是启用了一个全新的模型,甚至我感觉不是基于旧有的迭代,而是完全重新做的一个全新的模型。强非常非常多。3D和2D的动画效果更是吊炸天。所以他们的新模型,我会多花一些篇幅和笔墨,来展现一下。首先,文生视频的质量得到了大幅度的提升。我直接写了一段:Prompt:Cinematic,happy laughing girl in office,Pixar style瞬间,匹配皮克斯水平的镜头就出来了。要知道,我只花了1分钟。这效果,我说实话,太特么吓人了。。。。。。而且,这稳定性,这神情。。。爆杀市面上所有的AI视频。再来!A cat flying a plane,Cartoon style在文生图这块,PIKA1.0的新模型稳定的令人害怕。Cinematic,extreme close-up of cars on the road in a jungle,3D rendering不规则构图的汽车行驶在道路上,这个前进的镜头依然稳定的可怕,车上的光影更是表现的极好。无敌。真的无敌。同时,有两个小技巧是,右下角第三个设置里,负面提示(Negative prompt)可以常驻:blurry,out of focus,twisted,deformed。提示词相关性别设太高,可以5~15之间,自己实测下来效果最好。再来说图生视频。图生视频这块,效果也依旧棒。放几个case。(这里因为GIF图比较大所以只能放了每秒10帧的GIF,所以看起来可能有一些卡,这并不是PIKA的原因。)说实话,Runway原本剩的唯一优势就画质好+一致性强点了。。。但是你看看现在的PIKA1.0。。。。。。人的一致性已经逆天了,再加上它强到爆的语义理解,以及幅度巨大的动作。。。。咋比啊。。。这PIKA1.0新模型的质量,特别是它最擅长的3D和3D的动画的质量,真的让人激动到无以复加。

其他人在问
我想图生图,生成高清矢量图
以下是关于图生图生成高清矢量图的相关内容: ControlNet 参数: 预处理器:canny,模型:control_v11p_sd15_canny 预处理器:lineart_standard,模型:control_v11p_sd15_lineart 放大高清大图: 使用 Multi Diffusion + Tiled VAE + ControlNet Tile 模型 将生成的图片发送到图生图,关键词种子会一并发送过去,重绘幅度建议 0.35,太高图片细节会发生变化 Lora 生图: 点击预览模型中间的生图会自动跳转到相应页面 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8 可自己添加 lora 文件,输入正向提示词,选择生成图片的尺寸(横板、竖版、正方形) 采样器和调度器新手小白可默认,迭代步数在 20 30 之间调整,CFG 在 3.5 7.5 之间调整,随机种子 1 代表随机生成图 生成的图会显示在右侧,若觉得某次生成结果不错,想要微调或高分辨率修复,可复制随机种子粘贴到相应位置 确认合适的种子和参数想要高清放大,可点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 20 30 之间,重绘幅度正常在 0.3 0.7 之间调整 高清修复: 文生图高清修复原理是命令 AI 按原来内容重新画一幅,新生成绘图和原绘图细节会不同,降低重绘幅度可更接近原图,如重绘幅度 0.7 时帽子和耳机有变化,0.3 时服饰细节接近但手部可能出现问题,可通过反复抽卡、图生图局部重绘或生成多张图片后 ps 合成等解决 由于高清修复渲染耗时长,建议先低分辨率抽卡刷图,喜欢的图再用随机种子固定进行高清修复 SD 放大: 文生图画好图后发送到图生图,点击脚本选择使用 SD 放大 重绘幅度设置 0.3,放大倍率为 2,图块重叠像素设置为 64,原图尺寸加上重叠像素,如 512x768 变为 576x832,重绘幅度要保持较低数值,否则可能出现新人物
2025-04-14
我想要通过建筑草图生成效果图,有什么工具和流程可以使用
以下是使用悠船工具将建筑草图生成效果图的流程和相关介绍: 1. 基础使用: 提示词:在右侧填写提示词,右上可下载对应图片。 参数调整:参数详解参考下方「参数详解」。注意任何点击都会重新生成图片,免费用户可能会提示超出套餐,所以别乱点。最右侧是所有生成图片的略缩图。 2. 图片调整: 变化:分为细微和强烈,细微改变幅度小,强烈改变幅度大。 高清:有“直接”和“创意”两种模式,“直接”表示啥都不变直接出高清,“创意”表示在图片基础上进行微小的优化调整。 风格变化:基于生成的图片作为上传图片(垫图)再创作。 拓展:可上下左右拓展图片。 缩放:指的是镜头,比如 2x 就是镜头拉远 2 倍。 局部重绘:选择区域要大一些,太小的无法进行修改。 3. 图像参考: 在悠船中可以利用垫图和提示词配合生成符合要求的建筑、风景、文物等。只需将图片复制到悠船的提示词框里面,并填写对应的提示词描述。
2025-04-14
图生图网站排名推荐
以下是为您推荐的图生图网站排名: 1. 文生图: Imagen 3:真实感满分,指令遵从强。 Recraft:真实感强,风格泛化很好,指令遵从较好(会受风格影响)。 Midjourney:风格化强,艺术感在线,但会失真,指令遵从较差。 快手可图:影视场景能用,风格化较差。 Flux.1.1:真实感强,需要搭配 Lora 使用。 文生图大模型 V2.1L(美感版):影视感强,但会有点油腻,细节不够,容易糊脸。 Luma:影视感强,但风格单一,糊。 美图奇想 5.0:AI 油腻感重。 腾讯混元:AI 油腻感重,影视感弱,空间结构不准。 SD 3.5 Large:崩。 2. 图生视频: pd 2.0 pro:即梦生成的画面有点颗粒感,p2.0 模型还是很能打的,很适合做一些二次元动漫特效,理解能力更强,更适合连续运镜。 luma 1.6:画面质量挺好,但是太贵了。 可灵 1.6 高品质:YYDS! 海螺01live:文生视频比图生视频更有创意,图生也还可以,但是有时候大幅度动作下手部会出现模糊的情况,整体素质不错,就是太贵了。 runway:我的快乐老家,画面质量不算差,适合做一些超现实主义的特效、经特殊就容镜头的。 智谱 2.0:做的一些画面特效挺出圈的,适合整过,但是整体镜头素质还差点,好处就是便宜,量大,管饱,还能给视频加音效。 vidu1.5:二维平面动画的快乐老家,适合做特效类镜头,单镜头也很惊艳,大范围运镜首尾帧 yyds!就是太贵了!!!!! seaweed 2.0 pro:s2.0 适合动态相对小的,更适合环绕旋转运镜动作小的。 pixverse v3 高品质:pincerse 的首尾帧还是非常能打的,就是画面美学风格还有待提升的空间。 sora:不好用,文生视频挺强的,但是最需要的图生视频抽象镜头太多,半成品都算不上,避雷避雷避雷,浪费时间。 3. 小白也能使用的国内外 AI 生图网站: 可灵可图 1.5:https://app.klingai.com/cn/texttoimage/new 通义万相(每日有免费额度):https://tongyi.aliyun.com/wanxiang/creation 文心一言:https://yiyan.baidu.com/ 星流(每日有免费额度):https://www.xingliu.art/ Libiblib(每日有免费额度但等待较久):https://www.liblib.art/
2025-04-13
图生 视频
以下是关于图生视频的相关内容: 工具教程:清影 什么是图生视频:输入一张图片+相应的提示词,清影大模型将根据提示将图片转变为视频画面。您也可以只输入一张图片,清影大模型将自行发挥想象力,把图片扩展为一段有故事的视频。 两个小技巧: 选用尽可能清晰的图片,上传图片比例最好为 3:2(横版),清影支持上传 png 和 jpeg 图像。如果原图不够清晰,会影响模型对图片的识别,可以采用分辨率提升工具将图片变清晰。 提示词要【简单清晰】:可以选择不写 prompt,直接让模型自己操控图片动起来;明确您想动起来的【主体】并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词(一定要有主体,不然可能会出现 AI 狂乱景象)。如果您不明确大模型如何理解您的图片,推荐将照片发送到清言对话框进行识图,明确您的【主体】该如何描述。 视频演示 |首帧图|PROMPT|视频(配音版)|视频(纯享版)| ||||| |1、泳池里的小鸭子|Little yellow duck toy floating on the water in the swimming pool,closeup|| |2、洞穴文明|The primitive man raises his hand.The camera zooms out.|| |3、魔法少女|A woman reaches out to touch the glowing box.Particle effects.|| |4、离别列车上的小狗|a dog with Furry white claws the bus window with reflections on the glass,Furry white claws,closeup,ultrarealistic|| |5、古典美女|celine,classic photograph from Life magazine|| |6、废土黑雨|游戏场景在下雨,人物看起来非常担心|| 工具教程:PixVerse V2 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。
2025-04-13
手绘草图生成图片
以下是关于手绘草图生成图片的相关信息: ComfyUI Flux 与 runway 制作绘画视频: 生成图片:提示词告诉 flux 生成一张技术草图,如 CAD。 绘制的视频:在 runway 里面,使用提示词,从空白页面开始逐行创建,并把生成的图片作为尾帧。 草图上色:使用 flux 的 controlNet,depth 固定,Union 版本不建议权重调太高,结束时间也不宜过长。 生成上色后的视频: how2draw Flux lora:分享一个好玩的 flux lora,触发词为 how2draw。 图片生成 3D 建模工具: Tripo AI:在线 3D 建模平台,能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 Meshy:功能全面,支持文本、图片生成 3D 以及 AI 材质生成。 CSM AI:支持从视频和图像创建 3D 模型,Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象。 Sudo AI:支持通过文本和图像生成 3D 模型,适用于游戏领域。 VoxCraft:免费 3D 模型生成工具,能将图像或文本快速转换成 3D 模型。 【SD】真人转二次元: 使用 Stable Diffusion 中的【X/Y/Z plot】脚本做参数对比,X 轴为提示词相关性(130,每次增加 5),Y 轴为重绘幅度(01,每次增加 0.2)。 提示词相关性在 6—11 中间为最佳,大于 11 后画面色彩和脸型可能崩坏,重绘幅度大小可控制生成图与原图的相似度。 绘图功能:如增加红色眼镜、去掉衣服图案、局部重绘(手涂蒙版)修改部分等。
2025-04-01
怎么用图生成png格式的新图
以下是用图生成 PNG 格式新图的方法: 使用 Stable Diffusion: 1. 若在网上看到好看的大佬的图,将其导入 SD。若能识别,右边会自动弹出照片的信息,包括正面关键词、负面关键词,还有其他种子、大模型等信息。 2. 复制这一大串信息,来到“文生图”页面,粘贴到关键词的文本框中。 3. 点击“生成”按钮下面的第一个小按钮,SD 会自动分配信息,在有相同大模型和 Lora 的前提下,点击生成,可能得到差不多的照片。 4. 若导入照片后右边未出现生成信息,说明照片不是直接从 SD 下载下来的 PNG 格式照片,此时可使用“标签器(Tagger)”来生成照片的关键词。 使用 OpenAI 的图像生成端点: 1. 图像生成端点允许在给定文本提示的情况下创建原始图像,生成的图像大小可为 256x256、512x512 或 1024x1024 像素,较小尺寸生成速度更快。可使用参数一次请求 1 10 张图像。描述越详细,越有可能获得想要的结果,也可在 DALL·E 预览应用程序中探索示例获取更多提示灵感。 2. 图像编辑端点允许通过上传蒙版来编辑和扩展图像。遮罩的透明区域指示应编辑图像的位置,提示应描述完整的新图像,而不仅仅是擦除区域。上传的图片和遮罩必须是小于 4MB 的正方形 PNG 图片,且尺寸相同。生成输出时不使用遮罩的非透明区域。
2025-03-27
人物一致性
Midjourney 的角色一致性功能: 功能介绍:类似于“风格参考”功能,尝试使人物与“人物参考”图像相匹配。 使用方法:在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面,否则会报错。可以使用`cw`来修改参考“强度”,从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 实际效果:例如以甜茶或小公主的图片为案例,不同的强度参数下,发型、衣服等会有相应变化。 相关优势:能节省工期,提升生产管线的可控性。 其他应用:利用 MJ 重绘功能,在重绘提示词里输入`cref cw`保证角色一致性。对于生成图中的黑边,可框住黑边部分重绘输入关键词“background”去除,保证背景一致。 体验网址:MJ 的网页版体验较好,网址为 https://alpha.midjourney.com/
2025-03-29
星流ai人物一致性
以下是关于星流 AI 人物一致性的相关内容: 在实现角色一致性方面,有以下几种方法和示例: 1. 可以通过特定的 prompt 格式来实现,公式为:发型+年龄性别+衣物颜色+环境+其他(动作、镜头等)。例如: 特写一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,面部被烛光照亮,表情惊讶,环境昏暗明暗对比强烈。 特写一个棕色卷发,身穿棕褐色上衣的小男孩,侧对镜头,微微仰头走在一片暗绿色的森林中,面部被手中提着的油灯照亮,环境昏暗明暗对比强烈。 一个棕色卷发,身穿棕褐色上衣的小男孩侧对镜头,看着面前桌上的蜡烛,环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,在一个梦幻感的暖色调房间里,全身贯注地拼装面前的积木玩具。 2. Midjourney 推出了角色一致性功能,同步支持 MJ V6 和 Niji V6。跟之前的风格一致性sref 命名基本一致,为cref。cref 背后参数cw 的值可以从 0 设到 100,cw 100 会参考原图的脸部、头发和衣服,但相应的会非常不吃 Prompt;cw 0 时,就只会参考脸部,大概约等于一个换脸。 3. PixVerse 有“角色(Character)”新功能,能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在 AI 生成视频中轻松切换场景,同时保持同一角色身份。该功能目前只支持真实人脸,暂不支持动物或其他风格照片。操作说明:在主页面点击选择“Character”,点击“Create Character”,在此界面通过点击或拖动的方式上传图片,命名您创建的 Character,最后点击“Create Cha”。提示:最好使用包含真实人脸的单人图片效果最佳,脸部大小需要超过 200×200px,面部无遮挡。Character 添加完毕后,等待 20 秒左右,在看到“Success”提示后,点击“Create”进。若未等到“Success”提示便进入创作界面,会找不到创建的 Character,此时需等待 10 30 秒,待 Character 创建完成即可。 相关网址: 1. 2. 3. Midjourney 网页版:https://alpha.midjourney.com/ 4. PixVerse:https://app.pixverse.ai/ (目前可以免费使用)
2025-03-18
人物一致性
Midjourney 的角色一致性功能: 此功能是官方推出的重要功能,可使生成的人物与参考图像相匹配。 使用方法:在提示词后输入 `cref URL` 并附上人物图像的 URL。需注意一定要在提示词后面,否则会报错。 可使用 `cw` 来修改参考强度,从 0 到 100。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性,可利用 MJ 重绘功能,在重绘提示词里输入 `cref cw` 。 若有黑边问题,可将黑边部分框住,重绘输入关键词 `background` 去除黑边保证背景一致。 体验 MJ 网页版效果较好,网址:https://alpha.midjourney.com/
2025-03-18
comfy ui 九宫格生图保持人物一致性的原理
Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术,具体如下: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,它结合了两个不同的模型分支(Lightning T2I 分支和标准扩散模型),引入了两种损失(对比对齐损失和精确 ID 损失)。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐,使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征(比如人物的脸部特征)与目标 ID 一致。 此外,在保持人物一致性方面,还有一些操作步骤: 生成图像(提示词加入分割描述,让一张图生成多张同空间小图)。 通过目标图像不断的重复生成,获取更多一致性的角色图像,下载分类(按照视角不同分类)。 上传图像,调用 prefer option set 命令,先写命令名称(一个视角操作一次),再放入该视角的照片(4 5 张)。 放开角色限制生成图像,在确认好的图像上进行局部重绘,框选头部,在原来的命令下加入—快捷命令名称,确认生成即可。 同时,Eva CLIP 也是相关的技术: Eva CLIP 是一种基于对比学习的视觉文本模型,将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构:使用对比学习方法,将图像和文本嵌入到一个共享的空间,通过最大化匹配图像和文本对的相似度,同时最小化不匹配对的相似度,学习到图像和文本之间的关联。 强大的特征提取能力:编码器擅长提取图像中的细节特征,并将其转换为有意义的嵌入向量,用于下游任务。 多模态应用:能够处理图像和文本两种模态,广泛应用于多模态任务中,如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用,如卷积神经网络(CNN)用于图像特征提取,Transformer 网络用于处理文本描述。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: instant ID 脸部特征抓取得比 pulid 好,放在最后一步重绘,先 pulid,再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例:
2025-03-17
comfy UI 如何保持人物一致性
要在 ComfyUI 中保持人物一致性,可以通过以下方式实现: 1. PuLID 技术: PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份(ID)的新技术,无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支,并引入了对比对齐损失和精确 ID 损失两种损失,以确保在保持原始模型效果的同时,高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型,标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份,将特定 ID(例如人脸)嵌入到预训练的文本到图像模型中,而不会破坏模型的原始能力。 项目地址:https://github.com/ToTheBeginning/PuLID 相关资源: 百度网盘:https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址:https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档:https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好,可放在最后一步重绘,先 PuLID,再 instantID。 2. 节点设置: 节点插件 PuLID ComfyUI:https://github.com/cubiq/PuLID_ComfyUI model:使用预训练的基础文本到图像扩散模型,如 Stable Diffusion。 pulid:加载的 PuLID 模型权重,定义 ID 信息如何插入基础模型。 eva_clip:用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis:使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image:提供的参考图像用于插入特定 ID。 method:选择 ID 插入方法,如“fidelity”(优先保真度)、“style”(保留生成风格)和“neutral”(平衡两者)。 weight:控制 ID 插入强度,范围为 0 到 5。 start_at 和 end_at:控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask:此选项用于提供灰度掩码图像,以控制 ID 自定义的应用位置,但并不是必需输入,而是可选输入。 Advanced Node:提供了高级节点,可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如,ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法,而 projection ortho 和 fidelity:16 等价于 style 方法。 此外,在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法,课程后期会介绍。
2025-03-17
人物一致性
Midjourney 的角色一致性功能: 此功能类似于“风格参考”,但尝试使人物与“人物参考”图像相匹配。 使用方法:在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面,否则会报错。 可以使用`cw`来修改参考“强度”,从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性,可利用 MJ 重绘功能,在重绘提示词里输入`cref cw`。 若有黑边问题,可将黑边部分框住,重绘输入关键词“background”去除黑边,保证背景一致。 体验 MJ 网页版效果更佳,网址:https://alpha.midjourney.com/
2025-03-13
我有一份青年创新讲稿,想用自己的数字形象和我自己的声音讲解,背景要做一些和讲稿内容相符的视频。什么工具最称手呢?
以下是一些适合您需求的工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等领域。 2. Synthesia:一个 AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:一家提供 AI 拟真人视频产品服务和开发的公司,只需上传人像照片和输入要说的内容,平台的 AI 语音机器人会自动转换成语音,然后合成逼真的会开口说话的视频。 此外,还有以下工具供您参考: 1. 开源且适合小白用户的工具:具有一键安装包,无需配置环境,简单易用。其功能包括生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选,系统兼容 Windows、Linux、macOS,模型支持 MuseTalk(文本到语音)、CosyVoice(语音克隆)。使用时需下载 8G+3G 语音模型包,启动模型即可。相关链接:GitHub: 2. Google Veo 2:能生成逼真的 Vlog 视频,效果接近真实,几乎难以分辨,适合创作和内容制作。相关链接: 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意对生成内容的版权和伦理责任。
2025-04-02
我上传一个ai人物形象,有什么AI能驱动他当做数字人来口播,免费的那种
以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法: 1. HEYGEN: 优点:人物灵活,五官自然,视频生成很快。 缺点:中文的人声选择较少。 使用方法: 点击网址注册后,进入数字人制作,选择 Photo Avatar 上传自己的照片。 上传后效果如图所示,My Avatar 处显示上传的照片。 点开大图后,点击 Create with AI Studio,进入数字人制作。 写上视频文案并选择配音音色,也可以自行上传音频。 最后点击 Submit,就可以得到一段数字人视频。 2. DID: 优点:制作简单,人物灵活。 缺点:为了防止侵权,免费版下载后有水印。 使用方法: 点击网址,点击右上角的 Create vedio。 选择人物形象,可以点击 ADD 添加您的照片,或者使用 DID 给出的人物形象。 配音时,可以选择提供文字选择音色,或者直接上传一段音频。 最后,点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频,可以下载或者直接分享给朋友。 3. KreadoAI: 优点:免费(对于普通娱乐玩家很重要),功能齐全。 缺点:音色很 AI。 使用方法: 点击网址,注册后获得 120 免费 k 币,这里选择“照片数字人口播”的功能。 点击开始创作,选择自定义照片。 配音时,可以选择提供文字选择音色,或者直接上传一段音频。 打开绿幕按钮,点击背景,可以添加背景图。 最后,点击生成视频。 4. 剪映: 优势:作为字节跳动旗下的产品,在抖音平台上被广泛应用,海外版 CapCut 也有出色表现。其拥有六大 AI 功能,能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址:剪映 制作流程: 打开剪映,添加一个文本到文字轨道,并修改好需要朗读的文字。 点击朗读,并进行声音克隆,剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后,选择喜欢的数字人形象,并把自己的克隆音色换上去。 一键智能生成字幕,再自行调整文字样式并校准。 生成数字人: 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费的、适合的数字人形象。 当选择一个数字人形象时,软件会马上播放出该数字人的声音。点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮,查看生成的数字人效果。 增加背景图片: 可以直接删除先前导入的文本内容。 为视频增加背景图片,点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传。 点击图片右下角的加号,将图片添加到视频的轨道上(会覆盖数字人)。 点击轨道最右侧的竖线,向右拖拽,直到视频的最后,也就是和视频对齐。
2025-03-27
结合北京房山区文化、地标建筑、生态景观等内容,设计房山区中小学数学节 LOGO,要求巧妙融合数学元素(如几何图形、数学公式、数学符号等)与 AI 元素(如神经网络图案、代码片段、智能机器人形象等),生动诠释 “数学 + AI=?” 的主题内涵。
以下是为您整合的相关内容: 北京具有丰富多样的特色元素,包括经典地标如万里长城、天安门广场、故宫角楼、天坛等,见证了历史变迁;宜居生活方面,有独特的美食如豆汁儿、脆皮烤鸭、老北京炸酱面,以及充满京腔的日常生活;潮流文化新地标如国家博物馆、胡同里的新老交融、环球影城、798 等;未来科技方面,有西二旗的上班族日常、北大化学系科研 vlog、世界机器人大会等。 在海报设计方面,若对 AI 回答有疑问可再搜索确认,对于想用的项目要确认与北京的关系及能否使用;兔爷、戏曲金句等北京有名元素可用,金句可分化。做海报时可借鉴三思老师毛绒玩具美食系列,先找参考、做头脑风暴。比赛征集内容有四个赛道,若做系列海报,围绕金句或偏向北京非遗项目做系列较简单。用 AI 制作海报时,如制作北京地标糖葫芦风格海报,可用集梦 2.1 模型,以天坛等建筑为画面中心,注意材质、抽卡选图和细节处理。 对于设计房山区中小学数学节 LOGO,您可以考虑将房山区的特色文化、地标建筑、生态景观与数学元素(如几何图形、数学公式、数学符号等)和 AI 元素(如神经网络图案、代码片段、智能机器人形象等)相结合。例如,以房山区的著名建筑为主体,融入数学图形进行变形设计,同时添加一些代表 AI 的线条或图案,以生动诠释“数学 + AI=?”的主题内涵。
2025-03-18
形象照生成软件
以下是一些与形象照生成相关的内容: DALL·E 自动优化提示词:提供了关于绘画和数字方面的提示内容,包括提及绘画的种类、画布纹理、笔触形状和纹理,以及软件使用、阴影技术和多媒体方法等。还包括使用 DALL·E 3 生成图像的相关要求,如默认的方面比例、风格等,并强调遵循提示指南,避免违反服务条款和版权问题。 Han:优质 Prompts 分类精选 摸鱼辅助:可以帮助内向的人生成得体且简短的自我介绍和像素风格名片,通过提出一系列问题收集信息,然后生成自我介绍并结合形象照生成数字名片。 制作个人奥运头像:选用 MJ 软件进行生图,先生成基础图片,再对脸部重绘。输入部分使用 ChatGPT 生成人物描述,结合范例提示词添加中国人、中国运动服和项目场景描述,进行 MJ 绘图测试和局部重绘,还提到了处理流程图。
2025-03-12
哪些软件可以将2D形象转换为3D
以下是一些可以将 2D 形象转换为 3D 的软件: 1. Kaedim:专注于从图像到 3D 的转换。 2. Mirage:专注于从文本到 3D 的转换。 3. Hypothetic:对从文本到 3D 的搜索以及从图像到 3D 的转换都感兴趣。 4. Nvidia 的 Get3D:专注于从图像到 3D 的转换。 5. Autodesk 的 ClipForge:专注于从文本到 3D 的转换。 6. Tripo AI:能够利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 7. Meshy:不仅支持文本生成 3D,还支持图片生成 3D 以及 AI 材质生成。 8. CSM AI:支持从视频和图像创建 3D 模型。 9. Sudo AI:支持通过文本和图像生成 3D 模型,特别适用于游戏领域的模型生成。 10. VoxCraft:能够将图像或文本快速转换成 3D 模型,并提供了图像到 3D、文本到 3D 和文本到纹理等多种功能。
2025-03-06
如何让文生图片保持形象一致
要让文生图片保持形象一致,可以参考以下方法: 1. 首先进入文生图,填写提示词,例如“,一头白发的女孩坐在绿植和鲜花的田野里,温暖的灯光,模糊的前景”,设置常规参数生成一张图。 2. 若想以该人物为主角生成一系列其他图,将图片拖入到 ControlNet 中,预处理器选择 reference only,控制模型选择“均衡”,先将保真度数值设置为 1。 3. 在没有明确指向性提示词的情况下,人物形象能保持一致,但表情、动作、服装可能产生随机变化。 4. 可以通过添加关键词来给人物换装、更改服装和表情、更改动作和表情、更改姿态、环境和表情等,比如添加“红裙子”“黑色校服、哭泣”“抱手、生气”“在花丛中奔跑、开心”“红色棒球帽,时尚卫衣,在商场逛街”。 5. 像制作典籍类作品时,可对主要人物先出一版形象照,后续所有画面用“cref”做人物一致性的操作。 通过以上一系列操作和测试,可以发现这些功能在绘制系列插画、漫画、小说插图等工作时,能保持主角形象的统一,也能根据情况做实时的调整,若后期再配合 lora,潜力非常大。
2025-03-02
图生图, 如何保持幻想生物形象一致性
要在图生图中保持幻想生物形象的一致性,可以参考以下方法: 1. 对于 Midjourney ,可以采用特定的名人或有特殊属性的人物形象,先确定好影片风格,比如皮克斯动画风格,然后确定好人物形象,如角色的发型、穿着等细节。 2. 利用 Midjourney 的新功能 Cref ,先跑一张主角的定妆照,在需要出现主角人物的地方扔进去 Cref ,以保持发型、人脸、衣服等的一致性。但需要注意的是,Midjourney 对亚洲人脸的 Cref 一致性,尤其是亚洲老人的一致性效果相对较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以原则上能不用就不用,比如只有背影时,简单描述即可。 3. 生成动物形象,动物相对更容易保持一致性。
2025-02-14
关于生物医药科研方面,哪些AI比较适合
以下是一些在生物医药科研方面适合的 AI: 1. ChatGPT 和 Google Bard:在日常工作生活中很有用,极大加速了医疗健康生物制药的研究,在抗癌、抗衰老、早期疾病防治等研究应用中起着重要作用。 2. Scite.ai:是为研究人员、学者和行业专业人员打造的创新平台,提供引用声明搜索、自定义仪表板和参考检查等工具,能简化学术工作。(https://scite.ai/) 3. Scholarcy:是一款科研神器,能从文档中提取结构化数据,并通过知识归纳引擎生成文章概要,包含关键概念、摘要、学术亮点、学术总结、比较分析、局限等板块的内容。(https://www.scholarcy.com/) 此外,AI 在生物医药科研领域有很多最新进展,例如: 1. AI 提前三年诊断胰腺癌,如果当年有这个,也许乔布斯还在世:https://hms.harvard.edu/news/aipredictsfuturepancreaticcancer 2. 两名高中生与医疗技术公司 Insilico Medicine 及其人工智能平台 PandaOmics 合作,发现了与胶质母细胞瘤相关的三个新靶基因,这些基因对于有效对抗这种癌症至关重要:https://finance.yahoo.com/news/teenagegeniusesaiuncovercancer163541619.html 3. AI 帮助抗衰老;由 Integrated Biosciences 领导的一项最新研究通过使用人工智能筛查了超过 800,000 种化合物,专家们发现了三种高效的药物候选物,其药理学性质优于目前已知的抗衰老物质:https://www.earth.com/news/artificialintelligenceidentifiesnewantiagingcompounds/ 4. 使用 AI 寻找阿尔兹海默症的治疗方法;亚利桑那大学与哈佛大学共同利用人工智能对健康神经元在疾病进展过程中的分子变化研究,以识别阿尔茨海默病的原因和潜在药物靶点:https://medicalxpress.com/news/202305scientistsaidrugalzheimer.html 现在,我们正处于一个革命的起点,AI 正在工业化生物制药和医疗保健,被应用于从药物设计和诊断到医疗保健交付和后勤功能的各个方面。
2024-09-09
生物化学相关的AI工具
在生物化学领域,有许多AI工具可以帮助研究人员和学生进行数据分析、模拟实验、文献搜索和学习。以下是一些主要的AI工具和资源: 数据分析和模拟 a. 分子动力学模拟 GROMACS:用于分子动力学模拟和分析,适用于研究生物分子,如蛋白质、脂质和核酸的结构和动力学。 AMBER:分子动力学模拟软件包,用于模拟生物分子系统。 AutoDock:用于分子对接和虚拟筛选,帮助预测配体与受体的结合模式。 b. 计算化学 Gaussian:用于电子结构计算,帮助研究分子轨道和化学反应机制。 ORCA:开源量子化学软件包,适用于各种电子结构计算。 文献搜索和管理 a. 文献搜索 PubMed:国家生物技术信息中心(NCBI)提供的生物医学文献数据库,包含大量生物化学相关文献。 Google Scholar:学术搜索引擎,提供广泛的科学文献搜索。 b. 文献管理 Mendeley:文献管理和研究协作平台,帮助组织和分享研究文献。 Zotero:开源文献管理工具,支持多种文献格式和引用样式。 学习和研究辅助 a. AI 辅助学习 Quizlet:使用AI生成学习卡片,帮助记忆生物化学概念和术语。 Khan Academy:提供生物化学相关的免费在线课程和互动练习。 b. 智能笔记工具 Notion:多功能笔记工具,适用于组织和管理生物化学笔记和实验记录。 Evernote:支持多设备同步和智能搜索,帮助管理学习和研究笔记。 数据库和知识库 a. 生物数据库 PDB :提供蛋白质和核酸的三维结构数据。 UniProt:包含蛋白质序列和功能信息的综合数据库。 b. 化学数据库 PubChem:提供化学分子和化合物的信息,包括结构、性质和生物活性数据。 ChEMBL:生物活性药物和生物分子数据库,适用于药物发现和设计。 实验设计和分析 a. 实验数据分析 GraphPad Prism:用于生物统计学分析和图形制作,适用于生物化学实验数据分析。 Bioinformatics.org:提供各种生物信息学工具和资源,帮助分析生物化学实验数据。 b. 实验设计 DOE 工具:如JMP,帮助优化实验设计,提高实验效率和数据质量。 实施步骤 1. 确定需求:根据你的研究或学习需求,确定需要使用的AI工具和资源。 2. 选择工具:从上述列表中选择适合的工具,并了解其功能和使用方法。 3. 数据准备:收集和整理实验数据、文献和学习材料,准备输入到AI工具中进行分析和处理。 4. 使用和学习:使用AI工具进行数据分析、模拟实验、文献管理和学习,根据需要调整和优化使用策略。 5. 持续改进:根据分析结果和学习进展,不断调整和优化工具的使用,提高研究和学习效率。 通过这些步骤,你可以有效地利用AI工具进行生物化学研究和学习,提高效率和准确性。如果你有具体的研究课题或学习目标,可以告诉我,我可以提供更详细的建议和指导。
2024-07-11
大模型在电子信息、生物医药、金融、教育以及通用领域分别有哪些应用
大语言模型(Large Language Models,LLMs),如GPT系列、Llama等,因其强大的语言理解和生成能力,在多个行业中有着广泛的应用。以下是大语言模型在不同领域的应用实例: 电子信息领域 自动化编程:辅助代码生成和调试,提高开发效率。 技术文档编写:自动生成或辅助编写技术文档和用户手册。 智能客服:提供24/7的技术支持和客户咨询服务。 生物医药领域 文献分析:快速总结和解释科研论文,加速药物发现过程。 临床试验设计:辅助设计临床试验方案,提高试验设计的效率和准确性。 患者沟通:帮助医生和患者之间更有效地沟通,提供个性化的健康建议。 金融领域 市场分析报告:自动生成市场分析报告和投资摘要。 风险评估:分析金融文档,辅助风险管理和合规性检查。 智能投顾:提供个性化的投资建议和资产管理服务。 教育领域 个性化学习:根据学生的学习进度和兴趣推荐定制化的学习内容。 作业辅助:帮助学生完成作业,提供语言学习和写作辅助。 课程开发:辅助教师设计课程内容和教学计划。 通用领域 自然语言理解:用于各种语言处理任务,如文本分类、情感分析等。 内容生成:自动生成新闻文章、营销文案、社交媒体帖子等。 语音识别与合成:提高语音识别系统的准确性,生成自然听起来的语音。 其他跨领域应用 搜索引擎优化(SEO):帮助优化网站内容,提高搜索引擎排名。 多语言翻译:提供高质量的机器翻译服务。 聊天机器人:在客户服务、在线购物等领域提供自动化的交互体验。 大语言模型通过其强大的文本处理能力,正在不断推动各行各业的智能化转型。然而,这些模型也存在一些挑战,如可能产生偏见、误导性信息(俗称“幻觉”)以及对大量计算资源的需求。因此,在使用这些模型时,需要谨慎考虑其局限性,并结合人类的判断和干预。
2024-04-24