是的,AI可以基于人物图片生成相应的场景。这种技术通常被称为“场景生成”或“背景替换”,并且已经被应用于多个领域,包括但不限于:
照片编辑软件:一些照片编辑软件和应用程序使用AI来识别人物并替换背景,例如Adobe Photoshop的最新版本。
在线服务:存在一些在线服务和工具,它们提供自动背景替换功能,用户只需上传图片,AI就会处理并提供一个新背景的版本。
移动应用程序:一些手机应用程序也集成了类似的AI功能,允许用户在移动设备上快速更换照片背景。
专业工具:对于更高级的用途,如电影制作或视频游戏开发,专业的软件工具可以利用AI来创建复杂的场景和环境。
个性化内容:AI还可以根据人物图片生成个性化的虚拟场景,例如将用户放置在虚拟的度假胜地或特定活动场景中。
社交媒体:一些社交媒体平台和应用程序提供滤镜和效果,使用AI将用户放置在不同的虚拟背景中,用于分享。
AI艺术创作:AI艺术生成工具,如Stable Diffusion或Midjourney,可以根据文本描述或图片生成艺术作品或场景。
视频制作:AI视频生成工具,如VEED.IO或Clipfly,可以用于视频编辑,包括背景替换和场景生成。
要使用这些工具,你通常需要上传人物图片,然后AI会分析图片内容,识别人物和背景,接着根据用户的选择或预设的模板生成新的背景或场景。这些工具的准确性和生成的图像质量可能会因不同的AI模型和算法而异。
prompt:场景+风格(一套绘本中风格词语不要改变)super high details,HDsmooth,by Jon Burgerman,--s 400 --niji 5 --style expressive --ar 3:4为了使得熊和人物有更好的互动感,生成场景时也包括人物主角如场景2,prompt:Walking in a mysterious cave with glittering gems,little girl Lily wearing a yellow floral skirt,her friend brown bear,dim,dreamlike,super high details,HDsmooth,by Jon Burgerman,--s 400 --niji 5 --style expressive --ar 3:4抠图由于我们只需要得到一张场景图像,使用mj的region vary工具将小女孩完全框选,在提示词中完全删除Lily的描述词,重新生成得到场景图像。依次得到4个场景的图像:
(这张双人关系的图我最后没用,因为四个工具都跑不出稳定的视频,我懒得Roll了)(角色一:扎马尾、穿白色T恤、穿牛仔裤的14岁女孩)(角色二:戴眼镜、灰色头发、穿灰色短衬衫的50岁男人)接着,确定了主场景,主场景是四面都是书柜的屋子,但是场景一致性太难保持了,所以我们取巧,用了穿书的方式,把场景分布到不同地区。在室内的镜头,因为AI对书房的理解也还比较相似,尽管有些穿帮的地方,还好主场景出现的时间不算长,倒也还能接受。解决了人物和场景一致性的问题,生图的障碍就还是双人关系镜头的部分。但这次要比上个视频做起来稍微容易一些,因为至少生成关系镜头没有那么麻烦了,MJ的语义理解好多了,部分镜头我们还比较喜欢,比如女孩能在镜子里看到妈妈这个镜头。但我们要自由地生成同场戏内不同角度的关系镜头,还是很难。比如女孩发现不对劲之后,回到书店,问阿叔怎么回事,阿叔没有说话,女孩生气离开这场戏,其实还需要一个两人在书店走廊里的中景或全景镜头,去展示两人的位置关系,但Roll得有点累了。
由于在工作中,经常会涉及到使用人物素材完成Banner设计的工作,于是最近开始探索关于[Midjourney](https://www.uisdc.com/tag/midjourney)进行AI人物生成的相关测试,同时将这一段时间的经验分享出来。刚开始接触和使用Midjourney的时候,最大的问题在于生成的人物图片无法保证人物位置的大小和视角,想要固定某一种动作,只能通过垫相同动作的图片的这种方式去解决。后来经过一些了解摄影的朋友,通过他们了解到这些都是可以通过摄影的知识来补充的这方面短板的。后来我去咨询了ChatGPT,它确实给了我一些很有用的方向。根据ChatGPT的建议,我这里将生成AI人物类型图片的方向确定为一下7方面:1.人物构图的视角选择2.人物角度的选择3.人物距离的选择4.人物表情的选择5.人物氛围感的选择6.人物服装的选择7.人物风格的选择通过这7个方向,我们来进行了实验。