以下是近一个月 AI 能力更新的相关产品情况:
这半年来,除传统的文生视频、图生视频能力迭代外,当前的主要技术发展还围绕着通过转绘改变画风、视频内人物识别和替换方向。1.在服务头部创作者方面,各家产品未来会逐渐转向编辑器能力增强,强化视频细节可控性,并逐渐将剪辑、音效生成匹配等后期制作任务智能化,逐步转变当前AI创作者跨N个产品完成创作的现状。2.影视后期方向,未来可以将动捕演员的表演直接转化为虚拟角色,大大提高特效制作效率。3.专业领域,创作者未来可以快速通过草图分镜验证效果。例如动画制作产品Fable在今年4月试水了Prism Beta功能。用户可以制作简单的几何图形串联的动画逐帧渲染实现更丰富的动画效果。但目前效果还不够成熟。4.随着实时生成能力的进一步提升,生成成本的下降,AI实验性艺术在博物馆、展览等互动应用将会增多。5.在C端大众消费侧,看好AI视频在小说、网文阅读、短情景剧等内容消费方向发挥潜力;另外人物识别和替换也可以衍生电商平台虚拟试衣间能力。6.Viggle、DomoAI的产品中的模板套用能力若以更低成本开放在短视频产品中,可能会带来短视频平台效果模板新的爆发周期。
Dream Machine目前功能很简单,目前仅支持txt2vid文生视频和img2vid图生视频两种能力,除了相机运动,另外支持Extend延长4s、循环动画、首尾帧动画能力。[heading3]txt2vid文生视频[content]8月底最新发布的Dream Machine 1.5增强了提示词理解能力和视频生成能力,令我惊讶的是,Luma对视频内文字的表现也非常强,这是除Runway Gen3、海螺AI以外的产品目前无法实现的效果。[Luma txt2vid.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/DACKbCHYIoyQ1OxSAh7cKcywneE?allow_redirect=1)[heading3]img2vid图生视频[content]前阵子我在对各个产品最新模型做测评,感慨于Pika labs效果很好但过于模糊,Runway则总是生成诡异的运动…这些产品的表现仿佛都和宣传片有很大区别。而这正是Luma AI本次更新中最惊艳的一趴,官网公布的视频案例并没有骗人。其img2vid生成效果在多方面远超Pika labs、Runway等产品,是目前可公开体验的AI视频生成领域的王者之一,主要体现在以下方面:生成时长较长(5s),24帧/s,非常丝滑运动幅度更大,能产生相机的多角度位移[Twitter video.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/R3Dsb1bGSoKeulx4CPMcNFhPnng?allow_redirect=1)提示词中增加无人机控制的视角变化By:edmondyang运动过程中一致性保持的比较好,有时仿佛图片变成了3D模型分辨率高,且有效改善了运动幅度大带来的模糊感,这点是pika labs一直以来困扰我的问题
前两个场景制作于9月初,主要针对AI视频生成最火的Runway(Gen-3)、Luma AI(Dream Machine1.5)、可灵1.0进行了测试。[heading3]txt2vid[content]测试了5个不同场景的表现,Runway、Luma各有千秋,可灵1.0在清晰度、语义理解、画面绘制上还有较大提升空间。[txt2vid效果整体测评.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/I1UubCF39oP65Pxbm0xcHzhlnNf?allow_redirect=1)[heading3]img2vid[content]Runway在光影效果中表现得不够真实,但综合下来对各场景的支持度都比较高。Kling 1.0综合表现依然很差,但在人物特写、光影上确实有着不俗的表现,Luma则在人物特写上显得非常弱势,处理抽象材质运动时表现不凡。[img2vid效果测评.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/D7c6b8QXtozbhSxqueXcCGymn1g?allow_redirect=1)[heading3]Kling1.0 vs 1.5[content]可灵1.5与Luma、Runway Gen-3的差距肉眼可见地在缩小(该案例测评于9月末)。[Kling 1.5 vs1.0.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/LkI3bZN3Xoyw5vxLHN4ceDDNnNe?allow_redirect=1)[heading2]AI视频产品能力排名[content]以下均为个人多次测试的主观感受,可能会存在测试数据不足、内容维度有限的问题,欢迎大家拍砖补充~