AI 视频生成主要包含以下方面:
技术发展概况: 长期以来,人们对 AI 视频技术应用的认知多在“换脸”和视频特效上。随着 AI 图像领域技术发展,AI 视频技术取得突破。从交互方式看,主要分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像再构建为视频序列,也有直接端到端生成视频的技术,如基于 GAN、VAE、Transformer 的方法。微软 NUWA-XL 通过逐步生成视频关键帧形成“粗略”故事情节,然后通过局部扩散模型递归填充附近帧之间的内容。
本文作者Bay,写于23.09月底,关注公众号“Bay的设计奥德赛”接受及时推送本篇通过产品介绍和丰富的案例实践,带你了解AI视频有哪些产品,效果如何实现。若从生成方式分类,AI视频生成包含:1.文生视频、图生视频(Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation)2.视频生视频:又分逐帧生成(SD+Mov2Mov)、关键帧+补帧(SD+Ebsynth、Rerender A Video)、动态捕捉(Deep motion、Move AI、Wonder Dynamics)、视频修复(Topaz Video AI)3.AI Avatar+语音生成:Synthesia、HeyGen AI、D-ID4.长视频生短视频:Opus Clip5.脚本生成+视频匹配:Invideo AI6.剧情生成:Showrunner AI若从产品阶段和可用维度分类:下面将按照上图维度进行产品介绍。
在盘点完全部产品后,我感受到AI视频产品目前面向的主要受众群体有:(1)专业创作者(艺术家、影视人等):AI生成能够为作品赋予独特风格和想象力,为创作者提供灵感,配合高超的剪辑技巧和叙事能力,便可以制作出超乎想象的效果。低成本动捕更是能够大幅降低后期制作的门槛和成本,自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑,为后期制作增加更多空间。目前该应用主要集中在音乐MV、短篇电影、动漫等方向。一些AI视频平台也积极寻求创意合作,为创作者提供免费支持。@valleeduhamel使用现有的素材、Gen-1和大量合成创作了新电影《After Light》的过程分享Ammaar Reshi的团队使用Stable WarpFusion+Davinci Resolve制作完整的动漫剧情,制作过程分享(2)自媒体、非专业创作者:这部分人群通常有着非常具体且明确的视频剪辑痛点。a.比如科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。一些产品(Invideo AI、Pictory)已经在发力脚本生成分镜、视频,帮助创作者降低视频素材制作门槛。Gamma AI已经实现了文章高效转PPT的能力,若能结合Synthesia、HeyGen AI、D-ID等产品的Avatar、语音生成能力也可快速转化为视频内容。b.不同平台适合不同内容形式,创作者想要将同一个素材在不同平台分发就意味着制作成本的升高。而OpusClip提供的长视频转短视频致力于解决这一痛点。(3)企业客户:对于没有足够视频制作资金的小企业、非盈利机构来说,AI视频生成可以为其大幅缩减成本。
本文作者Bay,写于23.09月底,关注公众号“Bay的设计奥德赛”可接受及时推送AI生成视频发展到什么程度了,效果如何?有哪些可用的产品方案?网上炫酷的效果如何实现?AI视频的应用场景和案例有哪些?本着对以上问题的探索,我开启了AI视频系列的探索。上篇将着重介绍技术发展概况和应用场景思考。[heading2]一.技术发展概况[content]长期以来,人们对AI视频技术应用的认知停留在各种“换脸”和视频特效上。随着AI图像领域的技术发展,AI视频技术也逐渐取得了突破。本节内容结合Claude、Perplexity查询、项目论文整理而成。[heading2]1.1生成方法[content]从交互方式来看,当前AI视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术,无需进行多阶段处理即可生成视频,如基于GAN、VAE、Transformer的方法。微软NUWA-XL:通过逐步生成视频关键帧,形成视频的“粗略”故事情节,然后通过局部扩散模型(Local Diffusion)递归地填充附近帧之间的内容