目前难以直接明确可灵和即梦哪个生成视频的能力更强。
Google DeepMind 和 OpenAI 展示了强大的文本到视频扩散模型预览,但访问受限且技术细节披露不多。Meta 更进一步,将音频加入其 Movie Gen 模型。
在 2024 年,国内涌现出一系列 AI 生成视频工具,如可灵、即梦、智谱清影等,生成结果甚至远超国外。
即梦是剪映旗下的,生成 3 秒视频,动作幅度有很大升级,有最新的 S 模型和 P 模型。可灵支持运动笔刷,1.5 模型可以直出 1080P30 帧视频。
在图生视频方面,市面上主要的工具包括可灵、即梦、Luma,核心方法是穷举和不断调整 prompt 来设计人物动作、辅助镜头运镜等。
Google DeepMind和OpenAI都给我们展示了强大的文本到视频扩散模型的预览。但访问仍然受到严格限制,而且他们也没有提供很多技术细节。Meta更进一步,将音频加入其中,Movie Gen的核心是一个30亿视频生成和一个13亿音频生成模型,可以分别以每秒16帧的速度生成16秒的视频,并以每秒45秒的速度生成音频片段。这些模型利用了文本到图像和文本到视频任务的联合优化技术,以及为任意长度的视频生成连贯音频的新颖扩展方法。**小编说明:**在这份报告中,原作者并没有对中国的AI生成图,生成视频的工具展开详细说明,只说明中国可灵与国外AI生成工具在竞争中。但着这并不代表中国有关该功能AI工具落后于国外。在2024年,国内涌现类似可灵、即梦、智谱清影等等一系列AI生成视频工具,其生成结果甚至远超国外,详情大家可以查看小编之前实测的[8款国内外免费AI生成视频工具对比实测!我们真的可以做到“一人搞定一部影视作品“吗?](https://link.juejin.cn/?target=https%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fmp.weixin.qq.com%2Fs%253F__biz%253DMzkyNTI3NTY1Ng%253D%253D%2526mid%253D2247510194%2526idx%253D1%2526sn%253D5c00bae4b0830b35881ff977d1575714%2526chksm%253Dc1cbebd5f6bc62c3607525e1e6c78384bbfde23bcaea339121db6004414ee1fe0439c9530cea%2526scene%253D21%2523wechat_redirect)
|网站名|网址|费用|优势/劣势|教程||-|-|-|-|-||Runway|https://runwayml.com||有网页有app方便|[工具教程:Runway Gen-3](https://waytoagi.feishu.cn/wiki/Eun9wqDgii1Q7GkoUvCczYjln7r)||即梦|https://dreamina.jianying.com/|剪映旗下|生成3秒,动作幅度有很大升级,最新S模型,P模型|[工具教程:Dreamina即梦](https://waytoagi.feishu.cn/wiki/AxZuwUQmEipTUEkonVScdWxKnWd)||Kling|kling.kuaishou.com||支持运动笔刷,1.5模型可以直出1080P30帧视频|[视频模型:可灵](https://waytoagi.feishu.cn/wiki/GevKwyEt1i4SUVk0q2JcqQFtnRd)||Vidu|https://www.vidu.studio/|||[视频模型:Vidu](https://waytoagi.feishu.cn/wiki/AL93whR9RiAVmekqyflcBkfpn5b)||haiper|https://app.haiper.ai/|||||Pika|https://pika.art/||可控性强,可以对嘴型,可配音|[工具教程:Pika](https://waytoagi.feishu.cn/wiki/V150wUonIiHafQkb8hzcO1E5nCe)<br>[群友分享入门教程](https://mp.weixin.qq.com/s/maLCP_KLqZwuAxKd2US_RQ)||智谱清影|https://chatglm.cn/video||开源了,可以自己部署cogvideo|[工具教程:清影](https://waytoagi.feishu.cn/wiki/PxKiwpqe2iTk0HkYJz6cYclAnjf)||PixVerse|https://pixverse.ai/||人少不怎么排队,还有换脸功能|[工具教程:Pixverse](https://waytoagi.feishu.cn/wiki/LPuqwx3kuiTMfIkXDPDckosDndc)||luma|https://lumalabs.ai/|||[视频模型:luma Dream Machine](https://waytoagi.feishu.cn/wiki/EOCmw4SMhiEMMBkvNePcz1Jxntd)||Minimax海螺AI|https://hailuoai.video/||非常听话,语义理解能力非常强|[视频模型:海螺AI](https://waytoagi.feishu.cn/wiki/P5YDwefzOi5QuEk5tq6crsVwnZg)||SVD|https://stablevideo.com/||对于景观更好用|[工具教程:StableVideo](https://waytoagi.feishu.cn/wiki/Hf1cwooP5iRH2zkJ6RrcAKLunWb)|
图生视频:图生视频主要市面上几个工具:可灵、即梦、Luma,核心方法就是穷举,不断地抽卡,在抽卡的过程中不断调整prompt,比如设计人物的动作、辅助镜头的运镜。运镜效果:在视频制作中,我们结合使用了Runway的文本生成视频和Steerable Motion技术,实现了复杂的镜头运动。这些技术让我们的镜头更具动态感和视觉冲击力。镜头拼接:我们采用首尾帧图生视频技术,将多个短镜头拼接成连续的长镜头,提高了画面的连贯性和流畅度。