以下是关于 AI 视频前沿的相关信息:
AI 视频学社:
2024 人工智能报告:
AI 视频生成产品推荐及实践教学:
这个板块是为AI视频建立,方便大家测试学习AI视频的相关知识和内容。[heading1]学社简介[content]小伙伴们可以在AI视频学社通过参与每周举办的比赛,快速学习AI视频的相关知识。并且每周有高手直播直播分享,会分享AI视频和影视创作领域最前沿的知识。欢迎大家来AI视频学社一起学习,一起共创属于自己的AI视频。[heading1]学社目标[content]1.有直播:不定期直播,AI视频方向高手直播分享。2.赛中学:每周固定1次,video battle视频挑战赛,每周一发布主题,每周日18点前交稿,有奖品。3.有活动:不定期组织AI视频线上或者线下活动。4.学知识:大家一起学习AI视频最新软件和最新知识,学习图生视频,视频生视频等的技巧。[heading1]软件教程[content][AI视频:软件教程](https://waytoagi.feishu.cn/wiki/UvHUw3wGriB2uvkuWkacwSc1nTy)[heading1]每周一赛[content][Video Battle AI视频挑战赛](https://waytoagi.feishu.cn/wiki/RmY4wqZ6biVvbxkiTPVcnVdNngb)
**中国开源项目在今年赢得全球粉丝,并且已经成为积极开源贡献者。**其中几个模型在个别子领域中脱颖而出,成为强有力的竞争者。DeepSeek在编码任务中已成为社区的最爱,其组合了速度、轻便性和准确性而推出的deepseek-coder-v2。阿里巴巴最近发布了Qwen-2系列,社区对其视觉能力印象深刻,从具有挑战性的OCR任务到分析复杂的艺术作品,都完成的非常好。在较小的一端,清华大学的自然语言处理实验室资助了OpenBMB项目,该项目催生了MiniCPM项目。这些是可以在设备上运行的小型<2.5B参数模型。它们的2.8B视觉模型在某些指标上仅略低于GPT-4V。2024年是AI图像视频迅速发展的一年,这个赛道竞争异常激烈国外Stability AI发布的Stable Video Diffusion,是第一个能够从文本提示生成高质量、真实视频的模型之一,并且在定制化方面取得了显著的进步。并且在今年3月,他们推出了Stable Video 3D,该模型经过第三个对象数据集的微调,可以预测三维轨道。OpenAI的Sora能够生成长达一分钟的视频,同时保持三维一致性、物体持久性和高分辨率。它使用时空补丁,类似于在变压器模型中使用的令牌,但用于视觉内容,以高效地从大量视频数据集中学习。除此之外,Sora还使用了其原始大小和纵横比的视觉数据进行训练,从而消除了通常会降低质量的裁剪和缩放。Google DeepMind的Veo将文本和可选图像提示与嘈杂压缩视频输入相结合,通过编码器和潜在扩散模型处理它们,以创建独特的压缩视频表示。然后系统将此表示解码为最终的高分辨率视频。
该产品年初在互联网爆火,泥塑人物的风格化视频想必大家都不陌生:Runway由一家总部位于旧金山的AI创业公司制作,其在2023年初推出的Gen-2代表了当前AI视频领域最前沿的模型。能够通过文字、图片等方式生成4s左右的视频。Runway致力于专业视频剪辑领域的AI体验,同时也在扩展图片AI领域的能力。目前Runway支持在网页、iOS访问,网页端目前支持125积分的免费试用额度(可生成约105s视频),iOS则有200多,两端额度貌似并不同步,想要更多试用次数的朋友可以下载iOS版本。官方网站:https://runwayml.com/[heading4]Gen-1和Gen-2的区别和使用方法[content]Gen-1Gen-1的主要能力有:视频生视频(Video 2 Video)、视频风格化、故事版(将实体模型风格化)、遮罩等其中,仅支持视频生视频是Gen-1和Gen-2的最大差异。Gen-1使用流程:Gen-1能力介绍:https://research.runwayml.com/gen1Gen-1参数设置:https://help.runwayml.com/hc/en-us/articles/15161225169171也可以看这个视频学习Gen-1的详细设置方式:https://youtu.be/I4OeYcYf0Sc