Sora 是 OpenAI 发布的一个文本到视频的生成模型。
其能力标志着人工智能在创意领域的重大飞跃,能够根据描述性的文本提示生成高质量的视频内容。它不仅可以创造出逼真且充满想象力的场景,还能生成长达 1 分钟的一镜到底的超长视频,视频中的人物和场景具有很高的一致性和稳定性。
本技术报告侧重于:(1)将各类视觉数据转换为统一表示的方法,使大规模训练生成模型成为可能;(2)对 Sora 能力和局限性的定性评估。但模型和实现细节未在报告中包括。
目前 OpenAI 并没有公开发布 Sora 的计划,而是选择仅向少数研究人员和创意人士提供有限的访问权限,以便获取他们的使用反馈并评估技术的安全性。
Sora是OpenAI发布的一个文本到视频的生成模型。它可以根据描述性的文本提示生成高质量的视频内容。Sora的能力标志着人工智能在创意领域的重大飞跃,它有望将简单的文本描述转变为丰富的动态视频内容。Sora模型的发布,虽然在技术界引起了广泛的关注和讨论,但目前OpenAI并没有公开发布Sora的计划,而是选择仅向少数研究人员和创意人士提供有限的访问权限,以便获取他们的使用反馈并评估技术的安全性。
卷疯了卷疯了,短短十几小时内,OpenAI和谷歌接连发布核弹级成果。国内还没睡的人们,经历了过山车般的疯狂一晚。就在刚刚,OpenAI突然发布首款文生视频模型——Sora。简单来说就是,AI视频要变天了!它不仅能够根据文字指令创造出既逼真又充满想象力的场景,而且生成长达1分钟的超长视频,还是一镜到底那种。Runway Gen 2、Pika等AI视频工具,都还在突破几秒内的连贯性,而OpenAI,已经达到了史诗级的纪录。60秒的一镜到底,视频中的女主角、背景人物,都达到了惊人的一致性,各种镜头随意切换,人物都是保持了神一般的稳定性。
本技术报告侧重于(1)我们将各类视觉数据转换为统一表示的方法,该方法使得大规模训练生成模型成为可能,以及(2)对Sora能力和局限性的定性评估。模型和实现细节不包括在本报告中。Much prior work has studied generative modeling of video data using a variety of methods,including recurrent networks,generative adversarial networks,autoregressive transformers,and diffusion models.These works often focus on a narrow category of visual data,on shorter videos,or on videos of a fixed size.Sora is a generalist model of visual data—it can generate videos and images spanning diverse durations,aspect ratios and resolutions,up to a full minute of high definition video.以往的许多研究通过使用各种方法对视频数据进行生成建模,包括循环网络、生成对抗网络、自回归变换器和扩散模型。这些工作通常关注于视觉数据的狭窄类别、较短视频或固定大小的视频。Sora是一个视觉数据的通用模型——它可以生成持续时间、纵横比和分辨率各异的视频和图像,长达一分钟的高清视频。