Chat with Wiki - 视频生成

Answer

视频生成是当前 AIGC 领域的一个重要方面，以下是关于视频生成的详细介绍：

一、AIGC 概述中的视频生成分类 以生成方式划分，当前视频生成可分为文生视频、图生视频与视频生视频。视频生成涉及深度学习技术，如 GANs 和 Video Diffusion，现在的主流生成模型为扩散模型（Diffusion model）。视频生成可用于娱乐、体育分析和自动驾驶等各种领域。

二、与语音生成的结合 视频生成经常与语音生成一起使用。用于语音生成的模型可以由 Transformers 提供，可用于文本到语音的转换、虚拟助手和语音克隆等。这类 Generative AI 用于生成音频信号，常用的技术包括循环神经网络（RNNs）、长短时记忆网络（LSTMs）、WaveNet 等。

三、具有代表性的海外项目

Sora（OpenAI）：以扩散 Transformer 模型为核心，能够生成长达一分钟的高保真视频。支持文本生成视频、视频生成视频、图像生成视频，被定位为世界模拟器，在文本理解方面有出色表现，还能在单个生成的视频中创建多个镜头，保留角色和视觉风格。
Genie（Google）：采用 ST-transformer 架构，包括三个关键组件即潜在动作模型、视频分词器与动力学模型，拥有 110 亿参数，被定位为基础世界模型，可通过单张图像提示生成交互式环境。
WaveNet（DeepMind）：一种生成模型，可以生成非常逼真的人类语音。
MuseNet（OpenAI）：一种生成音乐的 AI 模型，可以在多种风格和乐器之间进行组合。
Multilingual v2（ElevenLabs）：一种语音生成模型，支持 28 种语言的语音合成服务。

四、生成带有文本提示和图像的视频 在 Advanced 部分，您可以使用 Seed 选项添加种子编号，以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置，则可以重新生成类似的视频剪辑。然后选择 Generate 生成。

五、PixVerse V2 的使用教程

输入提示词。
上传图片（如无图片上传，可忽略此步骤）。
选择视频时长，支持 5s 和 8s 的视频生成，选择后，每个 Scene 的时长都会保持这个长度。
添加新片段：
- 点击“Scene 1”旁边的“＋”，为视频添加第二个片段。
- 在 Scene 2 中，您可以为 Scene2 输入不同于 Scene 1 的提示词，其它操作与之前相同。
生成视频：点击图标生成视频。该模式下，每次生成需要花费 30Credits，且默认将所有片段拼接在一起，不支持单片段下载。
编辑生成的视频：点击视频进入编辑页面。
- 视频下方分别为：角色，环境，动作。如生成的视频不满意，您可从相应的下拉选项中选择想要的效果。
- 上方为进度条，通过点击切换 Scene，可一次性对多个 Scene 进行编辑后一起生成。
- 对所有 Scene 编辑完成后，点击“Create”，可重新生成视频。未修改的 Scene，再次生成时也会改变，不会与之前生成的视频保持一致。

Content generated by AI large model, please carefully verify (powered by aily)

References

2024AIGC法律风险研究报告（更新版）.pdf

4AIGC法律风险研究报告以生成方式划分，当前视频生成可分为文生视频、图生视频与视频生视频。视频生成（video generation）也涉及深度学习技术，如GANs和Video Diffusion，现在的主流生成模型为扩散模型（Diffusion model）。视频生成可用于各种领域，如娱乐、体育分析和自动驾驶。视频生成经常可以看到与语音生成（speech generation）一起使用。用于语音生成的模型可以由Tranformers提供。语音生成可用于文本到语音的转换、虚拟助手和语音克隆。这类Generative AI用于生成音频信号，如音乐、语音或其他声音。常用的技术包括循环神经网络（RNNs）、长短时记忆网络（LSTMs）、WaveNet等。[heading1]一些具有代表性的海外项目：[content]➢Sora（OpenAI）：以扩散Transformer模型为核心，能够生成长达一分钟的高保真视频。支持文本生成视频、视频生成视频、图像生成视频，被定位为世界模拟器，在文本理解方面有出色表现，还能在单个生成的视频中创建多个镜头，保留角色和视觉风格。➢Genie（Google）：采用ST-transformer架构，包括三个关键组件即潜在动作模型、视频分词器与动力学模型，拥有110亿参数，被定位为基础世界模型，可通过单张图像提示生成交互式环境。➢WaveNet（DeepMind）：一种生成模型，可以生成非常逼真的人类语音。➢MuseNet（OpenAI）：一种生成音乐的AI模型，可以在多种风格和乐器之间进行组合。➢Multilingual v2（ElevenLabs）：一种语音生成模型，支持28种语言的语音合成服务。

生成带有文本提示和图像的视频

In the Advanced section,you can use the Seed option to[add a seed number](https://helpx.adobe.com/firefly/generate-video/generate-video-clips/generate-video-faq.html#what-is-a-seed)that helps start the process and controls the randomness of what the AI creates.If you use the same seed,prompt,and control settings,you can regenerate similar video clips.在Advanced部分，您可以使用Seed选项[添加种子编号](https://helpx.adobe.com/firefly/generate-video/generate-video-clips/generate-video-faq.html#what-is-a-seed)，以帮助启动流程并控制AI创建的内容的随机性。如果使用相同的种子、提示和控制设置，则可以重新生成类似的视频剪辑。Select Generate.选择Generate（生成）。

PixVerse V2 使用教程

[heading2]上传图片[content]PixVerse V2支持文生和图生视频，如无图片上传，可忽略此步骤。[heading2]选择视频时长[content]PixVerse V2支持5s和8s的视频生成，选择后，每个Scene的时长都会保持这个长度。[heading2]添加新片段[content]在该模式下，所有Scene画面风格都会与Scene 1保持一致，如Scene 1有图片，则会参考Scene 1中的图片风格。[heading3]添加Scene 2[content]点击“Scene 1”旁边的“＋”，为视频添加第二个片段。[heading3]编辑Scene 2[content]在Scene 2中，您可以为Scene2输入不同于Scene 1的提示词，其它操作与之前相同。[heading3]编辑其它Scene[content]重复以上步骤，您可以为视频添加多个Scene，最多支持5个Scene的同时生成。[heading2]生成视频[content]点击图标，生成视频。该模式下，每次生成需要花费30Credits，且默认将所有片段拼接在一起，不支持单片段下载。[heading2]编辑生成的视频[content]点击视频进入编辑页面。[heading3]编辑视频[content]视频下方分别为：角色，环境，动作。如生成的视频不满意，您可从相应的下拉选项中选择想要的效果。[heading3]编辑多个Scene[content]上方为进度条，通过点击切换Scene，可一次性对多个Scene进行编辑后一起生成。[heading3]生成视频[content]对所有Scene编辑完成后，点击“Create”，可重新生成视频。未修改的Scene，再次生成时也会改变，不会与之前生成的视频保持一致。