大模型可以修复老旧的分辨率低的视频吗

这个修复必须要使用StabilityAI官方的Stable Diffusion V2.1 512 EMA模型，放入stable-diffusion-webui/models/Stable-Diffusion/文件夹中。然后是StableSR模块（约400M大小）放入stable-diffusion-webui/extensions/sd-webui-stablesr/models/文件夹中。还有一个VQVAE（约750MB大小）放在你的stable-diffusion-webui/models/VAE中。这三个文件我会放在百度云盘的链接中。安装好之后，我们用一张从网上找的神仙姐姐的照片来做一个测试，这张图片的分辨率为512x768。放大之后看是比较模糊的，脸上有很多噪点，头发丝也糊在一起了。我们先使用“Ultimate SD upscale”脚本放大看一下，哪怕是重绘幅度只开到0.1，也可以看到人物细节的变化，比如嘴角、眼睛等部位，而且整个人磨皮很严重，失去了真实感。重绘幅度开到0.4之后，基本上就变了一个人了。所以，想要还原一些老照片，追求最大保真度的话，用重绘的方法是不太好的。接下来，我们再试验一下“后期处理”的放大方法，缩放3倍。眼神变得更锐利了一些，但是头发还是模糊的，因为原图就很模糊。最后，我们再测试一下StableSR的放大，先将大模型和VAE分别调整为我们刚才下载安装的“Stable Diffusion V2.1 512 EMA ”和“VQGAN vae”。打开脚本下拉，选择“StableSR”，模型选择和大模型对应的这个，放大倍数为3，下面勾选“pure noise”。

Sora的一个区别特征是其能够在原始尺寸上训练、理解和生成视频及图像，如图5所示。传统方法通常会调整视频的大小、裁剪或调整宽高比，以适应一个统一标准——通常是以固定低分辨率的正方形帧的短片段[27][28][29]。这些样本通常在更宽的时间跨度上生成，并依赖于分别训练的帧插入和分辨率渲染模型作为最后一步，这在视频中造成了不一致性。利用扩散变换器架构[4]（见3.2.4节），Sora是第一个拥抱视觉数据多样性的模型，并且可以在从宽屏1920x1080p视频到竖屏1080x1920p视频以及之间的任何格式上采样，而不会损害它们的原始尺寸。图5：Sora可以生成从1920x1080p到1080x1920p及其间任何尺寸或分辨率的图像。图6：Sora（右）与一个修改版的模型（左）之间的比较，后者将视频裁剪成正方形——这是模型训练中的一种常见做法——凸显了优势。在原始尺寸上训练数据显著改善了生成视频的构图和框架。经验发现，通过保持原始宽高比，Sora实现了更自然和连贯的视觉叙事。如图6所示，Sora与一个在统一裁剪的正方形视频上训练的模型之间的比较展示了明显的优势。Sora生成的视频展示了更好的框架，确保场景中完全捕捉到了主体，与正方形裁剪导致的有时被截断的视图相反。

基础模型用于低分辨率视频生成，然后通过级联扩散模型进行细化以提高分辨率。基础视频和超分辨率模型采用3D U-Net架构，以时空可分离的方式使用。该架构将时间注意力和卷积层与空间对应物结合起来，以有效捕获帧间依赖性。它采用v-预测参数化以确保数值稳定性，并使用条件增强来促进模型间的并行训练。该过程涉及对图像和视频的联合训练，将每个图像视为一个帧以利用更大的数据集，并使用无分类器引导[57]来增强提示的忠实度。应用渐进式蒸馏[58]来简化采样过程，显著减少计算负载同时保持感知质量。结合这些方法和技术，Imagen Video不仅能生成高保真度的视频，还能展现出卓越的可控性，如其生成多样化视频、文字动画和各种艺术风格内容的能力所示。14(a)额外的时间层。通过插入学习将帧对齐成时间一致序列的时间层，将预训练的LDM转变为视频生成器。在优化过程中，图像骨干θ保持固定，只有时间层li的参数ϕ接受训练。14(b)视频LDM堆栈。视频LDM首先生成稀疏关键帧，然后使用相同的潜在扩散模型进行两次时间插值以实现高帧率。最后，将潜在视频解码到像素空间，并可选地应用视频上采样器扩散模型。图14：视频LDM的整体框架。来源：视频LDM[36]。