训练模型进行标题改写可以参考以下方法：
Sora 模型：
对于视频标题改写，首先训练一个能够为视频生成详细描述的视频标题生成器。可利用 CoCa 架构进行视频标题生成，如 VideoCoCa，通过取视频的多个帧并将每个帧输入到图像编码器，产生的帧令牌嵌入被展平并连接成一个长序列的视频表示，再由生成性池化器和对比性池化器处理，与对比损失和标题生成损失一起联合训练。构建视频标题生成器的其他替代方法包括 mPLUG2、GIT、FrozenBiLM 等。为确保用户提示与训练数据中的描述性标题格式一致，执行额外的提示扩展步骤，用 GPT4V 将用户输入扩展为详细的描述性提示。
对于语言指令跟随，通过开发一个能够生成长而详细标题的字幕器，然后用这些标题来训练模型。但收集用于训练此类字幕器的数据的过程未知，且可能需要大量劳动。
DALL·E 3 模型：通过用详细、描述性的标题重新标注现有图像来解决指令遵循问题。首先训练一个图像标题生成器，这是一个视觉语言模型，用于生成精确和描述性的图像标题。然后，使用标题生成器生成的描述性图像标题来微调文本到图像模型。具体来说，DALL·E 3 遵循对比标题生成器（CoCa）的方法，联合训练一个图像标题生成器，该生成器具有 CLIP 架构和一个语言模型目标。进一步在详细描述图像的主要对象、周围环境、背景、文本、风格和颜色方面进行微调后，图像标题生成器能够为图像生成详细的描述性标题。文本到图像模型的训练数据集是由图像标题生成器生成的重新标注数据集和真实人类编写的数据混合而成，通过上采样来解决实际用户提示与训练数据中的描述性图像描述之间的不匹配问题。
关于 Midjourney 的训练 prompt：
The issue with DMs is that the powerful ones often consume hundreds of GPU days,and inference is quite expensive due to sequential evaluations.To enable DM training on limited computational resources without compromising their quality as well as flexibility,DMs are applied in the latent space of powerful pretrained autoencoders.
Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling highresolution convolutionbased synthesis.
Midjourney 会例行发布新的模型版本以提高效率、连贯性和质量。最新的模型是默认的，但可以使用 version 或 v 参数或通过 /settings 命令选择其他模型版本。不同的模型在不同类型的图像上表现出色。Midjourney V5 模型是最新和最先进的模型，于 2023 年 3 月 15 日发布。使用此模型，可在 prompt 末尾添加 v 5 参数，或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言提示，分辨率更高，并支持诸如 tile 等高级功能。其新特点包括更广泛的风格范围、对提示更敏感、更高的图像质量、更详细的图像、细节更可能正确以及更少不需要的文本。
2024-12-19