文生视频

以下是关于文生图 API 的相关信息： 10 月 AI 行业大事记中，LiblibAI 开放了全新生图 API。 文生图的简易上手教程如下： 定主题：明确生成图片的主题、风格和要表达的信息。 选择 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：通常选择 840000 即可。 CLIP 跳过层（Liblibai 中）：设为 2。 Prompt 提示词：用英文写想要生成的内容，以单词和短语组合，用英文半角逗号隔开，无需考虑语法和长句。 负向提示词 Negative Prompt：同样用英文单词和短语组合，隔开方式相同，写明想要避免生成的内容。 采样方法：一般选 DPM++2M Karras 较多，也可参考模型作者推荐的采样器。 采样次数/迭代步数：选 DPM++2M Karras 时，通常在 30 40 之间，过多意义不大且慢，过少出图效果差。 尺寸：根据个人喜好和需求选择。 生成批次（Liblibai 中）：默认 1 批。 对于 ControlNet 和局部重绘，可后续再学习。

以下是一些国内的免费文生图 AI 工具： Hidreamai：https://hidreamai.com//AiVideo ，支持文生视频、图生视频，提示词使用中文、英文都可以，文生视频支持多种控制，可生成 5s 和 15s 的视频。 ETNA：https://etna.7volcanoes.com/ ，由七火山科技开发，能根据简短文本描述生成 8 15 秒、画质达 4K 的视频，支持中文。 Dreamina：https://jimeng.jianying.com/aitool/video/generate ，在内测中，有免费额度，支持多种生成方式和控制，默认生成 3s 的视频。 可灵：https://klingai.kuaishou.com/ ，支持文生视频、图生视频，提示词可使用中文，默认生成 5s 的视频。 更多相关工具可查看：https://www.waytoagi.com/category/38 。请注意内容由 AI 大模型生成，请仔细甄别。

以下是一些常见的文生图大模型： 1. SD（StableDiffusion）：如 majicmixRealistic_v6.safetensors 模型，可通过设置相关提示词、参数等生成图像。 2. 快手 Kolors：这是一个基于潜在扩散的大规模文本生成图像模型，在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面有显著优势，支持中文和英文输入。其相关资源包括工作流与模型地址、文档说明、项目地址等。 开源代码：https://github.com/KwaiKolors/Kolors 模型权重：https://huggingface.co/KwaiKolors/Kolors 官方页面：https://kwaikolors.github.io/ 企业页面：https://kolors.kuaishou.com/

以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。

给文生图 AI 模型打分的权威标准通常包括以下方面： 1. 图像生成质量：如清晰度、细节丰富程度、色彩准确性等。 2. 多样性：生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性：生成的图像与输入的文本描述的匹配程度。 在具体的测评中，会构建包含人工评估和机器评估的全面评测内容。人工评测方面，会邀请具有图像领域知识的专业评估人员，从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如，在对 Kolors 与其他模型的比较中，就从这些维度进行了评估。 此外，像 SuperCLUEImage 测评基准首次公布的结果中，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。

以下是一些文生图的 prompt 模板和相关指导： 1. 定主题：明确生成图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型。 3. 选择 lora：寻找与生成内容重叠的 lora，以控制图片效果和质量。 4. ControlNet：可控制图片中特定的图像，如人物姿态、特定文字等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 这个即可。 7. Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语之间用英文半角逗号隔开。 8. 负向提示词 Negative Prompt：用英文写要避免产生的内容，同样是单词和短语组合，中间用英文半角逗号隔开。 9. 采样算法：一般选 DPM++2M Karras，也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：根据采样器特征，选 DPM++2M Karras 时，采样次数在 30 40 之间。 11. 尺寸：根据喜好和需求选择。 描述逻辑通常包括：人物及主体特征（服饰、发型发色、五官、表情、动作），场景特征（室内室外、大场景、小细节），环境光照（白天黑夜、特定时段、光、天空），画幅视角（距离、人物比例、观察视角、镜头类型），画质（高画质、高分辨率），画风（插画、二次元、写实）。 对于新手，可通过以下方式辅助写提示词： 1. 利用功能型辅助网站，如 http://www.atoolbox.net/ ，通过选项卡快速填写关键词信息。 2. 参考 https://ai.dawnmark.cn/ ，其每种参数有缩略图可参考，更直观选择提示词。 3. 去 C 站（https://civitai.com/）抄作业，复制每一张图的详细参数。 在 Stable Diffusion 中，生成方式主要分为文生图和图生图两种。文生图仅通过正反向词汇描述发送指令，图生图除文字外还可给 AI 参考图模仿。采样迭代步数通常控制在 20 40 之间，采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等，有的模型有指定算法搭配更好。比例设置时，高宽比尽量在 512x512 数值附近，太大数值可能导致奇怪构图，若想要高清图可同时点选高清修复放大图像倍率。

以下是关于解析视频内容的 AI 相关信息： 将小说制作成视频的流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）提取关键场景、角色和情节。 2. 生成角色与场景描述：借助工具（如 Stable Diffusion 或 Midjourney）生成视觉描述。 3. 图像生成：利用 AI 图像生成工具创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成脚本。 5. 音频制作：使用 AI 配音工具（如 Adobe Firefly）转换语音，添加背景音乐和音效。 6. 视频编辑与合成：通过视频编辑软件（如 Clipfly 或 VEED.IO）合成视频。 7. 后期处理：对视频进行剪辑、添加特效和转场以提高质量。 8. 审阅与调整：观看视频并根据需要调整。 9. 输出与分享：完成编辑后输出并在平台分享。 视频解读相关： 在事业低谷期的尝试中，提到了对视频的解读，包括依据画面进行解读，以及对无声音 case 的解读等。还讨论了图像理解相关内容，如要求根据视频链接写小说，提到工作流中的图像理解能力较强，建议尝试智普、通义的 VL 模型等。 MMVid 视频理解系统： 这是一个集成的视频理解系统，能处理和理解长视频内容并进行问答。应用场景包括快速的视频剪辑、图生视频、快速诊断等。由 Microsoft Azure AI 开发，结合了 GPT4V 的能力和其他视觉、音频和语音处理工具，能将视频中的多模态信息转录成详细的文本脚本，方便大语言模型理解视频内容。 请注意，具体的操作步骤和所需工具可能会因项目需求和个人偏好有所不同，AI 工具的可用性和功能也可能会变化，建议直接访问相关工具网址获取最新信息和使用指南。

以下是一些提升视频帧率的方法： 1. 使用 Topaz Video AI 插件： 解压对应文件，推荐使用绿色版。 右键管理员运行 VideoAIportable.exe 文件。 导入处理好的视频。 在预设部分选择提升帧率的相关设置，如选择合适的模型。 对于稳定 AI，模式选择完整帧，强度在 60 左右，开启抖动，次数选择 2 保持默认不变。 可以根据电脑性能选择稳定+运动模糊等操作。 2. 利用帧插值网络： 如 Singer et al. 在 2022 年提出的 MakeAVideo 包含用于高帧率生成的帧插值网络，它在一个预训练扩散图像模型的基础上扩展一个时间维度，包含在文本图像对数据上训练的基础文生图模型、时空卷积和注意力层以及帧插值网络。 此外，还有如 Imagen Video 扩散模型中的帧插值相关技术。

以下是为您整理的相关内容： 关于 AIGC 国漫风格视频： 设计方面包括女执事、智能体、守护者等元素，有 3 种形态，平常翅膀呈隐藏状态，是人类的保护者和服务者。比如智小美，身材比 1:2，风格与智小鹿一脉相承但更智能，美貌与智慧并存，是智小鹿的妹妹。其设计灵感综合了导演、猫叔墨镜、影视元素等，猫叔在社区更新的万字编剧日记对创作 AIGC 有很大帮助。 关于 AIGC 小红书博主： 列举了多位小红书博主，如徐若木、笑笑（约稿）、吉吉如意令、发射井、惟玮、Sllanvivi、巧琢、上官文卿｜ZHEN、AI 离谱社、布谷咕咕咕、果果（禾夭夭）、壹见空间川上扶蘇、Goooodlan🍅古德兰等，涵盖了商业插画师、约稿、头像、国风人物、创意设计、视频、动画设计教程、壁纸、景观设计等不同领域。 关于 AIGC Weekly88： 封面提示词为“abstract network out of glass made of holographic liquid crystal,dark background,blue light reflections,symmetrical composition,centered in the frame,highly detailed,hyperrealistic,cinematic lighting,in the style of Octane Rendear 16:9style rawpersonalizev 6.1”，可查看更多风格和提示词的链接为：https://catjourney.life/ 。这周训练了一个 FLUX Lora 模型，为褪色胶片风格，推荐权重 0.6 0.8，适合生成毛茸茸的动物玩偶，人像会偏向复古褪色的胶片风格，在玻璃制品产品展示摄影方面表现很好，整体景深模糊自然柔和，下载链接为：https://www.liblib.art/modelinfo/4510bb8cd80142168dc42103d7c20f82?from=personal_page

以下是关于 AI 图片视频提示词编辑的相关知识： 1. 提示词的定义：用于描绘您想生成的画面，星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），支持中英文输入。 2. 写好提示词的方法： 预设词组：小白用户可以点击提示词上方官方预设词组进行生图。 内容准确：包含人物主体、风格、场景特点、环境光照、画面构图、画质等，例如：一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框，负面提示词可以帮助 AI 理解不想生成的内容，如不好的质量、低像素、模糊、水印。 利用“加权重”功能：可在功能框增加提示词，并进行加权重调节，权重数值越大，越优先。还可对已有的提示词权重进行编辑。 辅助功能：包括翻译功能（一键将提示词翻译成英文）、删除所有提示词（清空提示词框）、会员加速（加速图像生图速度，提升效率）。 3. 提示词语法： 权重设置：，请注意，权重值最好不要超过 1.5。 Prompt Editing：通过 Prompt Editing 使得 AI 在不同的步数生成不一样的内容，比如在某阶段后，绘制的主体由男人变成女人。语法为：例如 alandscape 在一开始，读入的提示词为：the model will be drawing a fantasy landscape.在第 16 步之后，提示词将被替换为：a cyberpunk landscape，它将继续在之前的图像上计算。还可以轮转提示词，比如在第一步时，提示词为“cow in a field”；在第二步时，提示词为“horse in a field.”；在第三步时，提示词为“cow in a field”，以此类推。 4. 示例： “城市狂想”教程中提供了一些示例，如远景，三分法构图，俯视视角，数字绘画，云雾缭绕的山谷，群山连绵起伏，山谷间云雾缭绕，阳光透过云层洒在山间，形成光与影的对比，模拟观众的视线逐渐接近这片土地，新印象派风格特征，使用数字画笔和渐变工具ar 16:9v 6.1 等。同时，还为大家生成了 1 组共 12 段提示词，在使用时需注意，如果是其他平台的工具请复制后删除包含“”以后的部分。

用 AI 把小说做成视频的一般流程如下： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 需要注意的是，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问以下工具网址获取最新信息和使用指南： 1. Stable Diffusion（SD）：一种 AI 图像生成模型，可以基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney（MJ）：另一个 AI 图像生成工具，适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/ 在 Adobe Firefly 的 Advanced 部分，您可以使用 Seed 选项添加种子编号（https://helpx.adobe.com/firefly/generatevideo/generatevideoclips/generatevideofaq.htmlwhatisaseed），以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置，则可以重新生成类似的视频剪辑。然后选择 Generate（生成）。

以下为您推荐一些可以生成数字人口播视频的 AI 工具： 1. 【TecCreative】 只需输入口播文案，选择期望生成的数字人形象及目标语言，即可生成数字人口播视频。操作指引：输入口播文案——选择目标语言——选择数字人角色——选择输出类型——点击开始生成。 支持多场景数字人口播配音，操作指引：输入口播文案——选择数字人角色和场景——选择输出类型——点击开始生成。 支持音频驱动多场景数字人，操作指引：上传音频链接——选择数字人角色和场景——选择输出类型——点击开始生成。 2. XiaoHu.AI 推荐的开源且适合小白用户的数字人工具 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub： 官网：