runway教程

以下是关于 Runway 视频模型的相关信息： OpenAI 的 Sora 与 Runway 的对比： OpenAI 刚刚发布的首款文生视频模型 Sora 表现出色，能根据文字指令创造逼真且充满想象力的场景，生成长达 1 分钟的一镜到底超长视频，视频中的人物和背景具有惊人的一致性和稳定性。而 Runway Gen 2、Pika 等 AI 视频工具在几秒内的连贯性上还在突破，相比之下 OpenAI 达到了史诗级的纪录。 Runway 的特点： 优势： 拥有强大的底层模型，能理解复杂需求并转化为高质量视频输出。 生成的视频在画面清晰度、动作流畅性和内容连贯性上达到较高水准，满足普通用户和专业创作者需求。 团队持续进行技术迭代和更新，保持在视频 AI 技术前沿。 不足： 共用账号或生成特别好的视频时，生成队列相对较短，使用高峰期可能需等待。 某些时段生成速度可能变慢。 Runway 的其他信息： 由总部位于旧金山的 AI 创业公司制作，2023 年初推出的 Gen2 代表了当前 AI 视频领域前沿模型，能通过文字、图片等方式生成 4 秒左右的视频。 致力于专业视频剪辑领域的 AI 体验，同时扩展图片 AI 领域能力。 支持在网页、iOS 访问，网页端有 125 积分的免费试用额度（可生成约 105 秒视频），iOS 有 200 多，两端额度不同步。官方网站：https://runwayml.com/ Gen1 和 Gen2 的区别和使用方法：Gen1 的主要能力有视频生视频、视频风格化、故事版、遮罩等，仅支持视频生视频是 Gen1 和 Gen2 的最大差异。Gen1 使用流程可参考：https://research.runwayml.com/gen1 、https://help.runwayml.com/hc/enus/articles/15161225169171 ，也可通过视频 https://youtu.be/I4OeYcYf0Sc 学习详细设置方式。

Runway 属于 AI 视频领域。它是一款最先推出模型的 AI 视频产品，目前仍维持着领先地位，并在不断快速迭代。 其产品定位更偏向影视、艺术表达，具有以下特点和优势： 1. 擅长真实系、风景、空间视频生成，对二次元场景支持不佳。 2. 支持绿幕场景生成、视频绿幕抠像等，方便影视制作和后期处理。 3. 7 月更新的 Gen3 支持 Alpha Turbo（更快速）和 Alpha（更强表现力）两种模式，增强了对复杂提示词描述的理解和对图像运动元素的识别，能够实现富有想象力的过渡和场景中元素的精确关键帧。还支持设置图片作为动画首帧/尾帧，但目前不支持笔刷等高级调节能力。单次生成视频时长最长可达 10 秒，可延长到 40 秒。 4. Gen3 Alpha Turbo 支持竖屏尺寸视频生成、加大力度发力视频到视频（风格转绘）能力，并表示即将推出更多控制能力。 Runway 由一家总部位于旧金山的 AI 创业公司制作，年初在互联网爆火。2023 年初推出的 Gen2 代表了当前 AI 视频领域最前沿的模型，能够通过文字、图片等方式生成 4 秒左右的视频。致力于专业视频剪辑领域的 AI 体验，同时也在扩展图片 AI 领域的能力。目前支持在网页、iOS 访问，网页端有 125 积分的免费试用额度（可生成约 105 秒视频），iOS 有 200 多，两端额度不同步。 相关链接： 1. 查看 Runway 目前支持的场景和视频案例：https://runwayml.com/product/usecases 2. Gen1 能力介绍：https://research.runwayml.com/gen1 3. Gen1 参数设置:https://help.runwayml.com/hc/enus/articles/15161225169171 4. 学习 Gen1 详细设置方式的视频：https://youtu.be/I4OeYcYf0Sc 5. 官方网站：https://runwayml.com/

Runway 目前仍在不断更新。在近半年中，它在模型和产品功能上快速迭代。例如，7 月更新的 Gen3 支持了 Alpha Turbo（更快速）和 Alpha（更强表现力）两种模式，增强了对极度复杂提示词描述的理解，对图像运动元素的识别也有所提升，单次生成视频时长最长达到 10 秒，支持延长到 40 秒。11 月 2 日，Runway 的 Gen2 模型进行了升级，提高了视频生成的质量，确保视频内容与输入（无论是文本还是图像）更加匹配和一致。 您可以通过以下链接获取更多详细信息：https://x.com/xiaohuggg/status/1720069510324244986?s=20 这里还可以看到 Runway 目前支持的场景和视频案例：https://runwayml.com/product/usecases

Runway 是一个针对视频创作者需求，提供 AI 辅助工具的平台，如视频编辑、绿幕移除、图像修复和运动跟踪等。目前尚未看到针对游戏领域类似 Runway 的套件出现，但此领域正在积极开发中。此外，关于华人数学家陶哲轩在天空之城的探索模式，他详细记录了使用 Blueprint 在 Lean4 中形式化证明的过程，强调了正确使用 AI 工具的重要性。利用 Blueprint 工具，陶哲轩团队分解证明过程，通过众多贡献者并行工作成功形式化了 PFR 猜想。陶哲轩认为形式化证明的主流化或创造既人类可读又机器可解的证明，将数学演变成一种高效的编程。2000 多年来，欧几里得的文本一直是数学论证和推理的范式，到 20 世纪以后，数学家们开发了正式的系统，最近，开源证明助手系统 Lean 再次引发大量关注，陶哲轩成功地用 AI 工具完成了形式化多项式 FreimanRuzsa 猜想证明过程的工作，并再次呼吁数学研究者学会正确利用 AI 工具。

以下是关于 runway 视频转绘的用法： 转绘教程（Ebsynth Utility）： 选择前面模糊的片段，点击 DELETE 键或退格键删除。处理完视频后，点击右上角的导出按钮导出新视频，注意导出名称最好使用英文。 注意事项： 校准：有时下载的视频可能不是标准比例，需用剪影处理。若不处理，由于 SD 图片绘制分辨率按 8 的倍数增加，即使绘制时按原视频分辨率，最后视频合成仍可能报错，一定要检查。 视频缩小：老板给的 4K 视频，SD 最大只能完成 20482048 的绘制，往上无法完成且制作时间大幅上升。 分辨率模糊的视频：若客户要求强烈，可先提升分辨率（推荐使用 TopazVideoAI 插件），不行则放弃。 图片生成视频： 进入 runway 官网首页，点击 start with image，然后直接将图片拖进来。 动画幅度尽量用 3、5，有时会乱跑。 不需要等进度条转完，可以直接继续往里放图片，可同步执行。 直接点删除，然后重新上传下面的图即可（最多可放数量可自行测试）。 图生视频（常规方法）： 以汽车内饰片段为例，登录 runway 账户后，在首页左侧点击“Text/Imagine to Video”（文生视频/图生视频）。 点击 2 处将汽车内饰的图片上传到 runway 中。 1 处可更改生成图片所用到的大模型版本，数字越大代表模型越强，目前只有 Gen2 每天有免费额度。 3 处用于输入提示词。 4 处可以修改生成的视频时长为 5s 或 10s，时长越长，生成的效果可能越不稳定。 5 处可以看到生成的结果。 提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”，即摄像机围绕垂直轴顺时针旋转。不想动脑的话，每个片段的运镜方式根据分镜表的建议来即可。运镜提示词可参照： 。 很多时候提示词过多，生成的视频会很怪异，改变提示词，改变生成时长，多抽卡几次，毕竟 runway 会员可以无限抽卡。

以下是关于 Runway 提示词的相关内容： 1. 有提示语为“Handheld camera movement:Dynamic motion captures a man sprinting towards the diverging paths of an underground cavern.As he reaches the crossroads,the camera lingers on his contemplative expression,highlighting the uncertainty of his choice.Additional details include the rugged texture of the cave walls and the dim,flickering light casting long shadows,creating a suspenseful atmosphere.”，对此的吐槽是没太感受到手持镜头的紧张感，正常人逃命不会贴着边缘跑，人物的手不能细看，只有几根手指；优点是紧张的神情传达出来了，画面也比较干净。 2. Runway gen3 模型有新功能，如“文本标题卡”功能，可仅通过提示词生成带有指定字母的视频。有分享“Runway 生成文字视频提示词扩展器初版 Prompt”和“Runway 生成文字视频提示词扩展器英文版 Prompt”，并提到由于不确定 Runway 做意图识别所用的大模型及对中文语义的理解情况，喂给 Runway 的提示词能用英文尽量用英文，还提到用 Claude3.5 生成后基本不用修改可直接用于 Runway，而国产大模型对英文的理解相对不够地道。参考链接：https://waytoagi.feishu.cn/wiki/Kfliw2UzZigKhgkeOBJcwxRTn8f

以下是 ComfyUI 的安装教程： 1. 电脑硬件要求： 系统：Windows 7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统、AMD 显卡、低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址：https://www.nvidia.cn/geforce/drivers/ 2. 下载并安装所需要环境（安装过 WebUI 的同学请忽略本步骤）： 依次下载并安装 python、VSCode、Git，安装过程中一直点击勾选对应选项，一直下一步。 Python 版本 3.10 以上，下载地址： VSCode 下载地址： Git 下载地址： 安装 Python 时选中“将 Python 添加到系统变量”。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network ，下载文件：cuda_12.2.0_536.25_windows.exe 3. 安装 ComfyUI： 地址：https://github.com/comfyanonymous/ComfyUI 可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包 下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 4. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 5. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 6. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到你已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 7. 快捷键（未提及具体快捷键内容）

以下是关于 Midjourney 的一些教程： 1. 线稿上色： 先使用 Midjourney 生成线稿，关键词如“Black and white line drawing illustration of a cute cat cartoon IP character,black line sketch,wearing a fortune hat,wearing a collar around the neck,Carrying a huge bag containing scrolls and ingots,matching rope and straps at his wrists,Chinese element style,popular toys,blind box toys,Disney style,white background niji 5 style expressive”。 用 PS 手动修正错误的地方。 再用 ControlNet 控制，Stable Diffusion 上色。 2. 利用一致性出海马体写真： 得益于“cref”，Midjourney 能够迅速达成角色一致性的目的而无需 Lora。其中，“cref”代表 character reference（角色参考）；“cw”则代表 character weight（参考权重），默认为 100，会参考角色的人脸和服装特点。如果只想关注人脸，请调低到 0。 风格复制和服装的替换，应当用提示词（prompt）和“sref”，默认值 100，越高越接近参考图像的风格。 先用“/describe”指令反推海马体的提示词，再配合“sref”，就可以轻松复制图像风格。在回车之前，检查提示词，不要出现和“sref”风格差异过大的 prompt；也可以增加一些之前学过的有用的 prompt。然后 Upscale 最满意的那一张。 3. 人物一致性： YouTube 大神 TAO 最新的教程，原理是把已经确定好的角色生成一个固定成一个快捷命令，每一个角度一个快捷命令，再通过 vray 重绘调用命令重回人物头部。 具体步骤包括：生成图像（提示词加入分割描述，让一张图生成多张同空间小图）；通过目标图像不断的重复生成，获取更多一致性的角色图像，下载分类（按照视角不同分类）；上传图像，调用 prefer option set 命令，先写命令名称（一个视角操作一次），再放入该视角的照片（4 5 张）；放开角色限制生成图像，在确认好的图像上进行局部重绘，框选头部，在原来的命令下加入—快捷命令名称，确认生成即可。

以下是用 AI 生成动画的一些教程： 1. 端午节动态视频： 可以使用即梦或 runway 等工具。如果要字不动，可以先在剪映里添加文字 logo 素材。 先什么关键词都不写，如果效果不满意，再添加关键词。 将视频放入剪映，放上 PNG 透明底图后导出。 2. Runway 生成 AI 动画： 使用图片+文字描述功能，将 MJ 生成的图片增加对应的动态描述，输入 Runway，同时增加镜头变换的设置。具体教程可查看。 3. 利用 AI 批量生成、模仿和复刻《小林漫画》（内含 coze 搭建视频教程）： 作者景淮会带着大家试着搭建一个扣子（Coze）工作流来直接生成文字和图片。本文会按照需求分析、扣子搭建、扣子使用链接分享、批量生产图片、总结的顺序进行。

以下是一些学习 Coze 的教程资源： 概览与介绍：https://waytoagi.feishu.cn/wiki/YGgzwDfWLiqsDWk2ENpcSGuqnxg 基础教程： 大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库 https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb 大聪明：保姆级教程：Coze 打工你躺平 https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb 安仔：Coze 全方位入门剖析免费打造自己的 AI Agent https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb Coze “图像流”抢先体验 https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf YoYo：Coze 图像流小技巧：探索视觉艺术的隐藏宝藏 https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ 一泽 Eze：万字实践教程，全面入门 Coze 工作流｜用 Coze 打造 AI 精读专家智能体，复刻 10 万粉公众号的创作生产力 阅读指南：长文预警，请视情况收藏保存 核心看点：通过实际案例逐步演示，用 Coze 工作流构建一个能够稳定按照模板要求，生成结构化内容的 AI Agent；开源 AI Agent 的设计到落地的全过程思路；10+项常用的 Coze 工作流的配置细节、常见问题与解决方法 适合人群：任何玩过 AI 对话产品的一般用户（如果没用过，可以先找个国内大模型耍耍）；希望深入学习 AI 应用开发平台（如 Coze、Dify），对 AI Agent 工作流配置感兴趣的爱好者 注：本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中，附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容，以供前置或拓展学习。

以下是一些常见的 AI 工具使用教程： AI 画示意图： 假设您需要创建一个项目管理流程图，可以按照以下步骤使用 Lucidchart： 1. 注册并登录： 2. 选择模板：在模板库中搜索“项目管理流程图”。 3. 编辑图表：根据您的项目需求添加和编辑图形和流程步骤。 4. 优化布局：利用 AI 自动布局功能，优化图表的外观。 5. 保存和分享：保存图表并与团队成员分享，或导出为 PDF、PNG 等格式。 利用这些 AI 工具，您可以快速、高效地创建专业的示意图，满足各种工作和项目需求。 AI 视频相关： 以下是一些 AI 视频软件的教程链接： AI 线上绘画： 如果您在工作中需要用到大量图片，又想使用能够商用且具有较强艺术美感的图片，AI 生图是高效的解决办法。不论是人像、动物、自然风景或是人造景观的图，都可以用 AI 完成。 但主流的两款工具 midjourney（MJ）付费成本较高，stable diffusion（SD）硬件门槛不低。不过，还有像这样的免费在线 SD 工具网站。 本教程适用于入门玩家，计划让您在半个小时内自由上手创作绘图。如果半个小时内您无法理解工具如何使用，可通过评论区或加微信 designurlife1st（记得备注来意：ai 绘图交流）与作者联系。教程内容会持续更新，欢迎关注和催更。

以下是关于 prompt 教程的详细内容： 在 AI 视频生成中，prompt 是直接描述或引导视频生成的文本或指令，类似于给 AI 的提示，包含主体、运动、风格等信息，用户借此控制和指导生成内容。其作用十分重要，是表达需求的方式，影响视频内容和质量。如果上述过于抽象，您可以理解 Prompt 为：将您输入的文字变成对应的画面和运动形式。 Prompt 的专场教程 基础篇： 什么是 prompt（提示词）：一段指令，用于指挥 AI 生成您所需要的内容，每个单独的提示词叫 tag（关键词）。 支持的语言：支持英语（不用担心英语不好的问题，），另外 emoji 也可以用。 语法规则： 用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。 改变 tag 权重：tag 的顺序越靠前对于 SD 来说权重越大，但是依旧可以给每个位置上的 tag 单独设置权重。有两种写法：括号，权重就重 1.1 倍，每加一层括号就反向减弱 1.1 倍。 进行 tag 的步数控制（高级玩法）：就是 SD 先按您输入的这个 tag1 开始生成，然后在达到您设定的步数之后，tag1 停止产生作用，此时 tag2 再参与到对内容生成的影响。，数字大于 1 理解为第 X 步前为 tag1，第 X 步后变成 tag2，数字小于 1 理解为总步数的百分之 X 前为 tag1，之后变成 tag2。