Runway 并非每天都有免费生成次数。目前只有 Gen-2 每天有免费额度。使用 Runway 制作视频时,每次生成可能会消耗一定积分,例如每次生成消耗 5 积分。对于普通用户来说,免费额度可能用于实验和寻找灵感,但对于需要生成大量内容的专业人士,可能需要付费订阅。
视频的大部分片段用runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/ai-tool/home)的动效画板和首尾帧。[heading2]1、常规方法[content]以汽车内饰这一片段为例,登录runway账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击2处将汽车内饰的图片上传到runway中。其中1处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有Gen-2每天有免费额度。3处用于输入提示词。4处可以修改生成的视频时长为5s或10s,时长越长,生成的效果可能越不稳定。5处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:[运镜方式大全](https://ixi8511rtw.feishu.cn/base/ExNrbPnghaEFo8sCJN2cgEMPnnf?from=from_copylink)。runway对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟runway会员可以无限抽卡。
这里我们主要是用三种视频生成工具:pixverse、pika、runway。因为成本问题,一般我都会首先使用免费的pixverse进行两到三次生成来看是否能够得到符合预期的视频,不符合预期就再选择合适的消耗积分的工具进行尝试。后面还会尝试一些生成效果好的实景视频,用demoai做画风转换的方法。pixverse:免费无限生成,抽盲盒runway:每次生成消耗5积分,做角色动作和部分运动镜头会好一点pika:每次生消耗10积分,做角色动作Stable video:每次生成消耗10积分,做镜头运动会好一点镜1对应视频(runway)[Gen-2 4078911056,Heavy rain hits the,dagobertobellamy_Hea,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/XgKvbPkWGo33AjxCyqzcjnDRnrd?allow_redirect=1)镜2对应视频(runway)[Gen-2 397612218,A violent storm and,dagobertobellamy_A_t,cam_V 15,cam_Z 1,cam_P 15.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/UTNyb2anZohvYqxfYNXc5JPmnmb?allow_redirect=1)镜3对应视频(pixverse、runway)[pixverse%2Fmp4%2Fmedia%2Fca3c7b1d-c29e-46af-9c9a-0cca2761f419_seed1528801307.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/ZUt8bH3zWohJiQxx5VvcDb90nnf?allow_redirect=1)
对于普通用户来说,他们使用AI来做实验和寻找灵感。大多数情况下,文生图的功能就足够了。但在专业设计领域,你脑子里有想法,想要达到这个结果,仅仅靠文生图是不够的,你需要为用户提供很多控制,让他们能够向模型解释他们到底想要什么。这是一个不同的任务,也是我们的技术与其他图像生成公司的不同之处。我们不仅仅是构建文生图,我们在构建新的方式来控制生成。●Recraft上有不同风格预设,以上图片为同一提示词“Hello Kitty is wearing headphones and reading a book on the sofa.The background is a warm room with a fireplace”,分别应用Hard Flash、Retro Snapshot、Multicolor、Grain 2.0、Neon Calm风格。镜相工作室:Recraft有超过200万用户,付费情况如何?Dorogush:我们从2024年9月开始实行基于点数(credit)的订阅制,现在已经有一批订阅用户。我们有免费产品,每天有50次免费生成机会,对于想要看看AI能提供什么的人来说,应该足够了。但对于需要生成大量图像的专业人士来说,这是不够的,所以他们会付费订阅。镜相工作室:除了喜欢Hard Flash的中国用户,你们有没有发现其他意想不到的事或者用户群体?Dorogush:意想不到的是增长。通常情况下我们的用户增长是波浪式的,因为我们所有增长都是自然的,要么来自于人们与朋友或同事分享,要么来自于社交媒体上分享。当某个有社交影响力的人发现了这个工具,开始发帖,那么在这个特定的地理区域,我们就会有一大波新用户。我们在不同国家都经历过这样的增长浪潮,你永远不知道它什么时候会发生。刚开始我们确实想以一种可控的方式增长,这样就知道明天的增长会和昨天一样好。但我们还没有做到,AI领域的大多数公司也都没有做到,他们都是自然增长。