AI 视频具有以下优点:
AI 视频也存在一些缺点:
|网站名|网址|费用|优势/劣势|教程|<br>|-|-|-|-|-|<br>|Runway|https://runwayml.com||有网页有app方便|[工具教程:Runway Gen-3](https://waytoagi.feishu.cn/wiki/Eun9wqDgii1Q7GkoUvCczYjln7r)|<br>|haiper|https://app.haiper.ai/|免费|||<br>|SVD|https://stablevideo.com/|有免费额度|对于景观更好用|[工具教程:StableVideo](https://waytoagi.feishu.cn/wiki/Hf1cwooP5iRH2zkJ6RrcAKLunWb)|<br>|Pika|https://pika.art/|收费https://discord.gg/pika|可控性强,可以对嘴型,可配音|[工具教程:Pika](https://waytoagi.feishu.cn/wiki/V150wUonIiHafQkb8hzcO1E5nCe)[群友分享入门教程](https://mp.weixin.qq.com/s/maLCP_KLqZwuAxKd2US_RQ)|<br>|PixVerse|https://pixverse.ai/|免费|人少不怎么排队,还有换脸功能|[工具教程:Pixverse](https://waytoagi.feishu.cn/wiki/LPuqwx3kuiTMfIkXDPDckosDndc)|<br>|Dreamina|https://dreamina.jianying.com/|剪映旗下|生成3秒,动作幅度有很大升级,最新S模型,P模型|[工具教程:Dreamina](https://waytoagi.feishu.cn/wiki/AxZuwUQmEipTUEkonVScdWxKnWd)|<br>|Morph Studio|https://app.morphstudio.com/||还在内测||<br>|Heygen|https://www.heygen.com/||数字人/对口型||<br>|Kaiber|https://kaiber.ai/||||<br>|Moonvalley|https://moonvalley.ai/||||<br>|Mootion|https://discord.gg/AapmuVJqxx||3d人物动作转视频||<br>|美图旗下|https://www.miraclevision.com/||||<br>|Neverends|https://neverends.life/create|2次免费体验|操作傻瓜||<br>|SD|Animatediff SVD deforum|免费|自己部署||<br>|Leiapix|https://www.leiapix.com/|免费|可以把一张照片转动态||<br>|Krea|https://www.krea.ai/|12月13日免费公测了|||几个视频AIGC工具:
代表产品:RunwayGAN生成对抗网络:是一种无监督的生成模型框架,通过让两个神经网络相互博弈来进行机器学习。可以生成视觉逼真度高的视频,但控制难度大、时序建模较弱。VAE变分自编码器:它是一种可以学习数据分布的网络结构。就像把视频文件压缩成较小的文件再解压一样,它可以重建视频数据。VAE可以根据条件输入控制生成过程,但质量较GAN略低。GAN、VAE生成视频速度快,缺点是生成质量和分辨率较低,长度短,控制能力弱。Transformer自注意力机制:通过学习视频帧之间的关系,理解视频的长期时间变化和动作过程,这种方式对长视频建模更好,时序建模能力强,可实现细粒度语义控制,缺点是计算量大[heading2]1.4 AI视频生成当前面临的问题[content]当前仍面临生成时间长、视频质量不稳定,生成的视频语义不连贯、帧间存在闪烁、分辨率较低等问题。解决方案有:使用渐进生成、增强时序一致性的模型等方法解决。上述的补帧算法、视频完善策略也可在一定程度上缓解问题。[heading2]二.应用场景思考
1.物理交互准确性还有很大进步空间虽然视频中动作的流畅度有大幅提升,但AI视频大多还是存在运动合理性的问题。在实际测试中,有时视频中会出现动作突变,不连贯,这个问题在平面图像生视频中更明显。这点也和现阶段视频生成时长不足有很大关系,如果提示词、首尾帧要求模型需要在短时间内处理更大幅度的运动,这种现象会更明显。1.训练数据的多样性还需持续提升在我的测试中,会发现同样的场景相似能力的产品表现差异巨大。例如下文案例中,我用txt2vid中测试了一组艺术家在墙上喷绘的案例,Runway的表现极其的好,而Kling 1.5依然乏善可陈。因工作需要,我会更关注平面风格图片生成的视频效果,由于缺乏训练数据、画面中的深度信息很难被识别等综合原因,抛开各家产品官方Demo,目前在我自己的真实测试中,所有产品在平面方向的生成效果还不够好。通常我会先使用提示词辅助img2vid,并且在文生图时就尽量在图片中增加一些可运动的装饰性元素(花、树叶、光斑等),如果生成效果不满意我会转向Runway Gen-2笔刷工具进行精细调节来避免较大瑕疵。偶尔会出现二次元人物形象被处理成真人的情况,非常恐怖谷。又例如在输入一张卡通狗图片时,模型无视了提示词内容,自动生成狗狗叫的“刻板印象”画面。1.大幅运动造成的模糊感依然没有解决。[9月21日(2).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/JkvtbRRGaoyn8AxkVhRcF4UlnOg?allow_redirect=1)1.可控性依然不足。在实际生产场景,仅靠提示词很难精细化描述我们需要对AI有更多的控制力来达到目标效果。各家在笔刷工具和运镜控制上的支持还有细微差别,还有进一步提升的空间。