目前在文生视频方面,PIKA1.0 表现较为出色。它启用全新模型,文生视频质量大幅提升,3D 和 2D 动画效果吊炸天,稳定性强,神情表现出色,在处理各种场景和提示词时都有惊艳的效果。例如,输入“Cinematic,happy laughing girl in office,Pixar style”瞬间就能匹配出皮克斯水平的镜头,而且在处理不规则构图的汽车行驶等场景时,光影表现极好。同时,可灵在文生视频方面也有一定特点,在多对象场景中能保持较好的形体轮廓,在处理偏真实场景的视频,如吃东西、老人神情和皮肤细节等方面表现出色,地面光影变化处理恰当,但在处理远距离和密集人群时有局限,在动画方面不是强项,处理稍长动作时会遇到挑战。
能明显感受到,PIKA1.0是启用了一个全新的模型,甚至我感觉不是基于旧有的迭代,而是完全重新做的一个全新的模型。强非常非常多。3D和2D的动画效果更是吊炸天。所以他们的新模型,我会多花一些篇幅和笔墨,来展现一下。首先,文生视频的质量得到了大幅度的提升。我直接写了一段:Prompt:Cinematic,happy laughing girl in office,Pixar style瞬间,匹配皮克斯水平的镜头就出来了。要知道,我只花了1分钟。这效果,我说实话,太特么吓人了。。。。。。而且,这稳定性,这神情。。。爆杀市面上所有的AI视频。再来!A cat flying a plane,Cartoon style在文生图这块,PIKA1.0的新模型稳定的令人害怕。Cinematic,extreme close-up of cars on the road in a jungle,3D rendering不规则构图的汽车行驶在道路上,这个前进的镜头依然稳定的可怕,车上的光影更是表现的极好。无敌。真的无敌。同时,有两个小技巧是,右下角第三个设置里,负面提示(Negative prompt)可以常驻:blurry,out of focus,twisted,deformed。提示词相关性别设太高,可以5~15之间,自己实测下来效果最好。再来说图生视频。图生视频这块,效果也依旧棒。放几个case。(这里因为GIF图比较大所以只能放了每秒10帧的GIF,所以看起来可能有一些卡,这并不是PIKA的原因。)说实话,Runway原本剩的唯一优势就画质好+一致性强点了。。。但是你看看现在的PIKA1.0。。。。。。人的一致性已经逆天了,再加上它强到爆的语义理解,以及幅度巨大的动作。。。。咋比啊。。。这PIKA1.0新模型的质量,特别是它最擅长的3D和3D的动画的质量,真的让人激动到无以复加。
舞台上的舞者:在多对象场景中,“可灵”能够保持较好的形体轮廓,但在处理远距离和密集人群时仍有局限,效果呈现上还是会有粘连感。[2、狐狸和兔子站在动物城城市中心.mov](https://bytedance.feishu.cn/space/api/box/stream/download/all/E2qqbWKbRoeHHTx7kObcHCz7nVd?allow_redirect=1)通过真实场景和卡通场景对比来看,“可灵”训练的重点还是在于偏真实场景的视频,可能是基于快手自己平台的长期积累,尤其是在吃东西上的表现独领风骚,但在动画方面不是强项。
[4255ceea717cb4ea231f30c1c01e32b1.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/ZEzoboGbdoJNr1xI9CCcqg7xn9b?allow_redirect=1)公园里的欢乐时光:孩子们在秋千上欢笑的场景生动有趣,注意看地面上的光影变化处理得恰到好处。[73615d5b67c754c035811bf28400d166.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/OFb6b5PyFonwhkxy6hNc5p82nLh?allow_redirect=1)[WeChat_20240609124921.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/FAQzbJ4GVoF7rWxOJwAcUnqUnbb?allow_redirect=1)老人的微笑瞬间:在捕捉老人神情和皮肤细节方面,“可灵”做得相当出色,岁月感也得到了很好的体现。草地上的学车儿童:在处理稍长一些的动作时,“可灵”遇到了一些挑战,但整体而言仍具备一定的表现力。(我输入的指令是:一个孩子在草地上学习骑自行车,摔倒后又勇敢地站起来。可能是描述动作超过了5S,反复尝试未能实现。)[aa63768943a5a71016f1003e4e439906.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/GNeAbx5BjoDuyYxMwMycqnhXnLe?allow_redirect=1)