SD 生成视频的技术难点主要包括以下方面:
Nenly同学的视频教程来了:【“牛逼”的教程来了!一次学会AI二维码+艺术字+光影光效+创意Logo生成,绝对是B站最详细的Stable Diffusion特效设计流程教学!AI绘画进阶应用-哔哩哔哩】https://b23.tv/c33gTIQ还有个群友根据下面的教程自己做了个视频教程非常详细1.将中文字做成白底黑字,存成图片样式2.使用文生图的方式,使用大模型真实系,作者用的realisticVisionV20_v20.safetensors[e6415c4892]ControlNet预设置3.输入关键词,如奶油的英文单词,Cream + Cake(加强质感),反关键词:Easynegative(负能量),反复刷机,得到满意的效果即可。4.同理可输出C4D模型,可自由贴图材质效果,3d,blender,oc rendering5.如果希望有景深效果,也可以打开depth(增加阴影和质感)6.打开高清修复,分辨率联系1024以上,步数:29-60本来想方一个b站视频,但是没有按照上面的实测,等看完之后再推荐当然https://firefly.adobe.com/也可以,但是sd感觉可操控性更强,尤其是中文字体
现在基本所有的SD生成视频都存在稳定性和闪烁的问题,只是有的多有得少。上周发布的这个方案看起来很大程度解决了这个问题。关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧,并应用分层交叉帧约束来强制形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。最重要的是与现有的图像扩散技术兼容,使框架能够利用它们,例如使用LoRA自定义特定主题,并使用ControlNet引入额外的空间引导。过几天应该会开源可以到时候关注一下。
Steps:20,Sampler:DPM++ 2M Karras,CFG scale:7,Seed:2728494159,Size:362x486,Model hash:7c819b6d13,Model:majicmixRealistic_v7,VAE hash:c6a580b13a,VAE:vae-ft-mse-840000-ema-pruned.safetensors,Denoising strength:0.75,Clip skip:2,Mask blur:2,ControlNet 0:"Module:none,Model:control_v11p_sd15_openpose[cab727d4],Weight:1,Resize Mode:Crop and Resize,Low Vram:False,Processor Res:512,Guidance Start:0,Guidance End:1,Pixel Perfect:True,Control Mode:My prompt is more important",Version:v1.6.0我这里抠图中间抠得不是很彻底,最好是ps扣好模板让后画背景,总之这对SD来说小菜一碟。这样就可以做自己的淘宝模特啦。面向不同的人群市场可以做不同的模特,不用请人了哦!同样地这种一点点修的方法可以用在视频上:生成视频的方法有两种:一种是很粗暴地替换也可以一帧一帧拆开然后利用controlNet+局部重绘功能,每一帧做取模重绘。然后尽量同一语义下批量生成。