图生图的原理如下:
[title]Tusiart简易上手教程[heading1]概念与功能说明[heading2]概念说明1.首页-模型\帖子\排行榜:发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签,有些模型的标签后面还有第二个XL的标签,这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.基础模型:生图必需的,英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词:想要AI生成的内容(不绝对有效,需要多费功夫学习,哪怕从照抄别人开始)。2.负向提示词Negative Prompt:想要AI避免产生的内容(不绝对有效,也需要费功夫学,哪怕从照抄别人开始)。1.图生图:上传图片之后,sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大,输出的图和输入的图差别就越大。
[title]【SD】如何画出商用级别的高清大图我们看一下高清修复下的这张画,文生图高清修复的原理其实是命令AI按照原来的内容重新画一幅,所以新生成的绘图和原来的绘图在细节上会不太一样。如果想要更接近之前的绘图,可以适当降低重绘幅度。我们来对比一下修复前后的区别,这次使用的重绘幅度为0.7,所以可以看到帽子和耳机都有了变化,想要保留原来的细节,可以尝试0.2-0.3。我们再使用重绘幅度为0.3绘制一下,可以看到服饰细节就比较接近了,但是由于重绘幅度低,手部就出现了问题。这种情况,就要通过反复抽卡,图生图局部重绘,或者生成多张图片后进ps合成等办法去解决。由于高清修复的渲染耗时比较长,所以我们一般建议先采用低分辨率进行抽卡刷图,当抽到自己比较喜欢的图之后,再使用随机种子来固定图片进行高清修复。二、SD放大第二种方式是使用图生图的脚本功能,当我们使用文生图画好一张图之后,可以将它发送到图生图。点击下面的脚本,选择使用SD放大。重绘幅度设置0.3,放大倍率为2,图块重叠的像素设置为64。这张图原本的尺寸为512x768,此时需要加上重叠像素的64,就变成了576x832。可以看到,这次的Stable Diffusion是将这张图均匀地切成了四块,然后分别渲染,最终拼接成一整张图,这种方式需要让我们重绘幅度保持在比较低的数值,不然这新生成的四张图中可能会出现新的人物。
[title]质朴发言:一文纵览文生图/文生视频技术发展路径与应用场景|Z研究第1期[heading1]#一、主流文生图技术发展路径[heading2]1.1横向来看,文生图的主流技术路径可分为4类基于GAN(Generative Adversarial Network)1.1.发展阶段:2016年-2021年较火热,后续放缓,不再是主流方向1.2.原理:GAN由生成器和判别器构成,通过训练生成器和判别器来进行对抗学习,学习数据的分布,并生成新的数据样本。其中生成器试图生成与真实数据相似的样本,而判别器则试图区分生成的样本和真实样本(二分类问题)。生成器和判别器通过博弈论中的对抗过程进行训练,使得生成器不断改进生成的样本,直到判别器无法区分生成的样本和真实样本为止。1.3.代表模型:DF-GAN、StackGAN++、GoGAN、AttnGAN