以下是关于根据草图生成图片的相关内容:
这个是外国大佬@Ror_Fly的创意思路,很好的利用了runway的尾帧来制作动画,我也进行了实测,记录下来,关键的点,大家也可以发掘更多的玩法。[heading3]生成图片[content]提示词告诉flux,去生成一张技术草图,CAD提示词:eg:Flux短提示词,可以在上面提示词的里面提取[heading3]绘制的视频[content]在runway里面,使用提示词,告诉是从空白页面开始,逐行创建在runway里面,把生成的图片作为尾帧。[Gen-3 Alpha 1963070634,sketch drawing of a,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/IsBRbeFi3oPoUGxYao9cwBcQn2d?allow_redirect=1)[heading3]草图上色[content]使用flux的controlNet,depth固定controlNet使用的是Union的版本,目前这个版本,不建议权重调的太高,结束时间也是。[heading3]生成上色后的视频[content][Gen-3 Alpha Turbo 766422618,A robot cat running,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RQBfbBGipoz4yNxpuZOcjc0Kn6c?allow_redirect=1)[heading3]how2draw Flux lora[content]再分享一个好玩的flux lora,用来展示绘画的过程。触发词:how2draw
2.2.3在草图生成中的潜在应用近年来,文本到图像合成模型已经得到广泛探索,但它们常常缺乏空间理解能力和遵循复杂指令的能力[GPN+22]。例如,给定一个提示,如「在左侧画一个蓝色的圆,在右侧画一个红色的三角形」,这些模型可能会生成外观上很吸引人但不符合所需布局或颜色的图像。另一方面,GPT-4可以根据提示生成代码,并以更高的准确度按照指示呈现为图像。然而,渲染图像的质量通常非常低。在这里,我们探索了将GPT-4和现有图像合成模型结合使用的可能性,通过使用GPT-4输出作为草图。如下图所示,这种方法可以生成比任一模型单独生成更贴近指令的、质量更好的图像。我们认为这是一个利用GPT-4和现有图像合成模型优势的有前途的方向。它也可以被视为在第5.1节中更深入地探索的授予GPT-4工具访问权限的第一个示例。
[heading2]稍微高级一点的薅[heading3]复制图像链接[content]这时候我们需要首先复制一下图片的网址:然后打开discord,在聊天栏输入/imagine prompt[图像网址][heading3]复制提示词[content]之后再回到官网,把图像的提示词也复制下来再回discord黏贴到刚才拷贝的网址后面,注意空个格[heading3]生成图像[content]都搞好以后输入命令,稍等一会儿就会得到一个内容和画风都和原图比较接近的图,注意:非自己做的图无法获得random seed所以不能弄得完全一样,如果效果不理想多反复生成几次吧。之后放大觉得还不错的一张,在放大的图里做如下步骤:[heading3]改变比例和镜头拉远[content]首先,点这个Custom Zoom此时可以改变拉伸镜头后的画面比例,如果是屏显PPT一般用16:9,如下图,把--ar这个参数后面的数值改成16:9(默认的方形构图这里是1:1)--zoom参数设置为1.5--zoom参数是镜头拉伸的倍数,1.5~1.7比较靠谱,太大(比如2)会有更大几率生成一些莫名其妙的东西[heading3]检查构图[content]选一张比较好的放大一下,就可以放进PPT调整构图了。构图如果没问题可以直接跳到:[6.提升分辨率](https://waytoagi.feishu.cn/docx/PF9Kdj7gXo0XeVxziCicWYytnVh#doxcn0yGP81zcgAUhSoeXsAsDrc)如果构图还是不太好的话可以在当前这张图的基础上再用一次Zoom Out 1.5x,这样做和直接2x不同,不会有太多奇怪的东西进来。这时候的构图可能就差不多了,选一张比较好的放大出来试试