以下是关于生成图片的相关信息:
Sora is also capable of generating images.We do this by arranging patches of Gaussian noise in a spatial grid with a temporal extent of one frame.The model can generate images of variable sizes—up to 2048x2048 resolution.Sora也能够生成图像。我们通过在具有一个帧的时间范围的空间网格中排列高斯噪声的分块来实现这一点。该模型可以生成不同大小的图像——分辨率高达2048x2048。和MJ V6的对比博主:https://twitter.com/doganuraldesign/status/1758444092328194217
这个是外国大佬@Ror_Fly的创意思路,很好的利用了runway的尾帧来制作动画,我也进行了实测,记录下来,关键的点,大家也可以发掘更多的玩法。[heading3]生成图片[content]提示词告诉flux,去生成一张技术草图,CAD提示词:eg:Flux短提示词,可以在上面提示词的里面提取[heading3]绘制的视频[content]在runway里面,使用提示词,告诉是从空白页面开始,逐行创建在runway里面,把生成的图片作为尾帧。[Gen-3 Alpha 1963070634,sketch drawing of a,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/IsBRbeFi3oPoUGxYao9cwBcQn2d?allow_redirect=1)[heading3]草图上色[content]使用flux的controlNet,depth固定controlNet使用的是Union的版本,目前这个版本,不建议权重调的太高,结束时间也是。[heading3]生成上色后的视频[content][Gen-3 Alpha Turbo 766422618,A robot cat running,ComfyUI_temp_lnmie_0,M 5.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/RQBfbBGipoz4yNxpuZOcjc0Kn6c?allow_redirect=1)[heading3]how2draw Flux lora[content]再分享一个好玩的flux lora,用来展示绘画的过程。触发词:how2draw
从文字生成图片以及遮罩。支持字间距行间距调整,横排竖排调整,可设置文字的随机变化,包括大小和位置的随机变化。节点选项说明:size_as(*):此处输入图像或遮罩,将按照其尺寸生成输出图像和遮罩。注意,此输入优先级高于下面的width和height。font_file(**):这里列出了font文件夹中可用的字体文件列表,选中的字体文件将被用来生成图像。spacing:字间距,以像素为单位。leading:行间距,以像素为单位。horizontal_border:侧边边距。此处数值表示的是百分比,例如50表示起点位于两侧的正中央。如果文字是横排,是左侧边距,竖排则是右侧边距。vertical_border:顶部边距。此处数值表示的是百分比,例如10表示起点位于距顶部10%的位置。scale:文字总体大小。文字的初始大小是根据画面尺寸和文字内容自动计算,默认以最长的行或者列适配画面宽或者高。调整此处数值将整体放大和缩小文字。此处数值表示的是百分比,例如60表示缩放到60%。variation_range:字符随机变化范围。此数值大于0时,字符将产生大小和位置的随机变化,数值越大,变化幅度越大。variation_seed:随机变化的种子。固定此数值,每次产生的单个文字的变化不会改变。layout:文字排版。有横排和竖排可选择。width:画面的宽度。如果有size_as输入,此设置将被忽略。height:画面的高度。如果有size_as输入,此设置将被忽略。text_color:文字颜色。background_color:背景颜色。