Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

COMFY UI中的Tile平铺预处理器

Answer

在 COMFY UI 中,关于 Tile 平铺预处理器:

  • CogVideoX-5b 开源文生视频:
    • 分块长度(t_tile_length):时间维度上的分块大小,用于处理长视频,值为 16。如果和帧数一致,画面会比较稳定,但变化会少很多。
    • 分块重叠(t_tile_overlap):时间维度上相邻分块的重叠帧数,值为 8。
    • 解码:
      • tile_sample_min_height:最小平铺高度,值为 96。
      • tile_sample_min_width:最小平铺宽度,值为 96。
      • tile_overlap_factor_height:高度方向的重叠因子。
      • tile_overlap_factor_width:宽度方向的重叠因子。
      • enable_vae_tiling:设置为 false,表示不启用 VAE 的图像平铺。
      • enable_vae_slicing:设置为 false,表示不启用 VAE 切片。启用平铺会将大图像分割成小块处理再组合,有助于处理大分辨率视频。VAE 切片可通过分割输入张量分步计算解码以节省内存。
    • 图像编码:
      • chunk_size:在时间维度上每次处理的帧数,值为 16,有助于处理长视频序列时管理内存使用。
      • enable_vae_slicing:控制是否启用 VAE 切片,设置为 false 时不使用。

此外,ComfyUI 中的 SD3 预训练文本编码器使用了三个固定的预训练文本编码器(CLIP-ViT/G、CLIP-ViT/L 和 T5-xxl)。CLIP-ViT/G 优化了图像和文本之间的关系理解,CLIP-ViT/L 专注于从图像和文本对中提取特征,T5-xxl 是一个强大的文本生成模型,增强了文本提示的理解和生成能力。

Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI CogVideoX-5b开源文生视频

这里其他的参数都比较容易理解,重点说下分块长度和分块重叠。需要注意的是分辨率只支持720 x 480,不支持其他分辨率(包括微调)分块长度(t_tile_length):16,时间维度上的分块大小,用于处理长视频。分块重叠(t_tile_overlap):8,时间维度上相邻分块的重叠帧数。有使用过animatediff的小伙伴应该很会有点熟悉,是的,他们是一样的意思,但是,分块长度(t_tile_length),如果和帧数一致,画面会比较稳定,但是变化就会少很多。可以对比下面两张图帧数32,分块长度24帧数32,分块长度32[heading4]分块长度(t_tile_length)[content]这个参数定义了在时间维度上每次处理的帧数,这样做的目的是为了克服GPU内存限制,允许生成比单次能处理的更长的视频。[heading4]分块重叠(t_tile_overlap)[content]这个参数定义了相邻时间块之间重叠的帧数,设置为8意味着每个16帧的块会与下一个块重叠8帧。这种技术的工作原理:1.将长视频分割成多个重叠的短片段(tiles)。2.对每个片段单独进行处理。3.在重叠区域使用混合或平滑技术,以确保片段之间的过渡自然。

comfyui SD3

使用了三个固定的预训练文本编码器(CLIP-ViT/G、CLIP-ViT/L和T5-xxl)。CLIP-ViT/G:是一种视觉和文本编码器,优化了图像和文本之间的关系理解。CLIP-ViT/L:专注于从图像和文本对中提取特征,进一步增强了模型的多模态理解能力。T5-xxl:一个强大的文本生成模型,增强了文本提示的理解和生成能力。在Stable Diffusion 3(SD3)中使用三个文本预处理器是为了更好地解析和处理输入的文本提示,使生成的图像更符合预期。具体来说,这些预处理器是CLIP-G、CLIP-L和T5-XXL。每个预处理器有不同的特点和用途:1.CLIP-G:CLIP-G(大模型版本)用于处理和理解输入文本,以生成动态和富有变化的图像构图。例如,CLIP-G可以生成偏中心的主体和多样的角度,使图像看起来更加生动和自然。它能够处理复杂的描述和细节,但在处理非常具体的细节时可能效果不如CLIP-L。2.CLIP-L:CLIP-L(大模型版本)用于处理更具体和详细的描述。它更注重文本提示中的细节和风格,例如光照、媒介和风格。CLIP-L在处理主体时会使构图变得更僵硬和居中,但这有助于生成高细节的图像。3.T5-XXL:T5-XXL是一个文本生成模型,辅助CLIP模型更好地理解和生成复杂的文本提示。

ComfyUI CogVideoX-5b开源文生视频

平铺和切片都是用于处理大尺寸视频的技术,可以帮助在有限的GPU内存下处理高分辨率视频。tile_sample_min_height:96,最小平铺高度。tile_sample_min_width:96,最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。tile_overlap_factor_height:0.083,高度方向的重叠因子。tile_overlap_factor_width:0.083,宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。enable_vae_tiling:设置为false,表示不启用VAE(变分自编码器)的图像平铺。enable_vae_slicing:设置为false,表示不启用VAE切片。如果启用了平铺(tiling),它会将大图像分割成小块进行处理,然后再组合起来,这有助于处理大分辨率的视频。VAE切片(如果启用)可以通过分割输入张量来分步计算解码,这有助于节省内存。[heading3]CogVideo图像编码[content]用于视频生视频,目前有点相当于重绘。chunk_size:16这个参数定义了在时间维度上每次处理的帧数。设置为16意味着模型每次会处理16帧的图像块。这有助于在处理长视频序列时管理内存使用。enable_vae_slicing:这个选项控制是否启用VAE(变分自编码器)切片。当设置为false时,不使用VAE切片技术。VAE切片可以通过分割输入张量来分步计算编码,有助于节省内存。

Others are asking
comfyui工作流
ComfyUI 工作流主要包括以下内容: FLUX 低显存运行工作流:目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为:先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用,最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成(Flux)的一系列操作,如加载相关模型、处理输入提示词、生成初始噪声和引导等,以及初始图像预览;图像放大和细化(SDXL)的一系列操作,如加载 SDXL 模型、对初始图像进行锐化处理等,还有最终图像预览。 工作流网站: “老牌”workflow 网站 Openart.ai:https://openart.ai/workflows/ 。流量比较高,支持上传、下载、在线生成,免费账户总共有 50 个积分,加入 Discord 可以再加 100 积分,开通最低的每个月 6 美元的套餐后,每个月会有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud 。支持在线运行工作流,从 workflow 的实际下载量和访问量来看,略少于 openart。 Flowt.ai:https://flowt.ai/community 。 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景是纯色(方便识别),选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取(提取码:KxgB),下载拖入 ComfyUI 中自动加载工作流进行学习。
2025-04-14
ComfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,类似于集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现了更精准的工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。
2025-04-14
comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,将 stable diffusion 流程拆分成节点,实现更精准工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型,找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。默认情况下,训练结果直接保存在 ComfyUI lora 文件夹中,训练后只需刷新并选择 LoRA 就可以测试。
2025-04-13
comfyui漫画工作流
ComfyUI 漫画工作流包含以下内容: 1. 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景为纯色(方便识别),选择绿幕是为了便于抠图。工作流文件链接:https://pan.quark.cn/s/01eae57419ce 提取码:KxgB 2. 动画工作流: 啊朔提供的动画工作流文件,如:
2025-04-13
comfyui动画片工作流怎么构建
构建 ComfyUI 动画片工作流的步骤如下: 1. 打开 Comfyui 界面后,右键点击界面,找到 Comfyui LLM party 的目录。您可以学习手动连接节点来实现最简单的 AI 女友工作流,也可以将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 2. 从 ollama 的 github 仓库找到对应版本并下载。启动 ollama 后,在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 3. 若 ollama 连接不上,很可能是代理服务器的问题,请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 此外,还有以下相关工作流搭建的信息供您参考: 1. 搭建艺术二维码工作流:打开 ComfyUI 导入相应工作流。工作流所用到的节点包括大模型节点(可选择如 AWPainting、primemixanything、xxmix9realistic v40 等,并提供了相应链接)、关键词节点、Lora 节点、ControlNet 节点(选用 qrcode_monster V2 版本,下载链接:https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 )、采样器节点(Step 选择高步数,35 50 即可,采样器默认的 euler a/dpmpp 2m sde )。 2. 搭建 ComfyUI 基础工作流:从零开始搭建时,首先准备加载大模型的节点,在工作区鼠标右键点击,选择 Add Node > 选择 loaders > 选择 Load Checkpoint,并选择对应的模型。然后加载 Conditioning(条件),在工作区鼠标右键点击,选择 Add Node > 选择 Conditioning > 选择 CLIP TEXT Encode,输入正反向提示词。添加采样器时,部分参数设置与 WEB_UI 有所不同,如 seed 值只有固定、随机、每次增加、每次减少这四个选项,采样器和调度器是分开的。
2025-04-13
comfyui如何本地安装
以下是在本地安装 ComfyUI 的详细步骤: 安装方式有两种,分别是安装到本地和安装到云端。本部分主要介绍本地安装方法。 本地安装方法: 1. 命令行安装: 这是普适性最强的方法,安装后二次遇到问题的概率相对较低,但对于不熟悉命令行以及代码的用户来说,可能会有一定的门槛。 ComfyUI 的源码地址在:https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中。您也可以按照 Readme 文档进行操作。 如果会 Git 请在 Terminal 运行以下代码: 如果不会用 Git,推荐使用 Github 的客户端(https://desktop.github.com/)拉代码。 下载并安装好 Github Desktop 后,打开该应用。 然后打开 ComfyUI 的 Github 页面(https://github.com/comfyanonymous/ComfyUI),点击右上角的绿色按钮,并点击菜单里的「Open with GitHub Desktop」,此时浏览器会弹出是否要打开 GitHub Desktop,点击「是」。 GitHub Desktop 会让您选择一个保存位置,按需调整,然后点击确定。看到下方特定界面,意味着完成了代码同步。 2. 安装包安装: 这种方法安装比较简单,下载就能用。 ComfyUI 的官方安装包:目前仅支持 Windows 系统,且显卡必须是 Nivida。下载地址是:https://github.com/comfyanonymous/ComfyUI/releases ,只需下载最新的版本,解压就能使用。 安装完成后: 1. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 2. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 3. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 希望以上内容对您有所帮助。
2025-04-10
comfyui tile放大
以下是关于 ComfyUI tile 放大的相关内容: 文生图工作流搭建:先左键点住 CLIP 黄点向外拖,再拖出两个 CLIP 编码器,从条件处拉出采样器,连接正负提示词和模型,还需 VE 解码器和 VE 模型,若模型无 VAE 则需加载器。 浅空间图像放大:从第一个采样器向右拉,点击按系数缩放将 later 调成 2 倍,复制采样器、VE 解码器并连接处理过的 later。 Confii 图像放大操作:从第一个采样器开始,通过一系列操作如添加 Latin 节点、连接提示词和模型、连接 VE 解码器等,并设置重绘幅度、缩放系数等参数来实现图像放大。参数设置方面,重绘幅度(降噪)决定图像改变程度,数值越高与原始图像差别越大;缩放系数默认 1.5,可调整为 2。 在 SD 中,可使用 Ultimate SD upscale 插件放大,也可在图生图中进行放大,重绘幅度设置为 0.6。放大时打开 Tiled Diffusion,方案选择 MultiDiffusion,放大算法选择 RESRGAN 4x+Anime6B,放大 2 倍。同时启用 Tiled VAE 和 controlnet 插件的 tile 模型,给图片添加细节。
2025-03-03
在 COMFY UI 中,关于 Tile 平铺预处理器怎么工作流中怎么使用
在 ComfyUI 中,关于 Tile 平铺预处理器的使用方法如下: 1. 平铺和切片都是用于处理大尺寸视频的技术,可以帮助在有限的 GPU 内存下处理高分辨率视频。 tile_sample_min_height:96,最小平铺高度。 tile_sample_min_width:96,最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。 tile_overlap_factor_height:0.083,高度方向的重叠因子。 tile_overlap_factor_width:0.083,宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。 enable_vae_tiling:设置为 false,表示不启用 VAE(变分自编码器)的图像平铺。 enable_vae_slicing:设置为 false,表示不启用 VAE 切片。如果启用了平铺(tiling),它会将大图像分割成小块进行处理,然后再组合起来,这有助于处理大分辨率的视频。VAE 切片(如果启用)可以通过分割输入张量来分步计算解码,这有助于节省内存。 2. 将您的 ComfyUI 更新到最新。 3. 将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹。确保您的 ComfyUI/models/clip/目录中,有 t5xxl_fp16.safetensors 和 clip_l.safetensors,您可以改用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用量,但如果您的 RAM 超过 32GB,建议使用 fp16。跑过 flux 就有这些模型,没有的话翻之前文章有下载。 4. 在您的 ComfyUI/models/vae/文件夹中,有 ae.safetensors。 5. 将最开始下载的 flux1filldev.safetensors 放于 ComfyUI/models/unet/文件夹中。 6. 使用 flux_inpainting_example 或者 flux_outpainting_example 工作流。
2024-12-26
COMFY UI中的Repeat或Tile功能
ComfyUI 中的 Repeat 或 Tile 功能: 分块长度(t_tile_length):时间维度上每次处理的帧数,用于处理长视频,如设置为 16。当分块长度与帧数一致时,画面较稳定但变化少。例如,帧数 32 时分块长度可为 24 或 32。 分块重叠(t_tile_overlap):相邻时间块之间重叠的帧数,如设置为 8。 其工作原理为: 1. 将长视频分割成多个重叠的短片段(tiles)。 2. 对每个片段单独进行处理。 3. 在重叠区域使用混合或平滑技术,确保片段之间的过渡自然。 ComfyUI 相关动态: 发布了相对大的版本更新 0.10,支持在 ComfyUI 中使用循环和条件语句,前端代码迁移到 TypeScript,新的搜索和设置 UI,实验性 FP8 算法支持以及 GGUF 量化支持。 ComfyUI 视频背景替换工作流: 用了一个 tile 来固定画面,让采样生成后的视频与原来一致。 资料链接: https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy https://xiaobot.net/post/0e6aa76398a24cc5867c44aca7e887ea 更多内容收录在:https://xiaobot.net/p/GoToComfyUI 网盘:https://pan.quark.cn/s/4e5232c92746 工作流:https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal_page 视频:https://www.bilibili.com/video/BV1NZHfeREAp/?vd_source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow:https://openart.ai/workflows/e3H4DwH55TlMBlT7MI4A https://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal_page video:https://youtu.be/nf753qp1pLg
2024-12-26
怎样用ai创建精美的ui/ux原型图
以下是一些利用 AI 创建精美的 UI/UX 原型图的方法: 1. 利用 Agent 构建:通过基本的产品和运营概念,利用 Agent 构建完整的产品、架构、UX 设计文档集,并通过多次的 rerun 输出,进行多个 UI 方案的概念探索。一个 flow 能帮助产品经理一次性完成 idea 的脑暴、打磨、市场调研、竞争力分析、功能设计、架构、UE/UI 规范,到完成可交互的高保真原型,并且可以不断产出不同的 UX 原型供内部比较和概念用研。 2. 使用 Midjourney 进行 UI 设计: 直播礼物风格图标:在素材网站上找到喜欢的 icons 风格,然后喂图给机器人,并加上关键词,如“Gift icon, cartoon style, solid color background luminous effect, 3d –iw 1 –v 5 –q 2”,其中“Gift icon”可替换为其他关键词,如“beer icon”“Headphone icon”等。 主题应用 icons:关键词如“icon design, light texture, glow, Dribbble, 3D, frosted glass effect, 3D, ui, ux, –upbeta –q 2 –v 4”。 B 端图标:关键词如“喂图+A data icon, blue gradient frosted glass, frosted glass building, white transparent technology sense white city building scene, data line link, chip, OCrenderer, big data, industrial machinery, high detailight gray background with simple linear details, studio lighting, 3d, c4d, pure white background, 8k”。
2025-04-12