Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

COMFY UI中的Tile平铺预处理器

Answer

在 COMFY UI 中,关于 Tile 平铺预处理器:

  • CogVideoX-5b 开源文生视频:
    • 分块长度(t_tile_length):时间维度上的分块大小,用于处理长视频,值为 16。如果和帧数一致,画面会比较稳定,但变化会少很多。
    • 分块重叠(t_tile_overlap):时间维度上相邻分块的重叠帧数,值为 8。
    • 解码:
      • tile_sample_min_height:最小平铺高度,值为 96。
      • tile_sample_min_width:最小平铺宽度,值为 96。
      • tile_overlap_factor_height:高度方向的重叠因子。
      • tile_overlap_factor_width:宽度方向的重叠因子。
      • enable_vae_tiling:设置为 false,表示不启用 VAE 的图像平铺。
      • enable_vae_slicing:设置为 false,表示不启用 VAE 切片。启用平铺会将大图像分割成小块处理再组合,有助于处理大分辨率视频。VAE 切片可通过分割输入张量分步计算解码以节省内存。
    • 图像编码:
      • chunk_size:在时间维度上每次处理的帧数,值为 16,有助于处理长视频序列时管理内存使用。
      • enable_vae_slicing:控制是否启用 VAE 切片,设置为 false 时不使用。

此外,ComfyUI 中的 SD3 预训练文本编码器使用了三个固定的预训练文本编码器(CLIP-ViT/G、CLIP-ViT/L 和 T5-xxl)。CLIP-ViT/G 优化了图像和文本之间的关系理解,CLIP-ViT/L 专注于从图像和文本对中提取特征,T5-xxl 是一个强大的文本生成模型,增强了文本提示的理解和生成能力。

Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI CogVideoX-5b开源文生视频

这里其他的参数都比较容易理解,重点说下分块长度和分块重叠。需要注意的是分辨率只支持720 x 480,不支持其他分辨率(包括微调)分块长度(t_tile_length):16,时间维度上的分块大小,用于处理长视频。分块重叠(t_tile_overlap):8,时间维度上相邻分块的重叠帧数。有使用过animatediff的小伙伴应该很会有点熟悉,是的,他们是一样的意思,但是,分块长度(t_tile_length),如果和帧数一致,画面会比较稳定,但是变化就会少很多。可以对比下面两张图帧数32,分块长度24帧数32,分块长度32[heading4]分块长度(t_tile_length)[content]这个参数定义了在时间维度上每次处理的帧数,这样做的目的是为了克服GPU内存限制,允许生成比单次能处理的更长的视频。[heading4]分块重叠(t_tile_overlap)[content]这个参数定义了相邻时间块之间重叠的帧数,设置为8意味着每个16帧的块会与下一个块重叠8帧。这种技术的工作原理:1.将长视频分割成多个重叠的短片段(tiles)。2.对每个片段单独进行处理。3.在重叠区域使用混合或平滑技术,以确保片段之间的过渡自然。

comfyui SD3

使用了三个固定的预训练文本编码器(CLIP-ViT/G、CLIP-ViT/L和T5-xxl)。CLIP-ViT/G:是一种视觉和文本编码器,优化了图像和文本之间的关系理解。CLIP-ViT/L:专注于从图像和文本对中提取特征,进一步增强了模型的多模态理解能力。T5-xxl:一个强大的文本生成模型,增强了文本提示的理解和生成能力。在Stable Diffusion 3(SD3)中使用三个文本预处理器是为了更好地解析和处理输入的文本提示,使生成的图像更符合预期。具体来说,这些预处理器是CLIP-G、CLIP-L和T5-XXL。每个预处理器有不同的特点和用途:1.CLIP-G:CLIP-G(大模型版本)用于处理和理解输入文本,以生成动态和富有变化的图像构图。例如,CLIP-G可以生成偏中心的主体和多样的角度,使图像看起来更加生动和自然。它能够处理复杂的描述和细节,但在处理非常具体的细节时可能效果不如CLIP-L。2.CLIP-L:CLIP-L(大模型版本)用于处理更具体和详细的描述。它更注重文本提示中的细节和风格,例如光照、媒介和风格。CLIP-L在处理主体时会使构图变得更僵硬和居中,但这有助于生成高细节的图像。3.T5-XXL:T5-XXL是一个文本生成模型,辅助CLIP模型更好地理解和生成复杂的文本提示。

ComfyUI CogVideoX-5b开源文生视频

平铺和切片都是用于处理大尺寸视频的技术,可以帮助在有限的GPU内存下处理高分辨率视频。tile_sample_min_height:96,最小平铺高度。tile_sample_min_width:96,最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。tile_overlap_factor_height:0.083,高度方向的重叠因子。tile_overlap_factor_width:0.083,宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。enable_vae_tiling:设置为false,表示不启用VAE(变分自编码器)的图像平铺。enable_vae_slicing:设置为false,表示不启用VAE切片。如果启用了平铺(tiling),它会将大图像分割成小块进行处理,然后再组合起来,这有助于处理大分辨率的视频。VAE切片(如果启用)可以通过分割输入张量来分步计算解码,这有助于节省内存。[heading3]CogVideo图像编码[content]用于视频生视频,目前有点相当于重绘。chunk_size:16这个参数定义了在时间维度上每次处理的帧数。设置为16意味着模型每次会处理16帧的图像块。这有助于在处理长视频序列时管理内存使用。enable_vae_slicing:这个选项控制是否启用VAE(变分自编码器)切片。当设置为false时,不使用VAE切片技术。VAE切片可以通过分割输入张量来分步计算编码,有助于节省内存。

Others are asking
ComfyUI-WD14模型
以下是关于 ComfyUIWD14 模型的相关信息: 安装 Tagger 模型失败的解决方法:下载下面这 2 个反推模型与对应的词库列表,然后放进 ComfyUI\\custom_nodes\\ComfyUIWD14Tagger\\models 文件夹内。Hugginface 下载地址:https://huggingface.co/SmilingWolf/wdv14moattaggerv2/tree/main(下载 onnx 模型文件与 csv 文件,然后改为对应模型名:wdv14moattaggerv2)。网盘下载地址:度盘:pan.baidu.com/s/1d9XLF96OzWlLtUGvZiYdVA?pwd=nely,Quark:pan.quark.cn/s/ff8172bebe27。重启后,在 Tagger 的模型列表里选择 wdv14moattaggerv2 即可。 Comfyui SD 学社做一个黏土头像的图生图中需要用到的插件: 提示词反推 WD14Tagger:https://github.com/pythongosss/ComfyUlWD14Tagger 首次使用会自动下载模型。 处理人物一致性:IPAdapter:https://github.com/cubiq/ComfyUI_IPAdapter_plus。也可以用 instantID,这里使用的是 IPadpter,后续很多地方也会用到,建议大家也可以先用起来。关于 IPAdapter 的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下。因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少。 ControlNet:预处理的插件 comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux,ControlNet 模型 XLCN 模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main,1.5 理模型下载:https://huggingface.co/lllyasviel/ControlNetv11/tree/main。Controlnet 不熟悉的小伙伴,同样也可以看之前写的一篇文章,快速上手。 直接在 Comfy UI 中训练 LoRA 模型:制作字幕时禁用 LoRA 训练节点,原因是 Comfy 可能会在制作字幕之前启动训练。最好保险起见:在制作字幕时绕过训练节点,然后启用它,再次启动工作流程进行训练。可以在训练之前打开字幕并手动编辑它们。训练会在 log 文件夹中创建一个日志文件,该文件夹会在 Comfy 的根文件夹中创建,认为该日志是一个可以在 Tensorboard UI 中加载的文件,但很想让数据出现在 ComfyUI 中。
2025-03-04
秋叶comfyui安装包
以下是关于秋叶 ComfyUI 安装包的相关信息: 秋叶整合包:通过网盘分享,链接为 https://pan.baidu.com/s/18hSRDLgxm5N0ZHtuRQLrAQ?pwd=6666 ,提取码: 6666 。 麦橘老师模型:通过网盘分享,链接为 https://pan.baidu.com/s/14Z6KohbJ1TxlI7bJ7wg?pwd=6666 ,提取码: 6666 ,模型存放路径为 ComfyUIakiv1.3\\models\\checkpoints 。 提示词在线地址:https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540?from=search 。 通往 AGI 之路天命人整合包:通过网盘分享,链接为 https://pan.baidu.com/s/14OD0Fcfmd58eOS7qZPVPQ?pwd=6666 ,提取码: 6666 。 二狗子老师黑猴子流原理:【ComfyUI 开源社区共学天命人黑猴子(黑神话悟空)工作流讲解】https://www.bilibili.com/video/BV1agWaefENA/?share_source=copy_web&vd_source=08f1807fea192b97f4e9389bd8eaa1eb 。 更多课程欢迎来 waitoagi 社区一起共学:https://waytoagi.feishu.cn/wiki/QxIBwmsWQiEbz3kHii1cFu6XnBc 。 ComfyUI 的本地部署: 下载 github 链接:https://github.com/comfyanonymous/ComfyUIinstalling ,也可以去作者的网盘里下载一键启动压缩包。 下载完后,将文件解压到一个没有中文的路径下。 安装过程中的代码操作: I:\\ComfyUIaki\\python\\python.exe m pip install huggingface_hub U 。 过程中若有爆红部分让更新对应包到指定版本或“>=”的版本,可通过 pip install 包名==x.x.x(版本号)操作。 例如:I:\\ComfyUIaki\\python\\python.exe m pip install gradio==3.23 。 依次安装更新这些包完成后,再次执行 I:\\ComfyUIaki\\python\\python.exe m pip install huggingface_hub U ,即可重启。
2025-03-04
comfyui flux 模特换衣服 的新手 教程
以下是关于 ComfyUI Flux 模特换衣服的新手教程: 工作流整体思路: 1. 生成适合服装的模特: 可以抽卡,抽到满意的模特。加入 Redux 模型,强度不用太高,让提示词生效,Reduxprompt 节点风格细节等级需注意(1=27×27 最强,14=1×1 最弱)。 2. 进行高精度的换装: 先进行预处理的工作,拼出来 mask。 重绘 mask 区域。 工作流解释: 1. 模特生成: 先生成与衣服匹配的模特,先不关注衣服的相似度,抽出满意的模特。 2. 服装高精度处理: mask 的处理:做两个工作,将模特身上的衣服分割出来,拼接出来对应模特与衣服合并后图片的遮罩。 提示词格式与 Redux 权重:使用 Flux 的 fill 模型,提示词书写格式为这是一组图片,左边是衣服,右边的模特穿着左边的衣服。Redux 这里,把权重的调整为最大。 【SD】商业换装教程: 1. 在扩展面板中使用网址安装 Segment Anything,guthub 地址:https://github.com/continuerevolution/sdwebuisegmentanything 。重启之后安装 SAM 模型。 2. 在 github 上有三个 SAM 模型,由大到小分别是 vit_h,可根据情况选择,大部分选 vit_l 。将下载好的 SAM 模型放在指定路径。 3. 测试 SAM 模型效果,左键点击要保留的部分打上黑点,右键点击不要的部分打上红点,双击不需要的点可移除。 4. 预览分离结果,选择合适的蒙版进行服装替换等操作。 点开“展开蒙版设置”,设定蒙版扩展量,建议 30,然后点击发送到“重绘蒙版”。 5. 换衣步骤:在图生图中,提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为 1。 6. 若出现衔接问题,可通过降低重绘幅度或添加 openpose 控制人物身体姿势。还可使用 controlnet 的局部重绘功能,控制模式选择“更注重提示词”,自行试验选择效果好的。
2025-03-04
comfyui tile放大
以下是关于 ComfyUI tile 放大的相关内容: 文生图工作流搭建:先左键点住 CLIP 黄点向外拖,再拖出两个 CLIP 编码器,从条件处拉出采样器,连接正负提示词和模型,还需 VE 解码器和 VE 模型,若模型无 VAE 则需加载器。 浅空间图像放大:从第一个采样器向右拉,点击按系数缩放将 later 调成 2 倍,复制采样器、VE 解码器并连接处理过的 later。 Confii 图像放大操作:从第一个采样器开始,通过一系列操作如添加 Latin 节点、连接提示词和模型、连接 VE 解码器等,并设置重绘幅度、缩放系数等参数来实现图像放大。参数设置方面,重绘幅度(降噪)决定图像改变程度,数值越高与原始图像差别越大;缩放系数默认 1.5,可调整为 2。 在 SD 中,可使用 Ultimate SD upscale 插件放大,也可在图生图中进行放大,重绘幅度设置为 0.6。放大时打开 Tiled Diffusion,方案选择 MultiDiffusion,放大算法选择 RESRGAN 4x+Anime6B,放大 2 倍。同时启用 Tiled VAE 和 controlnet 插件的 tile 模型,给图片添加细节。
2025-03-03
win7能安装 ComfyUI吗
Win7 可以安装 ComfyUI,但需要满足一定的硬件要求和进行一系列的环境安装操作。 硬件要求: 1. 系统:Windows 7 以上。 2. 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 3. 硬盘留有足够的空间,最低 100G 起步(包括模型)。 环境安装操作: 1. 下载并更新 Nvidia 显卡驱动,下载地址:https://www.nvidia.cn/geforce/drivers/ 2. 依次下载并安装 Python(https://www.python.org/downloads/release/python3119/ ,安装时选中“将 Python 添加到系统变量”)、Git(https://gitscm.com/download/win )、VSCode(https://code.visualstudio.com/Download ),安装过程中一直点击勾选对应选项,一直下一步。 3. 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 此外,还可能涉及克隆 ComfyUI 仓库、创建 python 虚拟环境、安装 Pytorch 和依赖包等操作。关于部分安装操作,网上有较多教程可供参考。同时,模型权重和工作流的获取也有相应的途径。
2025-03-03
使用AI,comfyui是必学的吗?
ComfyUI 并非是使用 AI 时必学的。但如果您想在 AI 水平上有更高的提升,掌握 ComfyUI 的理论基础是很有帮助的。它在图像、视频等领域有诸多应用和发展,例如在差分算法、年龄渐变和特定内容替换、q 列模型、语言模型的迁移和发展、深度图检测和分层处理等方面具有优势。同时,了解其技术细节如 clip 的 skip 层、scheduler 和 sample 的区别、CFG 等能让您更灵活选择参数。ComfyUI 的生态发展稳定,节点和项目增多,相关大会也在多地举办。此外,其生态外的收费视频软件能用 API 节点接入所有体系,飞书大群方便交流,会同步课件及相关信息。
2025-03-03
在 COMFY UI 中,关于 Tile 平铺预处理器怎么工作流中怎么使用
在 ComfyUI 中,关于 Tile 平铺预处理器的使用方法如下: 1. 平铺和切片都是用于处理大尺寸视频的技术,可以帮助在有限的 GPU 内存下处理高分辨率视频。 tile_sample_min_height:96,最小平铺高度。 tile_sample_min_width:96,最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。 tile_overlap_factor_height:0.083,高度方向的重叠因子。 tile_overlap_factor_width:0.083,宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。 enable_vae_tiling:设置为 false,表示不启用 VAE(变分自编码器)的图像平铺。 enable_vae_slicing:设置为 false,表示不启用 VAE 切片。如果启用了平铺(tiling),它会将大图像分割成小块进行处理,然后再组合起来,这有助于处理大分辨率的视频。VAE 切片(如果启用)可以通过分割输入张量来分步计算解码,这有助于节省内存。 2. 将您的 ComfyUI 更新到最新。 3. 将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹。确保您的 ComfyUI/models/clip/目录中,有 t5xxl_fp16.safetensors 和 clip_l.safetensors,您可以改用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用量,但如果您的 RAM 超过 32GB,建议使用 fp16。跑过 flux 就有这些模型,没有的话翻之前文章有下载。 4. 在您的 ComfyUI/models/vae/文件夹中,有 ae.safetensors。 5. 将最开始下载的 flux1filldev.safetensors 放于 ComfyUI/models/unet/文件夹中。 6. 使用 flux_inpainting_example 或者 flux_outpainting_example 工作流。
2024-12-26
COMFY UI中的Repeat或Tile功能
ComfyUI 中的 Repeat 或 Tile 功能: 分块长度(t_tile_length):时间维度上每次处理的帧数,用于处理长视频,如设置为 16。当分块长度与帧数一致时,画面较稳定但变化少。例如,帧数 32 时分块长度可为 24 或 32。 分块重叠(t_tile_overlap):相邻时间块之间重叠的帧数,如设置为 8。 其工作原理为: 1. 将长视频分割成多个重叠的短片段(tiles)。 2. 对每个片段单独进行处理。 3. 在重叠区域使用混合或平滑技术,确保片段之间的过渡自然。 ComfyUI 相关动态: 发布了相对大的版本更新 0.10,支持在 ComfyUI 中使用循环和条件语句,前端代码迁移到 TypeScript,新的搜索和设置 UI,实验性 FP8 算法支持以及 GGUF 量化支持。 ComfyUI 视频背景替换工作流: 用了一个 tile 来固定画面,让采样生成后的视频与原来一致。 资料链接: https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy https://xiaobot.net/post/0e6aa76398a24cc5867c44aca7e887ea 更多内容收录在:https://xiaobot.net/p/GoToComfyUI 网盘:https://pan.quark.cn/s/4e5232c92746 工作流:https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal_page 视频:https://www.bilibili.com/video/BV1NZHfeREAp/?vd_source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow:https://openart.ai/workflows/e3H4DwH55TlMBlT7MI4A https://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal_page video:https://youtu.be/nf753qp1pLg
2024-12-26