Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

COMFY UI中的Repeat或Tile功能

Answer

ComfyUI 中的 Repeat 或 Tile 功能:

  • 分块长度(t_tile_length):时间维度上每次处理的帧数,用于处理长视频,如设置为 16。当分块长度与帧数一致时,画面较稳定但变化少。例如,帧数 32 时分块长度可为 24 或 32。
  • 分块重叠(t_tile_overlap):相邻时间块之间重叠的帧数,如设置为 8。 其工作原理为:
  1. 将长视频分割成多个重叠的短片段(tiles)。
  2. 对每个片段单独进行处理。
  3. 在重叠区域使用混合或平滑技术,确保片段之间的过渡自然。

ComfyUI 相关动态:

  • 发布了相对大的版本更新 0.10,支持在 ComfyUI 中使用循环和条件语句,前端代码迁移到 TypeScript,新的搜索和设置 UI,实验性 FP8 算法支持以及 GGUF 量化支持。

ComfyUI 视频背景替换工作流:

  • 用了一个 tile 来固定画面,让采样生成后的视频与原来一致。
  • 资料链接:
    • https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy
    • https://xiaobot.net/post/0e6aa763-98a2-4cc5-867c-44aca7e887ea
    • 更多内容收录在:https://xiaobot.net/p/GoToComfyUI
    • 网盘:https://pan.quark.cn/s/4e5232c92746
    • 工作流:https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal_page
    • 视频:https://www.bilibili.com/video/BV1NZHfeREAp/?vd_source=ecb7194379e23ea8b1cb52e3bd5d97ef
    • workflow:https://openart.ai/workflows/e3H4DwH55TlMBlT7MI4A
    • https://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal_page
    • video:https://youtu.be/nf753qp1pLg
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI CogVideoX-5b开源文生视频

这里其他的参数都比较容易理解,重点说下分块长度和分块重叠。需要注意的是分辨率只支持720 x 480,不支持其他分辨率(包括微调)分块长度(t_tile_length):16,时间维度上的分块大小,用于处理长视频。分块重叠(t_tile_overlap):8,时间维度上相邻分块的重叠帧数。有使用过animatediff的小伙伴应该很会有点熟悉,是的,他们是一样的意思,但是,分块长度(t_tile_length),如果和帧数一致,画面会比较稳定,但是变化就会少很多。可以对比下面两张图帧数32,分块长度24帧数32,分块长度32[heading4]分块长度(t_tile_length)[content]这个参数定义了在时间维度上每次处理的帧数,这样做的目的是为了克服GPU内存限制,允许生成比单次能处理的更长的视频。[heading4]分块重叠(t_tile_overlap)[content]这个参数定义了相邻时间块之间重叠的帧数,设置为8意味着每个16帧的块会与下一个块重叠8帧。这种技术的工作原理:1.将长视频分割成多个重叠的短片段(tiles)。2.对每个片段单独进行处理。3.在重叠区域使用混合或平滑技术,以确保片段之间的过渡自然。

AIGC Weekly #86

ComfyUI发布了一个相对大的[版本更新0.10](https://blog.comfy.org/comfyui-v0-1-x-release-devil-in-the-details-2/),已经支持在ComfyUI中使用循环和条件语句,前端代码迁移到TypeScript,新的搜索和设置UI,实验性FP8算法支持以及GGUF量化支持。Cluade开始[支持LaTeX数学公式](https://x.com/AnthropicAI/status/1826667671364272301)的渲染。Cursor宣布获得了来自Andreessen Horowitz、Jeff Dean、John Schulman、Noam Brown以及Stripe和Github的创始人[的6000万美元融资](https://x.com/cursor_ai/status/1826656532072923219)。Google给Gemini的AI studio增加了一个[提示词库](https://aistudio.google.com/app/gallery)。可以帮助你学习一些常见需求的Gemini提示词写法。PixVerse视频生成模型更新到[V2.5版本](https://x.com/PixVerse_/status/1826446286675153175)。第一个支持运动笔刷的DiT模型,模型质量大幅提升。Midjourney[网页版版本全量上线](https://x.com/midjourney/status/1826305298560418171),同时开启免费使用,未付费账号可以免费使用25次。X-Lab已经发布了[FLUX的IPapadter模型](https://github.com/XLabs-AI/x-flux-comfyui/blob/main/workflows/ip_adapter_workflow.json)。支持512x512和1024x1024分辨率。实验性模型迁移的稳定性和可靠性不太行。

ComfyUI 视频背景替换工作流

用了一个tile来固定画面,让采样生成后的视频与原来一致。之后就是采样部分了,在生成视频时候,使用了一个补帧。[heading3]资料链接[content]https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy说明文档https://xiaobot.net/post/0e6aa763-98a2-4cc5-867c-44aca7e887ea由于AI技术更新迭代,请以文档更新为准更多内容收录在⬇️https://xiaobot.net/p/GoToComfyUI网盘https://pan.quark.cn/s/4e5232c92746工作流https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal_page视频https://www.bilibili.com/video/BV1NZHfeREAp/?vd_source=ecb7194379e23ea8b1cb52e3bd5d97efworkflowhttps://openart.ai/workflows/e3H4DwH55TlMBlT7MI4Ahttps://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal_pagevideohttps://youtu.be/nf753qp1pLg

Others are asking
ComfyUI-WD14模型
以下是关于 ComfyUIWD14 模型的相关信息: 安装 Tagger 模型失败的解决方法:下载下面这 2 个反推模型与对应的词库列表,然后放进 ComfyUI\\custom_nodes\\ComfyUIWD14Tagger\\models 文件夹内。Hugginface 下载地址:https://huggingface.co/SmilingWolf/wdv14moattaggerv2/tree/main(下载 onnx 模型文件与 csv 文件,然后改为对应模型名:wdv14moattaggerv2)。网盘下载地址:度盘:pan.baidu.com/s/1d9XLF96OzWlLtUGvZiYdVA?pwd=nely,Quark:pan.quark.cn/s/ff8172bebe27。重启后,在 Tagger 的模型列表里选择 wdv14moattaggerv2 即可。 Comfyui SD 学社做一个黏土头像的图生图中需要用到的插件: 提示词反推 WD14Tagger:https://github.com/pythongosss/ComfyUlWD14Tagger 首次使用会自动下载模型。 处理人物一致性:IPAdapter:https://github.com/cubiq/ComfyUI_IPAdapter_plus。也可以用 instantID,这里使用的是 IPadpter,后续很多地方也会用到,建议大家也可以先用起来。关于 IPAdapter 的使用,之前有写了一篇文章介绍,不熟悉的小伙伴可以先看下。因为作者新版本重写了代码,所以新版一定注意模型的放置位置,这样后续使用统一加载,会方便不少。 ControlNet:预处理的插件 comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux,ControlNet 模型 XLCN 模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main,1.5 理模型下载:https://huggingface.co/lllyasviel/ControlNetv11/tree/main。Controlnet 不熟悉的小伙伴,同样也可以看之前写的一篇文章,快速上手。 直接在 Comfy UI 中训练 LoRA 模型:制作字幕时禁用 LoRA 训练节点,原因是 Comfy 可能会在制作字幕之前启动训练。最好保险起见:在制作字幕时绕过训练节点,然后启用它,再次启动工作流程进行训练。可以在训练之前打开字幕并手动编辑它们。训练会在 log 文件夹中创建一个日志文件,该文件夹会在 Comfy 的根文件夹中创建,认为该日志是一个可以在 Tensorboard UI 中加载的文件,但很想让数据出现在 ComfyUI 中。
2025-03-04
秋叶comfyui安装包
以下是关于秋叶 ComfyUI 安装包的相关信息: 秋叶整合包:通过网盘分享,链接为 https://pan.baidu.com/s/18hSRDLgxm5N0ZHtuRQLrAQ?pwd=6666 ,提取码: 6666 。 麦橘老师模型:通过网盘分享,链接为 https://pan.baidu.com/s/14Z6KohbJ1TxlI7bJ7wg?pwd=6666 ,提取码: 6666 ,模型存放路径为 ComfyUIakiv1.3\\models\\checkpoints 。 提示词在线地址:https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540?from=search 。 通往 AGI 之路天命人整合包:通过网盘分享,链接为 https://pan.baidu.com/s/14OD0Fcfmd58eOS7qZPVPQ?pwd=6666 ,提取码: 6666 。 二狗子老师黑猴子流原理:【ComfyUI 开源社区共学天命人黑猴子(黑神话悟空)工作流讲解】https://www.bilibili.com/video/BV1agWaefENA/?share_source=copy_web&vd_source=08f1807fea192b97f4e9389bd8eaa1eb 。 更多课程欢迎来 waitoagi 社区一起共学:https://waytoagi.feishu.cn/wiki/QxIBwmsWQiEbz3kHii1cFu6XnBc 。 ComfyUI 的本地部署: 下载 github 链接:https://github.com/comfyanonymous/ComfyUIinstalling ,也可以去作者的网盘里下载一键启动压缩包。 下载完后,将文件解压到一个没有中文的路径下。 安装过程中的代码操作: I:\\ComfyUIaki\\python\\python.exe m pip install huggingface_hub U 。 过程中若有爆红部分让更新对应包到指定版本或“>=”的版本,可通过 pip install 包名==x.x.x(版本号)操作。 例如:I:\\ComfyUIaki\\python\\python.exe m pip install gradio==3.23 。 依次安装更新这些包完成后,再次执行 I:\\ComfyUIaki\\python\\python.exe m pip install huggingface_hub U ,即可重启。
2025-03-04
comfyui flux 模特换衣服 的新手 教程
以下是关于 ComfyUI Flux 模特换衣服的新手教程: 工作流整体思路: 1. 生成适合服装的模特: 可以抽卡,抽到满意的模特。加入 Redux 模型,强度不用太高,让提示词生效,Reduxprompt 节点风格细节等级需注意(1=27×27 最强,14=1×1 最弱)。 2. 进行高精度的换装: 先进行预处理的工作,拼出来 mask。 重绘 mask 区域。 工作流解释: 1. 模特生成: 先生成与衣服匹配的模特,先不关注衣服的相似度,抽出满意的模特。 2. 服装高精度处理: mask 的处理:做两个工作,将模特身上的衣服分割出来,拼接出来对应模特与衣服合并后图片的遮罩。 提示词格式与 Redux 权重:使用 Flux 的 fill 模型,提示词书写格式为这是一组图片,左边是衣服,右边的模特穿着左边的衣服。Redux 这里,把权重的调整为最大。 【SD】商业换装教程: 1. 在扩展面板中使用网址安装 Segment Anything,guthub 地址:https://github.com/continuerevolution/sdwebuisegmentanything 。重启之后安装 SAM 模型。 2. 在 github 上有三个 SAM 模型,由大到小分别是 vit_h,可根据情况选择,大部分选 vit_l 。将下载好的 SAM 模型放在指定路径。 3. 测试 SAM 模型效果,左键点击要保留的部分打上黑点,右键点击不要的部分打上红点,双击不需要的点可移除。 4. 预览分离结果,选择合适的蒙版进行服装替换等操作。 点开“展开蒙版设置”,设定蒙版扩展量,建议 30,然后点击发送到“重绘蒙版”。 5. 换衣步骤:在图生图中,提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为 1。 6. 若出现衔接问题,可通过降低重绘幅度或添加 openpose 控制人物身体姿势。还可使用 controlnet 的局部重绘功能,控制模式选择“更注重提示词”,自行试验选择效果好的。
2025-03-04
comfyui tile放大
以下是关于 ComfyUI tile 放大的相关内容: 文生图工作流搭建:先左键点住 CLIP 黄点向外拖,再拖出两个 CLIP 编码器,从条件处拉出采样器,连接正负提示词和模型,还需 VE 解码器和 VE 模型,若模型无 VAE 则需加载器。 浅空间图像放大:从第一个采样器向右拉,点击按系数缩放将 later 调成 2 倍,复制采样器、VE 解码器并连接处理过的 later。 Confii 图像放大操作:从第一个采样器开始,通过一系列操作如添加 Latin 节点、连接提示词和模型、连接 VE 解码器等,并设置重绘幅度、缩放系数等参数来实现图像放大。参数设置方面,重绘幅度(降噪)决定图像改变程度,数值越高与原始图像差别越大;缩放系数默认 1.5,可调整为 2。 在 SD 中,可使用 Ultimate SD upscale 插件放大,也可在图生图中进行放大,重绘幅度设置为 0.6。放大时打开 Tiled Diffusion,方案选择 MultiDiffusion,放大算法选择 RESRGAN 4x+Anime6B,放大 2 倍。同时启用 Tiled VAE 和 controlnet 插件的 tile 模型,给图片添加细节。
2025-03-03
win7能安装 ComfyUI吗
Win7 可以安装 ComfyUI,但需要满足一定的硬件要求和进行一系列的环境安装操作。 硬件要求: 1. 系统:Windows 7 以上。 2. 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 3. 硬盘留有足够的空间,最低 100G 起步(包括模型)。 环境安装操作: 1. 下载并更新 Nvidia 显卡驱动,下载地址:https://www.nvidia.cn/geforce/drivers/ 2. 依次下载并安装 Python(https://www.python.org/downloads/release/python3119/ ,安装时选中“将 Python 添加到系统变量”)、Git(https://gitscm.com/download/win )、VSCode(https://code.visualstudio.com/Download ),安装过程中一直点击勾选对应选项,一直下一步。 3. 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 此外,还可能涉及克隆 ComfyUI 仓库、创建 python 虚拟环境、安装 Pytorch 和依赖包等操作。关于部分安装操作,网上有较多教程可供参考。同时,模型权重和工作流的获取也有相应的途径。
2025-03-03
使用AI,comfyui是必学的吗?
ComfyUI 并非是使用 AI 时必学的。但如果您想在 AI 水平上有更高的提升,掌握 ComfyUI 的理论基础是很有帮助的。它在图像、视频等领域有诸多应用和发展,例如在差分算法、年龄渐变和特定内容替换、q 列模型、语言模型的迁移和发展、深度图检测和分层处理等方面具有优势。同时,了解其技术细节如 clip 的 skip 层、scheduler 和 sample 的区别、CFG 等能让您更灵活选择参数。ComfyUI 的生态发展稳定,节点和项目增多,相关大会也在多地举办。此外,其生态外的收费视频软件能用 API 节点接入所有体系,飞书大群方便交流,会同步课件及相关信息。
2025-03-03
在 COMFY UI 中,关于 Tile 平铺预处理器怎么工作流中怎么使用
在 ComfyUI 中,关于 Tile 平铺预处理器的使用方法如下: 1. 平铺和切片都是用于处理大尺寸视频的技术,可以帮助在有限的 GPU 内存下处理高分辨率视频。 tile_sample_min_height:96,最小平铺高度。 tile_sample_min_width:96,最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。 tile_overlap_factor_height:0.083,高度方向的重叠因子。 tile_overlap_factor_width:0.083,宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。 enable_vae_tiling:设置为 false,表示不启用 VAE(变分自编码器)的图像平铺。 enable_vae_slicing:设置为 false,表示不启用 VAE 切片。如果启用了平铺(tiling),它会将大图像分割成小块进行处理,然后再组合起来,这有助于处理大分辨率的视频。VAE 切片(如果启用)可以通过分割输入张量来分步计算解码,这有助于节省内存。 2. 将您的 ComfyUI 更新到最新。 3. 将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹。确保您的 ComfyUI/models/clip/目录中,有 t5xxl_fp16.safetensors 和 clip_l.safetensors,您可以改用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用量,但如果您的 RAM 超过 32GB,建议使用 fp16。跑过 flux 就有这些模型,没有的话翻之前文章有下载。 4. 在您的 ComfyUI/models/vae/文件夹中,有 ae.safetensors。 5. 将最开始下载的 flux1filldev.safetensors 放于 ComfyUI/models/unet/文件夹中。 6. 使用 flux_inpainting_example 或者 flux_outpainting_example 工作流。
2024-12-26
COMFY UI中的Tile平铺预处理器
在 COMFY UI 中,关于 Tile 平铺预处理器: CogVideoX5b 开源文生视频: 分块长度(t_tile_length):时间维度上的分块大小,用于处理长视频,值为 16。如果和帧数一致,画面会比较稳定,但变化会少很多。 分块重叠(t_tile_overlap):时间维度上相邻分块的重叠帧数,值为 8。 解码: tile_sample_min_height:最小平铺高度,值为 96。 tile_sample_min_width:最小平铺宽度,值为 96。 tile_overlap_factor_height:高度方向的重叠因子。 tile_overlap_factor_width:宽度方向的重叠因子。 enable_vae_tiling:设置为 false,表示不启用 VAE 的图像平铺。 enable_vae_slicing:设置为 false,表示不启用 VAE 切片。启用平铺会将大图像分割成小块处理再组合,有助于处理大分辨率视频。VAE 切片可通过分割输入张量分步计算解码以节省内存。 图像编码: chunk_size:在时间维度上每次处理的帧数,值为 16,有助于处理长视频序列时管理内存使用。 enable_vae_slicing:控制是否启用 VAE 切片,设置为 false 时不使用。 此外,ComfyUI 中的 SD3 预训练文本编码器使用了三个固定的预训练文本编码器(CLIPViT/G、CLIPViT/L 和 T5xxl)。CLIPViT/G 优化了图像和文本之间的关系理解,CLIPViT/L 专注于从图像和文本对中提取特征,T5xxl 是一个强大的文本生成模型,增强了文本提示的理解和生成能力。
2024-12-26