RuntimeError: All input tensors need to be on the same GPU, but found some tensors to not be on a GPU

很抱歉，根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”，暂时无法明确具体的问题原因。可能是模型文件格式不被识别，或者文件路径存在错误等。建议您检查文件的完整性和正确性，确保其符合相关软件的要求。

以下是关于“自定义采样器（高级）”中“Expected all tensors to be on the same device，but found at least two devices，cuda：0 and cpu！（when checking argument for argument mat2 in method wrapper\_CUDA\_mm）”错误的解决办法： 错误原因：Expected all tensors to be on the same device,but found at least two devices,cuda:0 and cpu! 对应插件地址：https://github.com/sipie800/ComfyUIPuLIDFluxEnhanced 资料链接： 百度网盘：通过网盘分享的文件：ComfyUI_PuLID_Flux_ll 链接:https://pan.baidu.com/s/1dMLAb4s0vroO9Zk6ecKb7Q?pwd=cycy 提取码:cycy 来自百度网盘超级会员 v5 的分享 说明文档：https://www.xiaobot.net/post/b98d55699a754b9baac242a3e285be94 由于 AI 技术更新迭代，请以文档更新为准 更多内容收录在：https://xiaobot.net/p/GoToComfyUI 网盘：https://pan.quark.cn/s/129886bbcc61 相关链接： ComfyUI_PuLID_Flux_ll ：https://github.com/lldacing/ComfyUI_PuLID_Flux_ll?tab=readmeovfile guozinan/PuLID 模型：https://huggingface.co/guozinan/PuLID/tree/main

layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。

在 Stable Diffusion 中，.ckpt 和.safetensors 都是模型文件的后缀。 .ckpt 是序列化过的文件，可能包含恶意代码，加载时存在一定的安全风险。 .safetensors 一般使用 numpy 格式保存，只保存张量数据，没有任何代码，加载时更安全且速度更快。 在使用 WebUI 时，左上角切换的就是主模型，而主模型后缀通常为.ckpt 或者.safetensors，其体积一般在 2G 7G 之间。管理模型需要进入 WebUI 目录下的 models/Stablediffusion 目录。 Checkpoint 包含了 MODEL、CLIP 和 VAE 三个部分，是所有工作流程的起点。

AI 使用 GPU 而不是 CPU 主要有以下原因： 1. 强大的计算能力：GPU 在并行处理大量数据方面具有显著优势。例如，同年《Largescale Deep Unsupervised Learning using Graphics Processors》这篇论文指出，利用 GPU 比 CPU 快 70 倍，能将数周的工作压缩到几天甚至一天完成。 2. 适应深度学习需求：大型神经网络、输入的多个变量以及有效的反向传播 GPU 实现等方面，GPU 表现出色。如 MNIST 数据库能达到令人惊叹的 0.35%错误率。 3. 处理图形相关运算：GPU 原本就是为处理图像和图形相关运算工作而设计，其采用的核心技术如硬件 T&L 等，适合 AI 中的图形处理任务。 4. 分担 CPU 工作：GPU 的诞生源自对 CPU 的减负，使显卡减少对 CPU 的依赖，并进行部分原本 CPU 的工作。 5. 算力优势：算力可以直接转化为 GPU，一张显卡中的 GPU 是计算能力的关键。 6. 适应 AI 模型需求：当今所有 AI 模型都在使用大量专用芯片的 GPU 卡上运行。例如 NVIDIA A100 GPU 有 512 个“张量核心”，能大幅提高计算效率。但实际应用中，也存在一些限制，如数据传输、内存容量和优化方法等问题。

以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。

以下是常见 GPU 卡的介绍与比较： 在选择 GPU 作为 AI 基础设施时，需要考虑多个因素： 训练与推理方面：训练大型 Transformer 模型通常需要在机器集群上完成，最好是每台服务器有多个 GPU、大量 VRAM 以及服务器之间的高带宽连接。许多模型在 NVIDIA H100 上最具成本效益，但获取较难且通常需要长期合作承诺。如今，NVIDIA A100 常用于大多数模型训练。对于大型语言模型（LLM）的推理，可能需要 H100 或 A100，而较小的模型如 Stable Diffusion 则对 VRAM 需求较少，初创公司也会使用 A10、A40、A4000、A5000 和 A6000 甚至 RTX 卡。 内存要求方面：大型 LLM 的参数数量众多，无法由单张卡容纳，需要分布到多个卡中。 硬件支持方面：虽然绝大多数工作负载在 NVIDIA 上运行，但也有公司开始尝试其他供应商，如谷歌 TPU 和英特尔的 Gaudi2，但这些供应商面临的挑战是模型性能高度依赖软件优化。 延迟要求方面：对延迟不太敏感的工作负载可使用功能较弱的 GPU 以降低计算成本，而面向用户的应用程序通常需要高端 GPU 卡来提供实时用户体验。 峰值方面：生成式 AI 公司的需求经常急剧上升，在低端 GPU 上处理峰值通常更容易，若流量来自参与度或留存率较低的用户，以牺牲性能为代价使用较低成本资源也有意义。 此外，算力可以理解为计算能力，在电脑中可直接转化为 GPU，显卡就是 GPU，除了 GPU 外，显存也是重要参数。GPU 是一种专门做图像和图形相关运算工作的微处理器，其诞生是为了给 CPU 减负，生产商主要有 NVIDIA 和 ATI。

GPU（图形处理器）具有以下计算特性： 1. 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 2. 诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。 3. 所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素 256 位渲染引擎等，硬件 T&L 技术可以说是 GPU 的标志。 4. 生产商主要有 NVIDIA 和 ATI。 5. 在矩阵乘法方面表现出色，早期使用游戏用的 GPU 能使运算速度提高 30 倍。 6. 随着 AI 领域的发展而不断发展，例如在训练神经网络方面发挥重要作用。

以下是常见 GPU 卡的介绍与比较： 在 AI 基础设施的考虑因素中，比较 GPU 时需要关注以下几个方面： 训练与推理： 训练 Transformer 模型除了模型权重外，还需要存储 8 字节的数据用于训练。内存 12GB 的典型高端消费级 GPU 几乎无法用于训练 40 亿参数的模型。 训练大型模型通常在机器集群上完成，最好是每台服务器有多个 GPU、大量 VRAM 以及服务器之间的高带宽连接。 许多模型在 NVIDIA H100 上最具成本效益，但截至目前很难找到在 NVIDIA H100 上运行的模型，且通常需要一年以上的长期合作承诺。如今，更多选择在 NVIDIA A100 上运行大多数模型训练，但对于大型集群，仍需要长期承诺。 内存要求： 大型 LLM 的参数数量太多，任何卡都无法容纳，需要分布到多个卡中。 即使进行 LLM 推理，可能也需要 H100 或 A100。但较小的模型（如 Stable Diffusion）需要的 VRAM 要少得多，初创公司也会使用 A10、A40、A4000、A5000 和 A6000，甚至 RTX 卡。 硬件支持： 虽然绝大多数工作负载都在 NVIDIA 上运行，但也有一些公司开始尝试其他供应商，如谷歌 TPU、英特尔的 Gaudi2。 这些供应商面临的挑战是，模型的性能往往高度依赖于芯片的软件优化是否可用，可能需要执行 PoC 才能了解性能。 延迟要求： 对延迟不太敏感的工作负载（如批处理数据处理或不需要交互式 UI 响应的应用程序）可以使用功能较弱的 GPU，能将计算成本降低多达 3 4 倍。 面向用户的应用程序通常需要高端 GPU 卡来提供引人入胜的实时用户体验，优化模型是必要的，以使成本降低到可管理的范围。 峰值： 生成式 AI 公司的需求经常急剧上升，新产品一经发布，请求量每天增加 10 倍，或者每周持续增长 50%的情况并不罕见。 在低端 GPU 上处理这些峰值通常更容易，因为更多的计算节点可能随时可用。如果这种流量来自于参与度较低或留存率较低的用户，那么以牺牲性能为代价使用较低成本的资源也是有意义的。 此外，算力可以直接转化成 GPU，电脑里的显卡就是 GPU。一张显卡除了 GPU 外，显存也是很重要的参数。GPU 的生产商主要有 NVIDIA 和 ATI。GPU 作为一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器，其诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作。

GPU（图形处理器）具有以下计算特性： 1. 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 2. 诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。 3. 所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素 256 位渲染引擎等，硬件 T&L 技术可以说是 GPU 的标志。 4. 生产商主要有 NVIDIA 和 ATI。 5. 在矩阵乘法方面表现出色，早期使用 GPU 训练神经网络，能使运算速度提高 30 倍。

以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。

Function Calling 是一种在自然语言处理和人工智能模型中的技术和概念。 在金融业务场景中，例如搜索欧元兑美元的当前汇率，使用前需要做好配置，如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言，为了让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后，开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数，并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象，这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如，本地写函数执行 this.app.mysql.select，使操作更灵活。 对于 OpenAI 的 GPT 模型，Chat completions API 允许在请求中传递一系列函数描述，模型能据此生成函数参数并以 JSON 格式返回，可用于执行函数调用，函数调用的结果还能在后续请求中反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。 需要注意的是，模型生成的代码不一定都正确和安全，运行代码前要确保环境安全，最好在沙盒里。

DALL·E 是 OpenAI 构建的一种新型神经网络，可以从文字说明直接生成图像。它一般会有三个 Prompt 阶段：原始 Prompt 即初始输入的那个；优化 Prompt 时有时无，DallE 会输出它分析优化后的每图英文 Prompt；最终 Prompt 则是每张图片点开后的 Prompt。推特博主通过一段 json 实现了一个功能，切换是否允许 DALL·E 自动更改原始 Prompt，一个是要求它必须生成新的，另一个是不允许更改，这个切换对应到了一个命令上，可以方便调用切换。 一些具有代表性的海外项目中包含 DALL·E 3，去年 OpenAI 将 DALL·E 3 集成进 ChatGPT。DALL·E 推出了编辑功能，支持对生成图片进行二次编辑，包括替换、删除、添加对象。其编辑界面提供了一系列可用工具，如 Select 按钮用于选择需要编辑的图像部分，左上角有可来回拖动大小的工具以改变想要更新的区域，还有“撤销、恢复”按钮以及“Clear Selection”选项用于重新开始编辑图像。使用时，编辑器界面可以添加、删除和更新图像的某些部分，例如添加樱花、删除鸟类、更改猫的表情等。帮助文档可参考：https://help.openai.com/en/articles/9055440editingyourimageswithdalle

Stable Diffusion、Midjourney 和 DALL·E 这三个生成式 AI 工具主要有以下区别： 1. 开源性：Stable Diffusion 是开源的，用户可以在任何高端计算机上运行。 2. 学习曲线：Midjourney 的学习曲线较低，只需键入特定的提示就能得到较好的结果。 3. 图像质量：Midjourney 被认为是 2023 年中期图像质量最好的系统。 4. 应用场景：Stable Diffusion 特别适合将 AI 与来自其他源的图像结合；Adobe Firefly 内置在各种 Adobe 产品中，但在质量方面落后于 DALL·E 和 Midjourney。 5. 训练数据：这些工具都是使用大量的内容数据集进行训练的，例如 Stable Diffusion 是在从网络上抓取的超过 50 亿的图像/标题对上进行训练的。 6. 所属公司：DALL·E 来自 OpenAI。 在使用方面： 1. Stable Diffusion 开始使用需要付出努力，因为要学会正确制作提示，但一旦掌握，能产生很好的结果。 2. DALL·E 已纳入 Bing（需使用创意模式）和 Bing 图像创建器，系统可靠，但图像质量比 Midjourney 差。 3. Midjourney 需要 Discord，使用时需键入特定格式的提示。

实现 Function Call 主要有以下几种方式和要点： 1. 方式： Json Output：通过 Prompt 让模型输出 JSON 格式内容，但 Prompt 麻烦，输出不稳定，串业务成本高。 Json Mode：官方 Json Output，与 Tools 适用场景不同，JSON mode 为输出 JSON 存在，Tools 为 Call API 存在。 Function Calling 和 Tools：从可控角度推荐使用。 2. 要点： 放弃 JSON mode：模型输出 JSON 仍可能出错，模型厂家对 Function Calling 有微调优化。 降低 System prompt 依赖，化繁为简：System prompt 内容多，不能保证模型遵循，能在 Tools 里写的尽量写在里面。 API Response 增强 Prompt：Tools 调用结果返回给模型时，可增加约束和提示，准确率高。 尽量让模型做选择，而不是填空：将确定答案做成选项，如用 Enum 方式，减少 token 输出，提高速度和准确率。 利用 Tools 来做 Route，构建 Multi Agent：一个不行就增加数量，术业有专攻。 此外，OpenAI 发布函数调用及其他 API 更新，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能输出包含调用函数所需参数的 JSON 对象，这是连接 GPT 能力与外部工具和 API 的新方法。例如在本地写函数执行查询，根据 GPT 返回的函数名和参数来操作，也可将函数改为更灵活的 SQL 查询。在实际业务中，可根据需求选择函数查询或 SQL 查询。另外，LangChain 内置的 openapifunction call 也可用于相关开发，实际业务中可能需结合内置业务流程，如判断用户问题是否相关、引导式提问等。

对于您提到的“coze 报错 Pro call plugin too high”的问题，可能是配置文件没有配置正确。建议您按照相关教程逐步检查配置文件。同时，即使是官方插件也可能存在不稳定的情况，您需要自己尝试找到适合当前场景的插件。另外，还需注意节点的命名、调用次数、引用情况、运行耗时和成功率等方面，以优化工作流的运行。

Function Calling 是一种在自然语言处理和人工智能领域中的技术和概念。 在金融业务场景中，例如搜索欧元兑美元的当前汇率，使用前需要做好配置，如使用 Gemini 1.5 Flash 模型。 对于 ChatGPT 而言，为了让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新后，开发人员可以向 gpt40613 和 gpt3.5turbo0613 描述函数，并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象，这是将 GPT 的能力与外部工具和 API 连接起来的新方法。例如，本地写函数执行 this.app.mysql.select，这样使得 prompt 的定制更为简单，AI 的输出更为可控。 在 OpenAI 的相关实践中，Chat completions API 允许在请求时附带一系列函数描述，模型可据此产生函数参数，API 以 JSON 格式返回参数用于执行函数调用，函数调用的结果还可反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。但需注意，模型生成的代码不一定都正确和安全，使用前要确保环境安全。