RuntimeError: All input tensors need to be on the same GPU, but found some tensors to not be on a GPU

以下是关于“自定义采样器（高级）”中“Expected all tensors to be on the same device，but found at least two devices，cuda：0 and cpu！（when checking argument for argument mat2 in method wrapper\_CUDA\_mm）”错误的解决办法： 错误原因：Expected all tensors to be on the same device,but found at least two devices,cuda:0 and cpu! 对应插件地址：https://github.com/sipie800/ComfyUIPuLIDFluxEnhanced 资料链接： 百度网盘：通过网盘分享的文件：ComfyUI_PuLID_Flux_ll 链接:https://pan.baidu.com/s/1dMLAb4s0vroO9Zk6ecKb7Q?pwd=cycy 提取码:cycy 来自百度网盘超级会员 v5 的分享 说明文档：https://www.xiaobot.net/post/b98d55699a754b9baac242a3e285be94 由于 AI 技术更新迭代，请以文档更新为准 更多内容收录在：https://xiaobot.net/p/GoToComfyUI 网盘：https://pan.quark.cn/s/129886bbcc61 相关链接： ComfyUI_PuLID_Flux_ll ：https://github.com/lldacing/ComfyUI_PuLID_Flux_ll?tab=readmeovfile guozinan/PuLID 模型：https://huggingface.co/guozinan/PuLID/tree/main

layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。

在 Stable Diffusion 中，.ckpt 和.safetensors 都是模型文件的后缀。 .ckpt 是序列化过的文件，可能包含恶意代码，加载时存在一定的安全风险。 .safetensors 一般使用 numpy 格式保存，只保存张量数据，没有任何代码，加载时更安全且速度更快。 在使用 WebUI 时，左上角切换的就是主模型，而主模型后缀通常为.ckpt 或者.safetensors，其体积一般在 2G 7G 之间。管理模型需要进入 WebUI 目录下的 models/Stablediffusion 目录。 Checkpoint 包含了 MODEL、CLIP 和 VAE 三个部分，是所有工作流程的起点。

AI 使用 GPU 而不是 CPU 主要有以下原因： 1. 强大的计算能力：GPU 在并行处理大量数据方面具有显著优势。例如，同年《Largescale Deep Unsupervised Learning using Graphics Processors》这篇论文指出，利用 GPU 比 CPU 快 70 倍，能将数周的工作压缩到几天甚至一天完成。 2. 适应深度学习需求：大型神经网络、输入的多个变量以及有效的反向传播 GPU 实现等方面，GPU 表现出色。如 MNIST 数据库能达到令人惊叹的 0.35%错误率。 3. 处理图形相关运算：GPU 原本就是为处理图像和图形相关运算工作而设计，其采用的核心技术如硬件 T&L 等，适合 AI 中的图形处理任务。 4. 分担 CPU 工作：GPU 的诞生源自对 CPU 的减负，使显卡减少对 CPU 的依赖，并进行部分原本 CPU 的工作。 5. 算力优势：算力可以直接转化为 GPU，一张显卡中的 GPU 是计算能力的关键。 6. 适应 AI 模型需求：当今所有 AI 模型都在使用大量专用芯片的 GPU 卡上运行。例如 NVIDIA A100 GPU 有 512 个“张量核心”，能大幅提高计算效率。但实际应用中，也存在一些限制，如数据传输、内存容量和优化方法等问题。

以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。

以下是常见 GPU 卡的介绍与比较： 在选择 GPU 作为 AI 基础设施时，需要考虑多个因素： 训练与推理方面：训练大型 Transformer 模型通常需要在机器集群上完成，最好是每台服务器有多个 GPU、大量 VRAM 以及服务器之间的高带宽连接。许多模型在 NVIDIA H100 上最具成本效益，但获取较难且通常需要长期合作承诺。如今，NVIDIA A100 常用于大多数模型训练。对于大型语言模型（LLM）的推理，可能需要 H100 或 A100，而较小的模型如 Stable Diffusion 则对 VRAM 需求较少，初创公司也会使用 A10、A40、A4000、A5000 和 A6000 甚至 RTX 卡。 内存要求方面：大型 LLM 的参数数量众多，无法由单张卡容纳，需要分布到多个卡中。 硬件支持方面：虽然绝大多数工作负载在 NVIDIA 上运行，但也有公司开始尝试其他供应商，如谷歌 TPU 和英特尔的 Gaudi2，但这些供应商面临的挑战是模型性能高度依赖软件优化。 延迟要求方面：对延迟不太敏感的工作负载可使用功能较弱的 GPU 以降低计算成本，而面向用户的应用程序通常需要高端 GPU 卡来提供实时用户体验。 峰值方面：生成式 AI 公司的需求经常急剧上升，在低端 GPU 上处理峰值通常更容易，若流量来自参与度或留存率较低的用户，以牺牲性能为代价使用较低成本资源也有意义。 此外，算力可以理解为计算能力，在电脑中可直接转化为 GPU，显卡就是 GPU，除了 GPU 外，显存也是重要参数。GPU 是一种专门做图像和图形相关运算工作的微处理器，其诞生是为了给 CPU 减负，生产商主要有 NVIDIA 和 ATI。

GPU（图形处理器）具有以下计算特性： 1. 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 2. 诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。 3. 所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素 256 位渲染引擎等，硬件 T&L 技术可以说是 GPU 的标志。 4. 生产商主要有 NVIDIA 和 ATI。 5. 在矩阵乘法方面表现出色，早期使用游戏用的 GPU 能使运算速度提高 30 倍。 6. 随着 AI 领域的发展而不断发展，例如在训练神经网络方面发挥重要作用。

以下是常见 GPU 卡的介绍与比较： 在 AI 基础设施的考虑因素中，比较 GPU 时需要关注以下几个方面： 训练与推理： 训练 Transformer 模型除了模型权重外，还需要存储 8 字节的数据用于训练。内存 12GB 的典型高端消费级 GPU 几乎无法用于训练 40 亿参数的模型。 训练大型模型通常在机器集群上完成，最好是每台服务器有多个 GPU、大量 VRAM 以及服务器之间的高带宽连接。 许多模型在 NVIDIA H100 上最具成本效益，但截至目前很难找到在 NVIDIA H100 上运行的模型，且通常需要一年以上的长期合作承诺。如今，更多选择在 NVIDIA A100 上运行大多数模型训练，但对于大型集群，仍需要长期承诺。 内存要求： 大型 LLM 的参数数量太多，任何卡都无法容纳，需要分布到多个卡中。 即使进行 LLM 推理，可能也需要 H100 或 A100。但较小的模型（如 Stable Diffusion）需要的 VRAM 要少得多，初创公司也会使用 A10、A40、A4000、A5000 和 A6000，甚至 RTX 卡。 硬件支持： 虽然绝大多数工作负载都在 NVIDIA 上运行，但也有一些公司开始尝试其他供应商，如谷歌 TPU、英特尔的 Gaudi2。 这些供应商面临的挑战是，模型的性能往往高度依赖于芯片的软件优化是否可用，可能需要执行 PoC 才能了解性能。 延迟要求： 对延迟不太敏感的工作负载（如批处理数据处理或不需要交互式 UI 响应的应用程序）可以使用功能较弱的 GPU，能将计算成本降低多达 3 4 倍。 面向用户的应用程序通常需要高端 GPU 卡来提供引人入胜的实时用户体验，优化模型是必要的，以使成本降低到可管理的范围。 峰值： 生成式 AI 公司的需求经常急剧上升，新产品一经发布，请求量每天增加 10 倍，或者每周持续增长 50%的情况并不罕见。 在低端 GPU 上处理这些峰值通常更容易，因为更多的计算节点可能随时可用。如果这种流量来自于参与度较低或留存率较低的用户，那么以牺牲性能为代价使用较低成本的资源也是有意义的。 此外，算力可以直接转化成 GPU，电脑里的显卡就是 GPU。一张显卡除了 GPU 外，显存也是很重要的参数。GPU 的生产商主要有 NVIDIA 和 ATI。GPU 作为一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器，其诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作。

GPU（图形处理器）具有以下计算特性： 1. 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 2. 诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。 3. 所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素 256 位渲染引擎等，硬件 T&L 技术可以说是 GPU 的标志。 4. 生产商主要有 NVIDIA 和 ATI。 5. 在矩阵乘法方面表现出色，早期使用 GPU 训练神经网络，能使运算速度提高 30 倍。

以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。

以下是关于 Function Calling 的相关资料： 函数调用为 AI 系统带来了诸多优势，包括简化用户体验、减少错误发生可能性以及为更高级的自动化开辟道路。例如在处理金融信息时，它能使整个过程更加流畅、准确，并能实现如酒店预订或制定旅行计划等复杂操作。 OpenAI 的 Chat completions API 允许在请求中附带一系列函数描述，使模型能够根据提供的模式生成函数参数，API 会以 JSON 格式返回生成的参数，可用于执行函数调用，函数调用的结果还能在后续请求中反馈给模型形成交互循环。想深入了解可查看 GPT 入门指南里的函数调用部分和 OpenAI Cookbook 里的用例。 对于让 ChatGPT 返回符合要求的 JSON 格式，prompt 的定制至关重要且较为复杂。OpenAI 发布函数调用及其他 API 更新后，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能选择输出包含调用函数所需参数的 JSON 对象，这是将 GPT 能力与外部工具和 API 连接的新方法。将 GPT 与函数调用结合，本地控制返回 JSON 格式，能使 prompt 的定制更简单，AI 的输出更可控，可根据实际业务需求选择函数查询或 SQL 查询。

Function Calling 是一种在 AI 领域中重要的技术和应用方式： 在 ChatGPT 中：为让 ChatGPT 返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 发布函数调用及其他 API 更新，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能选择输出包含调用函数所需参数的 JSON 对象，这是将 GPT 能力与外部工具和 API 连接的新方法。好处是减少 SQL 注入风险，可本地写函数执行查询，也可让函数改为 SQL 查询，根据实际业务需求选择函数查询或 SQL 查询，使 AI 输出更可控。 在谷歌 Gemini 中：在金融业务用例中，如搜索欧元兑美元的当前汇率，需做好配置，使用 Gemini 1.5 Flash 模型。函数调用为 AI 系统带来多个优势，包括简化用户体验、减少错误发生可能性、为更高级自动化开辟道路，能处理如酒店预订或制定旅行计划等复杂操作，重新定义了人与技术的互动方式。

以下是为您生成的包含这些关键词的有趣句子： 当我使用配备强大 GPU 的 AI 笔记本电脑，如戴尔 Precision 移动工作站，通过蓝牙耳机关闭了周围的噪音，登录到专门的 AI 驱动平台，与远方的朋友进行视频通话，探讨生成式人工智能的奇妙之处，感觉真是太棒了！ 在微星 Creator/Workstation 系列的 AI 笔记本上，我利用预装的深度学习框架，如 NVIDIA CUDA 和 cuDNN，进行着生成式模型的训练，同时通过蓝牙连接着蓝牙耳机，享受着不受干扰的创作过程，然后登录到特定的平台分享我的成果，这一切都由 AI 驱动，借助高速的网络实现了如同面对面的视频通话交流。 联想 ThinkPad P 系列的 AI 笔记本，拥有出色的散热和续航，让我能长时间专注于生成式项目的开发。我戴上蓝牙耳机，登录 AI 平台，与团队进行视频通话，共同推动项目前进，这一切都离不开 AI 驱动的强大力量。

很抱歉，目前知识库中没有关于“install Tensorrt”的相关内容。但您可以通过以下步骤尝试安装 TensorRT： 1. 访问 NVIDIA 的官方网站，查找 TensorRT 的最新版本和安装说明。 2. 确保您的系统满足 TensorRT 的硬件和软件要求，例如特定的 GPU 型号、操作系统版本等。 3. 按照官方提供的安装指南逐步进行操作，可能包括下载安装包、配置环境变量等步骤。 希望这些信息对您有所帮助。

您好，出现“NVIDIA Graphics Device with CUDA capability sm_120 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90 compute_37.”这种情况，意味着您所使用的 NVIDIA 显卡的 CUDA 计算能力（sm_120）与当前安装的 PyTorch 版本不兼容。当前安装的 PyTorch 支持的 CUDA 计算能力为 sm_37 至 sm_90 以及 compute_37 。您可能需要重新安装与您显卡 CUDA 计算能力相匹配的 PyTorch 版本，或者升级您的显卡驱动程序来解决此兼容性问题。