install Tensorrt

NVIDIA TensorRT 是基于 CUDA 和 cuDNN 的高性能深度学习推理优化引擎，是一种在 NVIDIA 硬件上部署光速推理的解决方案。它包含了许多优化，但只能在 NVIDIA 硬件上运行。 随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含 TensorRTLLM 等。TensorRTLLM 由 NVIDIA 开发，是高性能推理框架，详细的推理文档见： 。 此外，NVIDIA NIM 基于 NVIDIA Triton Inference Server、NVIDIA TensorRT、NVIDIA TensorRTLLLLM 等强大的推理引擎构建，是一系列用户友好的微服务，旨在加速企业内部生成式 AI 的部署进程。

您好，出现“NVIDIA Graphics Device with CUDA capability sm_120 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90 compute_37.”这种情况，意味着您所使用的 NVIDIA 显卡的 CUDA 计算能力（sm_120）与当前安装的 PyTorch 版本不兼容。当前安装的 PyTorch 支持的 CUDA 计算能力为 sm_37 至 sm_90 以及 compute_37 。您可能需要重新安装与您显卡 CUDA 计算能力相匹配的 PyTorch 版本，或者升级您的显卡驱动程序来解决此兼容性问题。

以下是可能的解决方法： 1. 找到您的 ComfyUI 总文件夹，找到下面文件中的 python 文件夹（有些人的是 python_emembeded）中的 python.exe（可执行文件，右键属性复制路径，然后继续在相关文件路径下通过 cmd 进入终端，右键粘贴刚才的路径加“\\python.exe m pip install r requirements.txt”。 2. 本部分报错基本都是因为网络问题，大部分安装问题可以通过使用国内镜像源来解决。例如：在执行安装 requirements.txt 文件时，可以尝试使用“pip install i https://mirrors.aliyun.com/pypi/simple/ r D:/openai.wiki/stablediffusionwebui/requirements.txt”。这段代码可以理解为不使用官方下载地址，而是国内阿里云的镜像地址下载相关依赖组件。如果还是不能解决，请自行搜索 CMD 魔法上网，有一些魔法工具即便可以访问 Youtube、Google 等网站，也不代表它能够在 CMD 中是可以正常使用的，因为有一些魔法工具无法在 CMD 中被继承。 3. 如果出现“ERROR:Could not install packages due to an OSEr”，考虑在命令后面输入“user”。 4. PyPI 元数据包有问题，可以尝试执行“pip cache purge”清理缓存。