GPU如何选

类似你的电脑，只不过是在云服务器上提供给你用。[heading3]2.1在腾讯云首页，搜索框搜索“GPU”，搜索结果中，如图点击「立即选购」[heading3]2.2选择你「中意」的还有空余的机器，购买即可[content]如果账户没钱会需要充钱，不过云平台有时候会搞免费活动，类似赠送一定时长的机器体验，这个就得碰运气，然后逮着机会薅羊毛了~计费模式上建议选择「按量计费」，地域上尽量选择你本地城市或者离你较近的城市，因为你需要通过网络远程连接云端的机器，近点访问延时更少~配置上（上图黄色部分），如果使用时长不长或者资金充裕，可以选择顶配，越高的配置，训图炼丹都会更「爽」~另外，这里需要记住你选择的GPU型号，后边安装驱动要用到。（上图红色部分）系统镜像这里选择Windows的，因为后续我们要用的秋叶Web UI包是基于Windows的，这里尽量选择Windows 2016版本以上的，另外这里需要记住你选择的镜像版本，后边安装驱动要用到。系统盘容量建议选择大于50GB，最好是100 GB左右（多了价格也高~），因为算上操作系统，以及SD包，再加几个大模型，50GB就满了。系统和镜像设置好后，其他选项按默认即可，点击进入「设置网络和主机」。带宽计费模式选择「按流量计费」，这样更省钱~其他信息都无需修改，按默认配置即可；GPU服务器的密码需要自己设置并记住，访问的时候都需要输入。其他信息选择默认的即可，点击「确认配置信息」。勾选阅读协议，点击「开通」并确认后即完成GPU购买。

在其他条件相同的情况下，顶级GPU在几乎所有工作负载上都会表现最佳。然而，正如下表所示，最好的硬件也要昂贵得多。根据具体应用选择合适的GPU可以大大降低成本，也可能使你的商业模式从不可行变为可行。决定要往下走多远——也就是说，确定对你的应用来说最具成本效益的GPU选择——主要是一个技术决策，超出了本文的讨论范围。但我们将在下面分享一些我们认为最重要的选择标准：[heading3]训练与推理：[content]正如我们在上文第一节看到的，训练Transformer模型除了模型权重外，还需要存储8字节的数据用于训练。这意味一个内存12GB的典型高端消费级GPU几乎无法用于训练40亿参数的模型。实际上，训练大型模型是在机器集群上完成的，最好是每台服务器有多个GPU、大量VRAM以及服务器之间的高带宽连接（即使用顶级数据中心GPU构建的集群）。具体来说，许多模型在NVIDIA H100上最具成本效益，但截至今天很难找到在NVIDIA H100上运行的模型，而且通常需要一年以上的长期合作承诺。如今，更多的选择是在NVIDIA A100上运行大多数模型训练，但对于大型集群，仍需要长期承诺。[heading3]内存要求：[content]大型LLM的参数数量太多，任何卡都无法容纳。它们需要分布到多个卡中，并且需要类似于训练的设置。换句话说，即使进行LLM推理，您也可能需要H100或A100。但是较小的模型（例如Stable Diffusion）需要的VRAM要少得多。虽然A100仍然很受欢迎，但我们已经看到初创公司使用A10，A40，A4000，A5000和A6000，甚至RTX卡。

GPU的强大主要决定了生图和训练的效率，也就是越强大的算力在生图（推理）和训练上消耗的时间就越短。显存在生图过程决定了我们直接推理的图片大小（尺寸），同GPU一样，在训练的时候又受制于训练工具的要求显存的容量决定了行还是不行，是门槛。所以在选择算力的时候我们需要综合GPU性能和显存大小2个参考维度。先看windows平台的电脑需要什么样的算力。如果你拥有windows平台的个人电脑更容易加入这个party。但也并不是说别的平台就只能喝西北风，后面有讲。[heading1]只推荐Nvidia显卡[content]因为需要使用到CUDA加速，所以显卡大概率只能选择英伟NVIDIA的，AMD的可以不可以，可以，但是很慢很慢（上面对GPU和CPU的原理介绍发现也可以不用显卡用CPU跑图，就是速度极~~慢）至于买哪个型号的显卡，这个主要取决于你的预算和对算力换算成时间的忍耐度了。下面有一张表，可以按需获取。这里有一张可能不太具备时效性的表，仅作参考。各种显卡的稳定扩散性能测试报告（需要科学🕸️）https://docs.google.com/spreadsheets/d/1Zlv4UFiciSgmJZncCujuXKHwc4BcxbjbSBg71-SdeNk/edit#gid=0