GPU 服务器选购指南：面向 AI 的 H100、H200、L40S 与 RTX PRO 6000 对比
选 GPU，其实是在选工作负载。本文把当前 NVIDIA 产品线对应到你真正要做的事——训练、微调、推理还是图形——再讲整机方案、显存估算，以及如何向我们下单一台装配好的机器。
从工作负载出发，而不是从 GPU 出发
AI 硬件里最贵的错误，就是为一份根本用不上旗舰的活儿买了旗舰。在你对比料号之前，先诚实地想清楚这台机器大部分时间在做什么，因为每种负载的瓶颈都不一样。
从零训练模型受显存带宽和互联制约——它要的是最快的 HBM 和你能拿到的最粗的 GPU 间链路。微调已有模型更轻，但大显存仍然有益，好让模型连同优化器状态都装得下。推理——把训练好的模型对外服务——在意的是时延、每美元吞吐，以及能装下权重的显存，而不是原始训练算力。图形、CAD 或可视化又是另一个维度，看重的是显示特性与驱动认证。
- 从零训练——顶级 HBM 带宽、NVLink/InfiniBand、多卡。
- 微调——大显存以容纳权重＋优化器状态，单节点常常够用。
- 推理 / 服务——每美元吞吐，以及能装下权重的显存。
- 图形 / CAD / 可视化——工作站级显卡，而非训练卡。
产品线——每张 GPU 到底是干什么的
有两个硬件细节贯穿整张表。其一，SXM 与 PCIe：SXM 模块装在高密度基板上，功耗最高、带完整 NVLink，实现最快的 GPU 间通信；PCIe 卡插进标准服务器插槽，更易采购、更好散热，但互联带宽较低。其二，NVLink 是让多张 GPU 更像"一张大 GPU"的高速互联——对大模型训练至关重要，对单卡推理则基本无关。
| GPU | 显存 | 最适合 |
|---|---|---|
| NVIDIA H100 | 80GB HBM3 | 训练旗舰；SXM 或 PCIe，多卡走 NVLink |
| NVIDIA H200 | 141GB HBM3e | 大模型与长上下文——显存比 H100 更大更快 |
| NVIDIA B200（Blackwell） | 超大 HBM3e | 新一代，前沿训练的最高吞吐 |
| NVIDIA L40S | 48GB | 高性价比推理与图形；通用 PCIe |
| NVIDIA RTX PRO 6000 | 96GB GDDR7 | 工作站与大显存推理 |
| NVIDIA A100 | 40 / 80GB | 训练与推理仍具高性价比 |
整机方案——从桌面到机架
GPU 只是决策的一半；包裹它的机箱决定了上限。有三个层级值得了解。
最顶端是 HGX 与 DGX 8 卡平台，把八张 SXM GPU 用 NVLink/NVSwitch 集成在一块基板上——这是严肃训练的机架级基本单元，也是集群的构成砖块。面向办公桌，DGX Spark（GB10 桌面系统）把这套栈的一小片放到开发者面前，无需排队占用集群即可本地打样。而对推理或较轻的训练，一台单路或双路服务器（如 Dell PowerEdge R760 或 HPE ProLiant DL380）可装 2–4 张 PCIe GPU——一个务实、好散热、好维护的机器，覆盖大多数生产服务场景。
- HGX / DGX 8 卡——机架级训练；八卡之间 NVLink/NVSwitch 互联。
- DGX Spark（GB10）——桌面 AI 开发与本地打样。
- Dell R760 / HPE DL380 配 2–4 张 PCIe GPU——推理与单节点训练。
容量估算——你到底需要多少 GPU
容量估算的第一个问题永远是显存，因为模型装不下，其它都无从谈起。一条好用的经验法则：FP16 权重大约需要参数量 × 2 字节，再加上激活值、KV 缓存和框架的开销。所以一个 700 亿参数的 FP16 模型，仅权重就约 140GB——这就是它装不进单张 80GB H100 的原因，要么用两张 GPU，要么用 H200（141GB），要么量化到更低精度。
装得下之后，GPU 数量决定吞吐：卡越多，并行处理的 token 或训练步就越多。而一旦跨出单节点，网络就成了瓶颈——多节点训练需要 InfiniBand NDR 或 400GbE，别让 GPU 因等待梯度而挨饿。互联配得不够，昂贵的 GPU 就会空转。
- 先看显存——FP16 权重 ≈ 参数量 × 2 字节，再加开销；模型必须装得下。
- GPU 数量——决定吞吐（token/秒、训练步数）。
- 网络——跨多节点后需要 InfiniBand NDR 或 400GbE。
全新还是翻新、功耗与交期
并非每台 GPU 机器都得全新。翻新件与上一代部件——例如一台经过充分测试的 A100 节点——在推理或预算内训练上能以零头的价格交付大部分价值，而我们对它的测试与质保和全新件一样。
有两个运维现实要提前规划：供电与散热，以及交期。一台 8 卡训练节点是不小的电力与热负载——按每机架若干千瓦来考虑，到货前先确认你的机房能供得上、也散得掉。交期随配额而波动：主流推理卡通常很快，而最新的旗舰 SXM 部件可能要等，因此请早点告诉我们上线日期，我们据此安排装配。
如何向我们下单
我们发出的每一台 GPU 服务器都是工厂 CTO：GPU、CPU、内存、存储与网络都由你选定，出厂前我们完成装配与烤机。我们以 EXW 杭州成交，所有服务器一律空运；若是初次进口，我们协助安排货代做门到门派送，1–2 周送达。全部产品享 1 年质保并支持跨境预先换货 RMA。如果你拿不准哪张卡匹配你的模型和预算，把工作负载发给我们，我们和你一起定配置。
资料来源与延伸阅读
上文引用的规格来自 NVIDIA 官方产品文档。在为某张卡下单前，请对照一手页面核实显存、外形规格与平台细节：
- NVIDIA H100 Tensor Core GPU——官方产品页：https://www.nvidia.com/en-us/data-center/h100/
- NVIDIA H200 Tensor Core GPU——官方产品页：https://www.nvidia.com/en-us/data-center/h200/
- NVIDIA L40S GPU——官方产品页：https://www.nvidia.com/en-us/data-center/l40s/
- NVIDIA DGX 平台（即 HGX/DGX 8 卡系统）——官方概览：https://www.nvidia.com/en-us/data-center/dgx-platform/
常见问题
H100 还是 H200——该买哪个？
如果你的模型和上下文窗口能舒适地装进 80GB，H100 是经过验证、性价比高的训练卡。当你处理更大的模型或长上下文时选 H200，因为它 141GB 更快的 HBM3e 显存能让更大的负载装进单卡，并让受显存制约的任务不挨饿。
一个约 700 亿参数的模型需要几张 GPU？
FP16 下 700 亿参数模型仅权重就约 140GB，装不进单张 80GB H100。可规划两张 H100、一张 H200（141GB），或量化到更低精度。若是训练而非推理，为了可接受的吞吐还需要更多 GPU。
SXM 还是 PCIe？
SXM 提供最高功耗和 GPU 间完整的 NVLink 带宽，对大规模多卡训练很关键——HGX/DGX 平台用的就是它。PCIe 卡更易采购、散热和维护，是推理和 1–4 卡服务器的明智之选。
你们向我所在的国家发运 H100 级 GPU 吗？
我们以 EXW 杭州条款成交，并协助安排货代空运至全球任何国家，门到门 1–2 周。部分高端 GPU 视目的地与最终用途受出口管制约束，因此请先告知交货国家，我们在你下单前确认可行性。
GPU 有质保吗？
有——无论全新还是翻新，GPU 服务器与我们其它硬件一样，享 1 年质保并支持跨境预先换货 RMA。