Руководство по выбору GPU-сервера: H100 vs H200 vs L40S vs RTX PRO 6000 для ИИ

Самая дорогая ошибка в ИИ-оборудовании, купить флагман для задачи, которой он никогда не был нужен. Прежде чем сравнивать партномера, честно ответьте, чем машина будет заниматься большую часть своей жизни, потому что у каждой нагрузки своё узкое место.

Обучение модели с нуля упирается в пропускную способность памяти и межсоединение, ему нужны самая быстрая HBM и самые толстые каналы GPU-GPU, какие вы можете достать. Дообучение готовой модели легче, но всё равно выигрывает от большого объёма VRAM, чтобы вместить модель вместе с состояниями оптимизатора. Инференс, обслуживание обученной модели пользователям, заботится о задержке, пропускной способности на доллар и объёме VRAM для хранения весов, а не о «сырых» тренировочных FLOPS. А графика, CAD или визуализация, это снова другая ось, где важны функции вывода изображения и сертификация драйверов.

Две технические детали проходят через всю таблицу. Первое. SXM против PCIe: модули SXM устанавливаются в плотную базовую плату с наивысшим энергопотреблением и полным NVLink для самого быстрого обмена между GPU, тогда как карты PCIe вставляются в стандартный серверный слот, их легче достать и охлаждать, но пропускная способность межсоединения ниже. Второе. NVLink, это высокоскоростная фабрика, которая позволяет нескольким GPU вести себя больше как один большой GPU, решающая для обучения крупных моделей и практически неважная для инференса на одном GPU.

GPU, это лишь половина решения; шасси вокруг него задаёт потолок. Стоит знать три уровня.

На вершине платформы HGX и DGX на 8 GPU объединяют восемь SXM-GPU с NVLink/NVSwitch на одной базовой плате, это строительный блок масштаба стойки для серьёзного обучения, и именно из них собираются кластеры. Для рабочего стола DGX Spark (настольная система на GB10) ставит кусочек этого стека перед разработчиком для локального прототипирования, не занимая время кластера. А для инференса или более лёгкого обучения одно- или двухсокетный сервер, такой как Dell PowerEdge R760 или HPE ProLiant DL380, вмещает от двух до четырёх PCIe-GPU, прагматичная, легко охлаждаемая и обслуживаемая машина, которая закрывает большую часть продуктивного обслуживания.

Первый вопрос расчёта, всегда VRAM, потому что если модель не помещается, всё остальное не имеет значения. Полезное практическое правило: веса модели в FP16 требуют примерно число параметров × 2 байта, затем добавьте накладные расходы на активации, KV-кэш и фреймворк. Так, модель на 70 миллиардов параметров в FP16, это около 140GB только под веса, поэтому она не помещается в один H100 на 80GB и требует либо двух GPU, либо H200 на 141GB, либо квантизации до меньшей точности.

Как только модель помещается, число GPU определяет пропускную способность: больше GPU обрабатывают больше токенов или больше шагов обучения параллельно. А как только вы выходите за пределы одного узла, узким местом становится сеть, обучение на нескольких узлах требует InfiniBand NDR или 400GbE, чтобы GPU не простаивали в ожидании градиентов. Недооцените фабрику, и дорогие GPU будут простаивать.

Не каждой GPU-машине обязательно быть новой. Восстановленные детали и детали прошлого поколения, например, хорошо протестированный узел A100, способны обеспечить большую часть ценности для инференса или бюджетного обучения за долю цены, а мы тестируем и даём на них гарантию так же, как на новые.

Две операционные реалии, которые надо запланировать: питание и охлаждение, а также сроки поставки. Узел обучения на 8 GPU, это серьёзная электрическая и тепловая нагрузка, мыслите в киловаттах на стойку и подтвердите, что ваш объект сможет её запитать и охладить, до прибытия. Сроки поставки колеблются в зависимости от квот: массовые карты для инференса обычно доступны быстро, тогда как новейшие флагманские SXM-детали могут потребовать ожидания, поэтому сообщайте нам дату развёртывания заранее, и мы планируем сборку под неё.

Каждый GPU-сервер, который мы отгружаем,, это заводской CTO: вы выбираете GPU, процессоры, память, накопители и сеть, а мы собираем машину и прогоняем её до отгрузки. Мы продаём на условиях EXW Ханчжоу и отправляем все серверы авиатранспортом. Если вы импортируете впервые, помогаем организовать экспедитора, который доставит груз до двери за 1–2 недели. На всё распространяется наша годовая гарантия с трансграничным RMA по предварительной замене. Если вы не уверены, какая карта подойдёт под вашу модель и бюджет, пришлите нам рабочую нагрузку, и мы подберём конфигурацию вместе с вами.

Приведённые выше характеристики взяты из собственной продуктовой документации NVIDIA. Сверьте память, форм-фактор и детали платформы с первоисточниками, прежде чем остановиться на карте: