Guide d'achat de serveur GPU : H100 vs H200 vs L40S vs RTX PRO 6000 pour l'IA

L'erreur la plus coûteuse en matériel d'IA est d'acheter le fleuron pour une tâche qui n'en avait jamais besoin. Avant de comparer des références, soyez honnête sur ce que la machine passera le plus clair de sa vie à faire, car chaque charge de travail a un goulot d'étranglement différent.

Entraîner un modèle à partir de zéro est limité par la bande passante mémoire et l'interconnexion, cela réclame la HBM la plus rapide et les liens GPU-à-GPU les plus larges que vous puissiez obtenir. Le fine-tuning d'un modèle existant est plus léger mais profite encore d'une grande VRAM pour loger le modèle plus les états de l'optimiseur. L'inférence, servir un modèle entraîné à des utilisateurs, se soucie de la latence, du débit par dollar et de la VRAM pour contenir les poids, pas des FLOPS bruts d'entraînement. Et le graphisme, la CAO ou la visualisation forment encore un autre axe, où comptent les fonctions d'affichage et la certification des pilotes.

Deux détails mécaniques traversent tout le tableau. Premièrement, SXM contre PCIe : les modules SXM prennent place sur une carte de base dense avec la puissance la plus élevée et un NVLink complet pour la communication GPU-à-GPU la plus rapide, tandis que les cartes PCIe s'insèrent dans un emplacement serveur standard, plus faciles à approvisionner et à refroidir, avec une bande passante d'interconnexion moindre. Deuxièmement, NVLink est le tissu à haut débit qui permet à plusieurs GPU de se comporter davantage comme un seul grand GPU, décisif pour l'entraînement de grands modèles, largement sans intérêt pour l'inférence sur un seul GPU.

Un GPU n'est que la moitié de la décision ; le châssis qui l'entoure fixe le plafond. Il y a trois niveaux à connaître.

Au sommet, les plateformes HGX et DGX à 8 GPU regroupent huit GPU SXM avec NVLink/NVSwitch sur une même carte de base, c'est la brique à l'échelle du rack pour l'entraînement sérieux, et c'est de cela que sont faits les clusters. Pour un bureau, le DGX Spark (le système de bureau GB10) met une part de cette pile devant un développeur pour du prototypage local sans réserver de temps de cluster. Et pour l'inférence ou un entraînement plus léger, un serveur mono- ou bi-socket tel qu'un Dell PowerEdge R760 ou un HPE ProLiant DL380 accueille deux à quatre GPU PCIe, une machine pragmatique, facile à refroidir et à entretenir, qui couvre la majeure partie du service en production.

La première question de dimensionnement est toujours la VRAM, car si le modèle n'entre pas, rien d'autre ne compte. Une règle empirique utile : les poids du modèle en FP16 requièrent environ le nombre de paramètres × 2 octets, puis ajoutez le surcoût des activations, du cache KV et du framework. Ainsi, un modèle de 70 milliards de paramètres en FP16 fait environ 140 Go rien que pour les poids, c'est pourquoi il n'entre pas sur un seul H100 de 80 Go et nécessite soit deux GPU, soit un H200/141 Go, soit une quantification vers une précision inférieure.

Une fois qu'il entre, le nombre de GPU détermine le débit : plus de GPU traitent plus de tokens ou plus d'étapes d'entraînement en parallèle. Et dès que vous dépassez un nœud, le réseau devient le goulot d'étranglement, l'entraînement multi-nœuds réclame de l'InfiniBand NDR ou du 400GbE pour que les GPU ne soient pas affamés en attendant les gradients. Sous-dimensionnez le tissu et des GPU coûteux restent inactifs.

Toute machine GPU n'a pas à être flambant neuve. Les pièces reconditionnées et de génération précédente, un nœud A100 bien testé, par exemple, peuvent offrir l'essentiel de la valeur pour l'inférence ou un entraînement à budget serré à une fraction du prix, et nous les testons et les garantissons de la même façon que le neuf.

Deux réalités opérationnelles à anticiper : l'alimentation et le refroidissement, et les délais. Un nœud d'entraînement à 8 GPU est une charge électrique et thermique sérieuse, raisonnez en kilowatts par rack, et confirmez que votre site peut l'alimenter et la refroidir avant son arrivée. Les délais varient selon l'allocation : les cartes d'inférence grand public sont généralement rapides, tandis que les toutes dernières pièces SXM haut de gamme peuvent impliquer une attente ; indiquez-nous donc tôt votre date de déploiement et nous planifions l'assemblage en conséquence.

Chaque serveur GPU que nous expédions est en factory CTO : vous choisissez les GPU, les CPU, la mémoire, le stockage et le réseau, et nous assemblons et rodons la machine avant qu'elle ne parte. Nous vendons en EXW Hangzhou et expédions chaque serveur par avion. Si vous importez pour la première fois, nous aidons à organiser un transitaire qui livre à votre porte en 1 à 2 semaines. Tout est couvert par notre garantie de 1 an avec RMA transfrontalier par remplacement anticipé. Si vous ne savez pas quelle carte convient à votre modèle et à votre budget, envoyez-nous la charge de travail et nous la spécifierons avec vous.

Les spécifications citées ci-dessus proviennent de la documentation produit de NVIDIA elle-même. Confirmez la mémoire, le format et les détails de plateforme sur les pages primaires avant de vous engager sur une carte :