Kaufberatung GPU-Server: H100 vs H200 vs L40S vs RTX PRO 6000 für KI

Der teuerste Fehler bei KI-Hardware ist, das Flaggschiff für eine Aufgabe zu kaufen, die es nie brauchte. Bevor Sie Teilenummern vergleichen, seien Sie ehrlich, womit die Maschine den Großteil ihres Lebens verbringen wird, denn jede Arbeitslast hat einen anderen Engpass.

Ein Modell von Grund auf zu trainieren ist durch Speicherbandbreite und Interconnect begrenzt, es will die schnellste HBM und die dicksten GPU-zu-GPU-Verbindungen, die Sie bekommen können. Das Fine-Tuning eines bestehenden Modells ist leichter, profitiert aber weiterhin von großem VRAM, damit Modell plus Optimierer-Zustände hineinpassen. Inferenz, ein trainiertes Modell für Nutzer bereitzustellen, kümmert sich um Latenz, Durchsatz pro Dollar und VRAM für die Gewichte, nicht um rohe Trainings-FLOPS. Und Grafik, CAD oder Visualisierung sind wieder eine andere Achse, bei der Anzeigefunktionen und Treiberzertifizierung zählen.

Zwei technische Details ziehen sich durch die ganze Tabelle. Erstens SXM gegen PCIe: SXM-Module sitzen auf einer dichten Grundplatine mit der höchsten Leistung und vollem NVLink für die schnellste GPU-zu-GPU-Kommunikation, während PCIe-Karten in einen Standard-Serverslot gesteckt werden, leichter zu beschaffen und zu kühlen sind, bei geringerer Interconnect-Bandbreite. Zweitens ist NVLink das Hochgeschwindigkeits-Fabric, das mehrere GPUs eher wie eine große GPU wirken lässt, entscheidend für das Training großer Modelle, weitgehend belanglos für Single-GPU-Inferenz.

Eine GPU ist nur die halbe Entscheidung; das Chassis darum herum setzt die Obergrenze. Es gibt drei Ebenen, die man kennen sollte.

An der Spitze bündeln HGX- und DGX-Plattformen mit 8 GPUs acht SXM-GPUs mit NVLink/NVSwitch auf einer Grundplatine, das ist der Baustein auf Rack-Ebene für ernsthaftes Training, und daraus bestehen Cluster. Für den Schreibtisch stellt der DGX Spark (das GB10-Desktopsystem) einem Entwickler ein Stück dieses Stacks für lokales Prototyping bereit, ohne Cluster-Zeit zu buchen. Und für Inferenz oder leichteres Training nimmt ein Ein- oder Zwei-Sockel-Server wie ein Dell PowerEdge R760 oder ein HPE ProLiant DL380 zwei bis vier PCIe-GPUs auf, eine pragmatische, leicht zu kühlende und zu wartende Maschine, die den Großteil der Bereitstellung in der Produktion abdeckt.

Die erste Frage der Auslegung ist immer der VRAM, denn wenn das Modell nicht passt, spielt alles andere keine Rolle. Eine nützliche Faustregel: Modellgewichte in FP16 benötigen etwa die Parameterzahl × 2 Byte, dann addieren Sie den Overhead für Aktivierungen, KV-Cache und Framework. Ein Modell mit 70 Milliarden Parametern in FP16 sind also etwa 140 GB allein für die Gewichte, deshalb passt es nicht auf eine einzelne H100 mit 80 GB und braucht entweder zwei GPUs, eine H200/141 GB oder Quantisierung auf eine geringere Präzision.

Sobald es passt, geht es bei der GPU-Anzahl um den Durchsatz: mehr GPUs verarbeiten mehr Tokens oder mehr Trainingsschritte parallel. Und sobald Sie einen Knoten überschreiten, wird das Netz zum Engpass. Multi-Node-Training will InfiniBand NDR oder 400GbE, damit die GPUs nicht auf Gradienten warten müssen. Unterdimensionieren Sie das Fabric, und teure GPUs stehen still.

Nicht jede GPU-Maschine muss brandneu sein. Generalüberholte Teile und Teile der Vorgängergeneration, etwa ein gut getesteter A100-Knoten, können den Großteil des Werts für Inferenz oder Training mit knappem Budget zu einem Bruchteil des Preises liefern, und wir testen und garantieren sie genauso wie neue.

Zwei betriebliche Realitäten sind einzuplanen: Strom und Kühlung sowie die Lieferzeit. Ein Trainingsknoten mit 8 GPUs ist eine erhebliche elektrische und thermische Last, denken Sie in Kilowatt pro Rack und bestätigen Sie, dass Ihr Standort ihn vor der Ankunft versorgen und kühlen kann. Die Lieferzeiten schwanken mit der Allokation: Mainstream-Inferenzkarten sind meist schnell verfügbar, während die neuesten SXM-Spitzenteile eine Wartezeit mit sich bringen können; nennen Sie uns daher Ihren Bereitstellungstermin früh, und wir planen den Aufbau darum herum.

Jeder GPU-Server, den wir versenden, ist factory CTO: Sie wählen die GPUs, CPUs, den Speicher, das Storage und das Netzwerk, und wir bauen und brennen die Maschine ein, bevor sie das Werk verlässt. Wir verkaufen EXW Hangzhou und versenden jeden Server per Luftfracht. Wenn Sie zum ersten Mal importieren, helfen wir, einen Spediteur zu organisieren, der in 1-2 Wochen bis zur Tür liefert. Alles trägt unsere 1-Jahres-Garantie mit grenzüberschreitendem Vorab-Austausch-RMA. Wenn Sie nicht sicher sind, welche Karte zu Ihrem Modell und Budget passt, senden Sie uns die Arbeitslast, und wir spezifizieren sie mit Ihnen.

Die oben genannten Spezifikationen stammen aus NVIDIAs eigener Produktdokumentation. Bestätigen Sie Speicher, Formfaktor und Plattformdetails anhand der Primärseiten, bevor Sie sich auf eine Karte festlegen: