Guida all'acquisto di server GPU: H100 vs H200 vs L40S vs RTX PRO 6000 per l'IA

L'errore più costoso nell'hardware per l'IA è comprare il modello di punta per un compito che non ne aveva mai bisogno. Prima di confrontare i codici, sii onesto su cosa la macchina passerà gran parte della sua vita a fare, perché ogni carico di lavoro ha un collo di bottiglia diverso.

Addestrare un modello da zero è limitato dalla banda di memoria e dall'interconnessione, vuole la HBM più veloce e i collegamenti GPU-GPU più larghi che riesci a ottenere. Il fine-tuning di un modello esistente è più leggero ma trae comunque beneficio da una grande VRAM per far entrare il modello più gli stati dell'ottimizzatore. L'inferenza, servire un modello addestrato agli utenti, bada alla latenza, al throughput per dollaro e alla VRAM per contenere i pesi, non ai FLOPS grezzi di addestramento. E grafica, CAD o visualizzazione sono un altro asse ancora, dove contano le funzioni di visualizzazione e la certificazione dei driver.

Due dettagli tecnici attraversano l'intera tabella. Primo, SXM contro PCIe: i moduli SXM stanno su una scheda base densa con la massima potenza e NVLink completo per la comunicazione GPU-GPU più veloce, mentre le schede PCIe si inseriscono in uno slot server standard e sono più facili da reperire e raffreddare, con banda di interconnessione inferiore. Secondo, NVLink è il tessuto ad alta velocità che permette a più GPU di comportarsi più come un'unica grande GPU, decisivo per l'addestramento di modelli grandi, in gran parte irrilevante per l'inferenza su singola GPU.

Una GPU è solo metà della decisione; lo chassis che la circonda fissa il tetto. Ci sono tre livelli da conoscere.

In cima, le piattaforme HGX e DGX a 8 GPU racchiudono otto GPU SXM con NVLink/NVSwitch su un'unica scheda base, è il mattone su scala rack per l'addestramento serio, ed è ciò di cui sono fatti i cluster. Per la scrivania, il DGX Spark (il sistema desktop GB10) mette una fetta di quello stack davanti a uno sviluppatore per la prototipazione locale senza prenotare tempo di cluster. E per l'inferenza o un addestramento più leggero, un server mono o bi-socket come un Dell PowerEdge R760 o un HPE ProLiant DL380 ospita da due a quattro GPU PCIe, una macchina pragmatica, facile da raffreddare e da assistere, che copre gran parte del servizio in produzione.

La prima domanda di dimensionamento è sempre la VRAM, perché se il modello non entra, nient'altro conta. Una regola pratica utile: i pesi del modello in FP16 richiedono all'incirca il numero di parametri × 2 byte, poi aggiungi l'overhead per attivazioni, cache KV e framework. Così un modello da 70 miliardi di parametri in FP16 è circa 140 GB solo di pesi, ecco perché non entra su un singolo H100 da 80 GB e richiede o due GPU, o un H200/141 GB, o la quantizzazione a una precisione inferiore.

Una volta che entra, il numero di GPU riguarda il throughput: più GPU elaborano più token o più passi di addestramento in parallelo. E appena superi un nodo, la rete diventa il collo di bottiglia, l'addestramento multi-nodo vuole InfiniBand NDR o 400GbE perché le GPU non restino affamate in attesa dei gradienti. Sottodimensiona il tessuto e GPU costose restano inattive.

Non ogni macchina GPU deve essere nuova di zecca. Componenti ricondizionati e di generazione precedente, un nodo A100 ben testato, per esempio, possono offrire gran parte del valore per l'inferenza o l'addestramento a budget ridotto a una frazione del prezzo, e li testiamo e li garantiamo come il nuovo.

Due realtà operative da pianificare: alimentazione e raffreddamento, e i tempi di consegna. Un nodo di addestramento a 8 GPU è un carico elettrico e termico serio, ragiona in kilowatt per rack, e conferma che la tua struttura sappia alimentarlo e raffreddarlo prima che arrivi. I tempi oscillano con l'allocazione: le schede di inferenza mainstream di solito arrivano in fretta, mentre le più recenti schede SXM di punta possono comportare un'attesa; comunicaci quindi per tempo la data di deployment e pianifichiamo l'assemblaggio di conseguenza.

Ogni server GPU che spediamo è in factory CTO: scegli GPU, CPU, memoria, storage e rete, e noi assembliamo e collaudiamo la macchina prima che parta. Vendiamo in EXW Hangzhou e spediamo ogni server in aereo. Se importi per la prima volta, aiutiamo a organizzare uno spedizioniere che consegna a domicilio in 1-2 settimane. Tutto è coperto dalla nostra garanzia di 1 anno con RMA transfrontaliero a sostituzione anticipata. Se non sei sicuro di quale scheda si adatti al tuo modello e al tuo budget, inviaci il carico di lavoro e la definiamo insieme a te.

Le specifiche citate qui sopra provengono dalla documentazione di prodotto di NVIDIA stessa. Conferma memoria, formato e dettagli di piattaforma sulle pagine primarie prima di impegnarti su una scheda: