Un modello 70B sta davvero in una scheda da 48GB, una volta contato cosa costa la quantizzazione.

Ci sono due modi per fallire il dimensionamento GPU e la maggior parte dei team ne sceglie uno. Il primo team chiede quanto costa far girare un modello serio, vede il prezzo di una scheda da 80GB, trasalisce e archivia l'intero progetto. Il secondo team è più parsimonioso: stipa il modello nella GPU più economica che tecnicamente lo carica, va in produzione e perde una qualità delle risposte che non ha mai misurato, perché nessuno gli ha detto cosa costava la compressione. Fallimenti opposti, stessa causa. Nessuno ha fatto la conversazione sul dimensionamento, perché gran parte del settore la tratta come un mistero da scheda tecnica invece di ciò che è: aritmetica, più un compromesso onesto.

L'aritmetica che chiunque può verificare

Ecco la regola empirica, segnalata esattamente per quello che è; architetture e stack di serving spostano le costanti, ma lo schema regge. Un parametro del modello memorizzato a precisione 16-bit occupa due byte. A 8-bit, un byte. A 4-bit, mezzo byte. Moltiplicate per il numero di parametri e avete l'impronta dei pesi. Poi lasciate spazio per tutto ciò che il serving aggiunge: il motore stesso e la KV cache, che cresce con la lunghezza del contesto e con ogni utente concorrente. Quest'ultima parte è il motivo per cui «i pesi tecnicamente ci stanno» e «questo serve traffico di produzione» sono due frasi diverse.

Fate l'esempio del 70B in cifre tonde. A 16-bit, 70 miliardi di parametri per due byte fanno circa 140GB prima dell'overhead: territorio multi-GPU. A 8-bit, circa 70GB: una scheda da 80GB, comodamente, con spazio per respirare. A 4-bit, circa 35 a 40GB più overhead: una scheda da 48GB, con spazio residuo per servire davvero. Un modello, tre precisioni, tre cartellini del prezzo molto diversi. Ecco perché «che GPU mi serve» non ha risposta finché qualcuno non fa la domanda successiva: a quale precisione, per quale carico.

Cosa serve onestamente ogni classe di scheda

Gli abbinamenti qui sotto sono gli stessi che la tabella della nostra pagina GPU Servers vi fa percorrere, messi in prosa. Sono onesti in entrambe le direzioni: cosa ci sta, e cosa costa farcelo stare.

Cosa costa davvero la quantizzazione

La quantizzazione comprime la precisione dei pesi del modello, e il costo in qualità è reale, dipende dal carico ed è misurabile. Per molto lavoro di produzione, risposte fondate su documenti recuperati, classificazione, estrazione, riassunto, la moderna quantizzazione a 4-bit è difficile da distinguere dalla precisione piena in controlli alla cieca sui vostri dati. Per generazione critica per la qualità, lunghe catene di ragionamento o lavoro dove i margini sono già stretti, il divario può contare. Chi vi dice una percentuale universale se la sta inventando. Il numero onesto viene da un solo posto: le vostre eval, sui vostri task, eseguite su entrambe le versioni, confrontate.

Quel giro di eval fa parte di come distribuiamo, non è un esercizio lasciato al lettore. L'endpoint viene messo sotto load test contro il vostro obiettivo di latenza, e la decisione sulla quantizzazione viene presa con il compromesso davanti a voi, perché è la vostra asticella di qualità e il vostro denaro. Preferiamo mostrarvi i due output affiancati piuttosto che nascondere la compressione dentro un preventivo più basso.

E la direzione in cui nessuno si aspetta che un venditore di hardware punti: verso il basso. A volte la risposta onesta non è la scheda da 80GB, e a volte non è nemmeno il modello 70B. Un modello da 24B a 32B ben scelto a precisione piena batte un 70B pesantemente compresso su parecchi set di task reali, e costa meno da far girare. Dimensioniamo a partire dal carico, vi mostriamo il compromesso, e quando la macchina più piccola copre il lavoro lo diciamo prima della fattura, non dopo. È lo stesso riflesso del resto della casa: ridimensionare verso il basso, non verso l'alto.

“Scegliamo la scheda dal modello, non il modello dalla scheda.”