Quando ospitare un modello aperto in casa batte il pagamento per token.

Ci sono due modi di vendere hardware GPU. Uno è promettere che costa meno della vostra fattura API, cosa a volte vera, temporaneamente, per alcuni carichi, e che smette di essere vera ogni volta che i fornitori di API tagliano di nuovo i prezzi. L'altro è fare i conti onestamente: un volume costante oltre una soglia favorisce l'hardware di proprietà, un volume a raffiche o piccolo favorisce l'API, e i motivi durevoli per possedere la macchina (controllo, giurisdizione, una versione del modello che nessuno può ritirare) reggono a qualsiasi livello di prezzo.

Le due fatture, fianco a fianco

La fattura API è un contatore. Ogni mese è il vostro volume di token moltiplicato per il prezzo medio per token sulla vostra fattura, e si muove con l'utilizzo in entrambe le direzioni. La fattura della macchina è fissa. Qualunque cosa costi la macchina al mese, costa quello sia che serva un token sia che serva ogni token per cui ha throughput. L'intera questione del break-even è dove quelle due linee si incrociano.

Quella seconda riga è l'intero post. Dividete il costo mensile fisso di una macchina che può servire il vostro modello per il prezzo per token che pagate oggi, e avete il volume mensile al quale le due fatture si equivalgono. Tutto il resto riguarda se il vostro carico raggiunge davvero quel volume, e se lo raggiunge in modo costante.

Cosa sposta la linea

Eseguitelo con i vostri numeri

1. 01Prendete le fatture API degli ultimi tre mesi e leggete due cose: i token al mese, e il prezzo medio per token (la fattura divisa per i token). I token in ingresso e in uscita hanno prezzi diversi, quindi mediateli nel rapporto che usate davvero.
2. 02Annotate la forma del volume, non solo il totale. Tre mesi simili sono costanza. Un mese al triplo degli altri è un picco, e un picco va prezzato come capacità in affitto.
3. 03Decidete il modello e la precisione che superano la vostra asticella di qualità, sui vostri prompt. Quella scelta determina quale macchina serve, e la dimensioniamo con voi.
4. 04Dividete il costo mensile fisso della macchina per il vostro prezzo medio per token. Quello è il vostro volume di break-even. Confrontatelo con il vostro volume mensile costante, con l'utilizzo che potete realisticamente mantenere.
5. 05Se il vostro volume costante sta sopra il break-even con margine, la macchina vince sul costo e su tutto il resto. Se sta sotto, restate sull'API per ora e tornate quando sarà cresciuto, oppure decidete sui soli motivi di controllo, a occhi aperti.

L'argomento che non decade

L'argomento del costo è reale per carichi costanti e ad alto volume, ed è il motivo più debole per possedere una macchina, perché è l'unico che il taglio di prezzo di un concorrente può portar via. Gli altri reggono a qualsiasi livello di prezzo. I vostri prompt restano su hardware che è vostro, in una giurisdizione che avete scelto. La versione del modello che avete validato resta disponibile finché non decidete altrimenti, invece che finché un vendor non la ritira. Il vostro giorno più intenso viene servito al pieno throughput della macchina, non a un rate limit fissato dalla pianificazione di capacità di qualcun altro. E la fattura è lo stesso numero ogni mese, che è un tipo di risparmio diverso da un token più economico.

Per questo partiamo dall'aritmetica invece che da una promessa. Se i conti dicono che la macchina vince, bene. Se dicono che l'API vince ancora sul costo, la decisione diventa una questione degli altri motivi, e alcuni carichi dovrebbero comunque restare sull'API. Preferiamo dirlo piuttosto che dimensionare una macchina su un volume che non c'è.