Smettete di confrontare le GPU all'ora.
Il foglio di calcolo $/GPU-ora confronta un attributo di un prodotto che differisce in dieci: di chi è il silicio, dove sta, chi altro c'è sopra, se sparisce a metà lavoro, e chi risponde quando si rompe. Per un carico costante, confrontate mesi con mesi, con le righe nascoste portate in superficie.
In questo articolo 3 sezioni
- Il confronto GPU che tutti fanno è una colonna di prezzi orari. La colonna confronta tempo di silicio e nasconde tutto ciò che decide se il vostro carico sopravvive: tenancy, giurisdizione, provenienza dell'hardware, preemption e chi risponde alle 3 del mattino.
- La colonna oraria non dice se state affittando una scheda consumer, una macchina condivisa o silicio datacenter dedicato, né in quale giurisdizione si trova.
- Per un carico di produzione costante il confronto onesto è totale mensile contro totale mensile: la tariffa oraria per 720, più il tempo di ingegneria che la macchina nuda lascia al vostro team, contro un unico numero fisso gestito.
- E se il vostro carico esplode davvero per un pomeriggio, l'orario è il prodotto giusto, da un provider orario. Noi vendiamo l'altra cosa, di proposito.
L'artefatto è sempre lo stesso. Un foglio di calcolo, sei provider sul lato, una colonna che conta: dollari per GPU-ora, in ordine crescente. La riunione gravita verso la prima riga, perché a questo servono le colonne ordinate. Nessuno nella sala fa l'unica domanda a cui la colonna non può rispondere: di cosa è il prezzo questo numero?
Perché una GPU-ora non è un'unità dello stesso bene. Il prezzo confronta un attributo di un prodotto che differisce in dieci, e ogni attributo che nasconde è uno che il vostro carico di produzione incontrerà di persona.
Cosa il numero orario non codifica
Di chi è il silicio: una scheda datacenter o una scheda consumer? Quale tenancy: solo vostra, o condivisa con sconosciuti i cui carichi non potete vedere? Quale giurisdizione: un rack UE sotto legge UE, o un posto che l'annuncio non dichiara? Quale continuità: riservata, o interrompibile nel momento in cui qualcuno rilancia più di voi a metà lavoro? E quando muore alle 2 del mattino, cosa succede: una catena di garanzia e un ingegnere, o il rimborso dell'ora? Ognuna di quelle risposte è compresa nel prezzo. Ecco perché il numero basso è basso, e il mercato è onesto al riguardo, nelle note a piè di pagina.
Silicio
Tenancy
Giurisdizione
Continuità
Assistenza
Il prezzo
Il confronto che decide davvero
Per un carico costante, l'unico tipo per cui questo prodotto esiste, convertite tutto nella stessa unità: un mese. Una tariffa oraria che gira tutto il giorno è la tariffa per circa 720 prima di qualsiasi voce nascosta. Poi aggiungete quelle che la macchina nuda lascia al vostro team: le battaglie con i driver, il pinning della versione CUDA, la messa a punto dello stack di serving, la reperibilità. Il nostro perimetro GPU gestito spiega quale lavoro operativo sta con noi; il brief di dimensionamento GPU aiuta a definire una configurazione da confrontare con la vostra spesa attuale. Contro la colonna sommata sta un unico preventivo fisso gestito con le operazioni concordate dentro. Non compileremo noi la colonna di sinistra per voi, perché è il vostro foglio e le tariffe cambiano ogni mese. Portate il vostro carico alla pagina GPU Servers per un preventivo delimitato.
| IL FOGLIO ORARIO | QUELLO MENSILE |
|---|---|
| Tariffa per le ore che immaginate di usare | Un unico numero fisso, noto in anticipo |
| LA RIGA CHE DECIDE I BUDGET REALIIl tempo dei vostri ingegneri a fare da baby-sitter allo stack: non contato | Il livello gestito: incluso, ed è la nostra reperibilità, non la vostra |
| Preemption e tempo di riaccodamento: non contati | Riservata: la macchina è vostra tutto il giorno |
| Provenienza e giurisdizione: rischio non prezzato | Silicio datacenter di proprietà, rack UE, ingegneri con nome e cognome |
Quando l'orario è la risposta giusta
Se il vostro carico è un picco di ricerca, un pomeriggio di esperimenti di fine-tuning, un batch che potete salvare a checkpoint e riprendere quando l'istanza spot muore, allora l'elasticità oraria è il prodotto giusto e i cloud orari la fanno bene. Comprate ore, da chi è costruito per vendere ore. Questo post è per l'altro carico: quello che gira ogni giorno, porta dati con una giurisdizione e ha bisogno di silicio datacenter dedicato in un rack UE.
“Una scheda consumer, una macchina condivisa o silicio datacenter dedicato in un rack UE: il prezzo orario non vi dirà quale avete comprato.”
Risposte dirette
Perché i prezzi GPU dei marketplace sono così più bassi?+
Perché il prezzo riflette il prodotto: possono essere schede consumer, capacità condivisa o interrompibile, una giurisdizione non dichiarata e nessuna catena di assistenza.
Come confronto il noleggio GPU orario con un server dedicato mensile?+
Convertite nella stessa unità: la tariffa per circa 720 per l'uso tutto il giorno, più il tempo di ingegneria che una macchina nuda lascia al vostro team, più il tempo di rielaborazione per le preemption, contro un unico numero fisso gestito. A quel punto i carichi costanti di solito smettono di essere un prodotto orario. Quelli a picchi no, e dovrebbero restare orari.
La capacità GPU spot o interrompibile è utilizzabile in produzione?+
Per lavoro batch con checkpoint, a volte, ed è una decisione ingegneristica legittima. Per un endpoint di serving chiamato dal vostro prodotto, un'istanza che sparisce per progetto non è un livello di affidabilità. È un prodotto diverso.
Siete più economici dei cloud orari?+
Per un pomeriggio, no. Per un carico costante 24/7 con le operazioni incluse, fate il confronto mensile qui sopra. Il formato è la risposta.
Lo fate girare ogni giorno? Confrontate mesi, non ore.
Portateci il modello e il carico. Avrete un unico numero fisso con l'ingegneria dentro, su metallo UE di proprietà con il vostro nome sopra.
Scopri i GPU ServersSiete arrivati alla fine.
Mettete la lettura al lavoro
Cosa fate girare?
Raccontateci il carico di lavoro, il traffico e i requisiti di ripristino. Partite dal configuratore di server, oppure discutete i dettagli con un ingegnere.
Scritto dagli ingegneri che costruiscono e gestiscono l'infrastruttura che descrive.Parla con un ingegnere