GPU di proprietà o a noleggio: utilizzo, località dei dati, assistenza

Dove il noleggio è la risposta giusta

Una scheda a ore è lo strumento giusto per un esperimento, un picco, un modello che volete provare per un pomeriggio, o un addestramento che farete una volta sola. L'elasticità è reale e vale la pena pagarla quando il lavoro è intermittente. La domanda è cosa succede quando il lavoro smette di essere intermittente: un endpoint di inference che serve la vostra applicazione tutto il giorno, un fine-tuning notturno, una pipeline di embedding che rielabora un archivio di documenti ogni settimana. A quel punto il confronto passa dal prezzo per ora al prezzo per ora utile, e i due divergono.

L'utilizzo è una misura, non un'opinione

Il punto di incrocio tra noleggiare e possedere è una questione di duty cycle, e si risolve campionando, non stimando. Su qualunque cosa facciate girare oggi, registrate l'utilizzo e la memoria della GPU per una settimana rappresentativa.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Una scheda occupata per poche ore al giorno e ferma per il resto è un noleggio. Una scheda occupata per la maggior parte della giornata, o che deve essere disponibile nell'istante in cui arriva una richiesta a prescindere da quanto sia occupata, è una macchina, perché la disponibilità si paga che il contatore giri o no. L'aritmetica per confrontare i due è in smettete di confrontare le GPU a ore; il campionamento qui sopra è l'input di cui ha bisogno.

Località dei dati: il modello è la parte piccola

Un modello è un file che sta su una macchina. I dati intorno a lui no: l'archivio di documenti su cui risponde alle domande, gli embedding costruiti a partire da esso, i prompt e le risposte, i log di accesso che un auditor chiederà. Ciascuno di questi deve stare dove sta la GPU. Su una scheda a noleggio, questo significa spostare i dati verso il provider prima del lavoro e pagare per portarli fuori dopo, oppure lasciarli lì e accettare che i dati ora vivano ovunque viva lo storage del provider.

Su una macchina di proprietà i dati e la scheda condividono un rack. Lo storage sottostante è all-flash, la rete tra loro è nostra, e nulla attraversa un confine di public cloud per essere elaborato. L'esempio che costruiamo più spesso è un endpoint di inference privato per record che non possono lasciare l'organizzazione: cartelle cliniche analizzate da un modello locale dentro Digital Realty Athens, con i record, il modello e i log sulla stessa macchina e l'endpoint raggiungibile solo dalla rete del cliente. Lo schema è descritto in un endpoint AI che non sta su internet.

Giurisdizione, definita dalla geografia

Per i carichi che devono restare sotto il diritto dell'UE, collochiamo la macchina a Digital Realty Athens o a Digital Realty Amsterdam (AMS18). L'hardware, l'operatore e i dati sono allora sotto una sola giurisdizione, e la domanda che un auditor pone per prima, chi altro sta su questo silicio e chi può essere costretto a raggiungerlo, ha una risposta breve: nessun altro, e l'operatore seduto davanti a voi. I prodotti GPU condivisi e frazionari mettono altri tenant sullo stesso die. Un'istanza dedicata presso un hyperscaler toglie i vicini dalla scheda ma mantiene condivisi hypervisor, rete e storage, e la giurisdizione è quella del provider.

L'assistenza è una persona che ha costruito la macchina

Un'ora a noleggio viene con un'API e una pagina di stato. Una macchina di proprietà viene con gli ingegneri che l'hanno messa in rack, hanno installato lo stack di driver, hanno ottimizzato il percorso di storage e cablato la rete. Quando un container non vede più la scheda dopo un aggiornamento del kernel, o l'impronta di memoria del server di inference cambia tra una release e l'altra del modello, il ticket arriva a qualcuno che sa leggere la macchina. La macchina cambia inoltre quando lo decidete voi: niente riprese forzate, niente migrazioni di flotta, niente ritiro della scheda per cui avete ottimizzato secondo il calendario di qualcun altro.

Quale scheda, e quanto presto

Qualunque cosa serva al carico: A100, H100, L40, L40S e altre, dimensionate sul modello e sulla batch size, non su un livello di catalogo. Un modello di classe 70B con la quantizzazione giusta sta in 48 GB di memoria GPU, il che decide la scheda prima che lo faccia il budget. Le macchine vengono consegnate con un tempo di approvvigionamento di 48 ore ad Atene, Amsterdam o Toronto, con le collocazioni in giurisdizione UE nelle prime due.