Cosa chiedere a un fornitore di GPU prima di firmare

Le offerte GPU si somigliano tutte da lontano: il nome di una scheda, un tempo di consegna, un prezzo. Da vicino, due offerte con lo stesso nome di scheda possono essere prodotti molto diversi, e le differenze decidono se il vostro modello gira bene, se i vostri dati restano dove vi servono, e se la piattaforma sarà ancora vostra da contarci l'anno prossimo. Queste sono le domande che faremmo a qualsiasi fornitore, noi compresi, e come verificare le risposte una volta che il server è nelle vostre mani.

Sull'hardware

1. Quale scheda esattamente? Il nome di un modello non è una specifica. La stessa famiglia arriva con dimensioni di memoria diverse e in fattori di forma diversi, una scheda PCIe o un modulo su una scheda madre con un collegamento ad alta velocità tra le GPU. Per i modelli grandi, la memoria della GPU decide cosa ci sta, e per il lavoro multi-GPU il collegamento tra le schede decide quanto bene scala. Chiedete la variante esatta per iscritto.

2. È dedicata, o una fetta? Una GPU può essere divisa in partizioni o condivisa a tempo tra clienti. Va bene quando lo sapete e il prezzo lo riflette. Non va bene quando credete di avere una scheda intera. Chiedete se ricevete l'intero dispositivo fisico, e se il carico di lavoro di qualcun altro ci gira sopra.

3. Cosa circonda la scheda? Una GPU veloce affamata da un host lento è una GPU lenta. Chiedete dei processori, di quanta memoria di sistema c'è per GPU, di quante corsie PCIe arrivano a ogni scheda, dell'NVMe locale per i pesi dei modelli e i dataset, e della rete tra i server se addestrerete su più di uno.

4. Quando posso averla? Chiedete un tempo di consegna su cui potete pianificare, e se è lo stesso per un secondo server quando il primo avrà avuto successo.

Su dove vive

5. Dove si trova fisicamente, e sotto quale giurisdizione? Se trattate dati sanitari, legali, finanziari o del personale, il paese e l'entità legale che gestisce l'hardware contano quanto l'hardware. Chiedete il datacenter, non il nome della regione.

6. Chi può accedere al server e ai suoi dati? Chiedete chi detiene l'accesso amministrativo, se le remote hands possono toccare la macchina, come viene registrato l'accesso, e cosa succede ai dischi quando il contratto finisce. Una buona risposta nomina il metodo di cancellazione e offre un certificato.

7. Qualcosa viene inviato a un servizio esterno? Alcune offerte di AI gestita registrano prompt e output, o instradano certe richieste a un modello di terzi. Chiedete direttamente se qualsiasi contenuto, prompt, completamento, embedding o log, lascia il server o la rete del fornitore, e fatevi mettere la risposta nel contratto.

Sul software

8. Chi mantiene lo stack dei driver? I driver GPU, il runtime CUDA e il container toolkit devono corrispondere tra loro e al kernel. Chiedete chi li aggiorna, come vengono testati, e se i moduli del kernel sono firmati così che il server possa girare con Secure Boot e con la policy di sicurezza che vi aspettate su qualsiasi altra macchina.

9. Posso eseguire container con la GPU, in modo pulito? La maggior parte degli stack AI arriva come container. Il runtime dei container dovrebbe vedere la GPU attraverso il container toolkit del produttore, senza dover eseguire container privilegiati per arrivarci.

10. Potete gestire lo stack del modello, o mi affittate solo la macchina? Servire bene un modello comporta batching, scelte di quantizzazione, un inference server, un modello di embedding e di solito un database vettoriale. Alcuni fornitori vi consegnano una password di root e se ne vanno. Se volete lo stack costruito e gestito, chiedete chi lo farà, e chiedete un endpoint che parli il formato API che le vostre applicazioni già usano, così passare da una API pubblica al vostro modello è una modifica di configurazione, non una riscrittura.

Su esposizione e costi

11. L'endpoint è su internet pubblica? Un endpoint di inferenza su un indirizzo pubblico è una superficie di attacco e una bolletta che aspetta di essere fatta lievitare da qualcun altro. Chiedete se può essere raggiungibile solo dalla vostra rete privata.

12. Da cosa dipende il costo? Hardware mensile a prezzo fisso si comporta in modo molto diverso dalla fatturazione per token o per richiesta man mano che l'uso cresce. Chiedete cosa cambia il prezzo, e se si applicano rate limit a hardware che state pagando.

Verificate il primo giorno

Una volta che il server è vostro, controllate che sia ciò che è stato promesso:

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

nvidia-smi -q conferma il prodotto esatto e la sua memoria, e mostra se ECC è abilitato e se sono stati registrati errori. topo -m mostra come le GPU si collegano tra loro e ai processori, il che vi dice se il traffico multi-GPU prende un percorso veloce. La sezione performance riporta i clock ed eventuali motivi di throttling, come limiti di potenza o temperatura, che volete vedere assenti sotto un carico sostenuto. Se è in uso il partizionamento, compare anche qui. Infine, eseguite il vostro modello con i vostri dati alla concorrenza prevista e misurate token al secondo e latenza. Quello è il benchmark che conta.

Come rispondiamo noi

Forniamo la GPU NVIDIA per data center che il vostro carico di lavoro richiede, A100, H100, L40, L40S e altre, come hardware dedicato su piattaforme enterprise HPE e Dell, consegnato con un tempo di consegna di 48 ore, nei nostri datacenter di Atene e Amsterdam dentro l'UE. I server GPU sono costruiti come ogni altro server che gestiamo: moduli del kernel firmati dal produttore, Podman con il container toolkit NVIDIA, SELinux enforcing. Quando costruiamo sopra lo stack di AI privata, i modelli sono serviti tramite endpoint compatibili OpenAI su un segmento di rete isolato, e nulla nel percorso dei contenuti chiama un servizio AI esterno. È così che abbiamo costruito una piattaforma per un cliente che analizza cartelle cliniche: ogni passaggio gira su modelli locali dentro Digital Realty Athens, e i dati non toccano mai un cloud pubblico. I dischi che escono dal servizio vengono sanificati con Blancco, con un certificato di cancellazione conservato per ciascuno.

Portateci il vostro modello e il vostro obiettivo di throughput, e vi diremo quale scheda fa al caso vostro e perché.

Parla con un ingegnere

Related (rows[1])

Correlati: Server GPU e infrastruttura di AI privata · Server bare metal su HPE e Dell · Kubernetes privato su bare metal, OpenShift e OKD