GPU en propre ou louée : utilisation, localité des données, support

Là où la location est la bonne réponse

Une carte à l'heure est le bon outil pour une expérience, une rafale, un modèle que vous voulez essayer un après-midi, ou un entraînement que vous ne ferez qu'une fois. L'élasticité est réelle et vaut d'être payée quand le travail est intermittent. La question est ce qui se passe quand le travail cesse d'être intermittent : un endpoint d'inférence qui sert votre application toute la journée, un fine-tune nocturne, un pipeline d'embeddings qui retraite un document store chaque semaine. À ce moment-là, la comparaison passe du prix par heure au prix par heure utile, et les deux divergent.

L'utilisation est une mesure, pas une opinion

Le point de croisement entre louer et posséder est une question de cycle d'utilisation, et on y répond en échantillonnant plutôt qu'en estimant. Sur ce que vous faites tourner aujourd'hui, journalisez l'utilisation et la mémoire du GPU pendant une semaine représentative.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Une carte occupée quelques heures par jour et inactive le reste du temps est une location. Une carte occupée la plus grande partie de la journée, ou qui doit être disponible à l'instant où une requête arrive quelle que soit sa charge, est une machine, parce que la disponibilité se paie que le compteur tourne ou non. L'arithmétique pour comparer les deux se trouve dans arrêtez de comparer les GPU à l'heure. L'échantillonnage ci-dessus est l'entrée dont elle a besoin.

Localité des données : le modèle est la petite partie

Un modèle est un fichier qui tient sur une machine. Les données qui l'entourent n'y tiennent pas : le document store sur lequel il répond aux questions, les embeddings construits à partir de lui, les prompts et les réponses, les logs d'accès qu'un auditeur demandera. Chacun de ces éléments doit être là où est le GPU. Sur une carte louée, cela veut dire déplacer les données chez le fournisseur avant le travail et payer pour les ressortir après, ou les laisser là et accepter que les données vivent désormais là où vit le stockage du fournisseur.

Sur une machine en propre, les données et la carte partagent un rack. Le stockage en dessous est all-flash, le réseau entre les deux est le nôtre, et rien ne traverse une frontière de cloud public pour être traité. L'exemple que nous construisons le plus souvent est un endpoint d'inférence privé pour des dossiers qui ne peuvent pas quitter l'organisation : des dossiers médicaux analysés par un modèle local au sein de Digital Realty Athens, avec les dossiers, le modèle et les logs sur la même machine et l'endpoint joignable uniquement depuis le réseau du client. Le schéma est décrit dans un endpoint IA qui n'est pas sur internet.

La juridiction, réglée par la géographie

Pour les charges qui doivent rester sous le droit de l'UE, nous plaçons la machine à Digital Realty Athens ou à Digital Realty Amsterdam (AMS18). Le matériel, l'opérateur et les données sont alors sous une seule juridiction, et la question qu'un auditeur pose en premier, qui d'autre est sur ce silicium et qui peut être contraint d'y accéder, a une réponse courte : personne d'autre, et l'opérateur assis en face de vous. Les produits GPU partagés et fractionnés placent d'autres tenants sur le même die. Une instance dédiée chez un hyperscaler retire les voisins de la carte mais garde les couches partagées d'hyperviseur, de réseau et de stockage, et la juridiction est celle du fournisseur, quelle qu'elle soit.

Le support, c'est une personne qui a construit la machine

Une heure louée vient avec une API et une page de statut. Une machine en propre vient avec les ingénieurs qui l'ont installée dans le rack, installé la pile de pilotes, réglé le chemin de stockage et câblé le réseau. Quand un conteneur ne voit plus la carte après une mise à jour du noyau, ou que l'empreinte mémoire du serveur d'inférence change entre deux versions du modèle, le ticket va à quelqu'un qui sait lire la machine. La machine change aussi quand vous le décidez : pas de reprise, pas de migration de flotte, pas de retrait de la carte pour laquelle vous avez optimisé selon le calendrier de quelqu'un d'autre.

Quelle carte, et dans quel délai

Ce dont la charge a besoin : A100, H100, L40, L40S et d'autres, dimensionnées pour le modèle et la taille de batch plutôt que pour une classe de catalogue. Un modèle de classe 70B avec la bonne quantisation tient dans 48 GB de mémoire GPU, ce qui décide de la carte avant le budget. Les machines sont livrées avec un délai de 48 heures à Athènes, Amsterdam ou Toronto, les placements sous juridiction UE étant dans les deux premières.