Que demander à un fournisseur GPU avant de signer

Les offres GPU se ressemblent de loin : un nom de carte, un délai, un prix. De près, deux offres portant le même nom de carte peuvent être des produits très différents, et les différences décident si votre modèle tourne bien, si vos données restent là où vous en avez besoin, et si la plateforme sera encore la vôtre l'an prochain. Voici les questions que nous poserions à n'importe quel fournisseur, nous compris, et comment vérifier les réponses une fois le serveur entre vos mains.

Sur le matériel

1. Quelle carte exactement ? Un nom de modèle n'est pas une spécification. La même famille existe avec différentes tailles de mémoire et sous différents formats, une carte PCIe ou un module sur une carte avec un lien haute vitesse entre GPU. Pour les grands modèles, la mémoire GPU décide de ce qui tient, et pour le travail multi-GPU le lien entre les cartes décide de la qualité de la montée en charge. Demandez la variante exacte par écrit.

2. Est-elle dédiée, ou une tranche ? Un GPU peut être découpé en partitions ou partagé dans le temps entre clients. C'est acceptable quand vous le savez et que c'est tarifé en conséquence. Ce ne l'est pas quand vous croyez avoir une carte entière. Demandez si vous obtenez tout le périphérique physique, et si la charge de quelqu'un d'autre y tourne.

3. Qu'y a-t-il autour de la carte ? Un GPU rapide affamé par un hôte lent est un GPU lent. Renseignez-vous sur les processeurs, la quantité de mémoire système par GPU, le nombre de lignes PCIe qui atteignent chaque carte, le NVMe local pour les poids des modèles et les jeux de données, et le réseau entre serveurs si vous entraînez sur plus d'un.

4. Quand puis-je l'avoir ? Demandez un délai sur lequel vous pouvez planifier, et s'il est le même pour un second serveur quand le premier aura fait ses preuves.

Sur l'endroit où il vit

5. Où est-il physiquement, et sous quelle juridiction ? Si vous traitez des données de santé, juridiques, financières ou de personnel, le pays et l'entité juridique qui exploite le matériel comptent autant que le matériel. Demandez le datacenter, pas le nom de la région.

6. Qui peut accéder au serveur et à ses données ? Demandez qui détient l'accès administratif, si des mains distantes peuvent toucher la machine, comment l'accès est journalisé, et ce qu'il advient des disques à la fin du contrat. Une bonne réponse nomme la méthode d'effacement et propose un certificat.

7. Quelque chose est-il envoyé à un service externe ? Certaines offres d'IA infogérée journalisent les prompts et les sorties, ou routent certaines requêtes vers un modèle tiers. Demandez directement si un contenu quelconque, prompt, complétion, embedding ou journal, quitte le serveur ou le réseau du fournisseur, et obtenez la réponse dans le contrat.

Sur le logiciel

8. Qui maintient la pile de pilotes ? Les pilotes GPU, le runtime CUDA et le toolkit de conteneurs doivent correspondre entre eux et au noyau. Demandez qui les met à jour, comment ils sont testés, et si les modules du noyau sont signés pour que le serveur puisse tourner avec Secure Boot et la politique de sécurité que vous attendez de n'importe quelle autre machine.

9. Puis-je exécuter des conteneurs avec le GPU, proprement ? La plupart des piles d'IA sont livrées en conteneurs. Le runtime de conteneurs doit voir le GPU à travers le toolkit de conteneurs du fabricant, sans exécuter de conteneurs privilégiés pour y parvenir.

10. Pouvez-vous exploiter la pile de modèles, ou seulement me louer la machine ? Bien servir un modèle implique du batching, des choix de quantification, un serveur d'inférence, un modèle d'embedding et généralement une base de données vectorielle. Certains fournisseurs vous remettent un mot de passe root et s'en vont. Si vous voulez la pile construite et exploitée, demandez qui le fera, et demandez un endpoint qui parle le format d'API que vos applications utilisent déjà, pour que passer d'une API publique à votre propre modèle soit un changement de configuration, pas une réécriture.

Sur l'exposition et le coût

11. L'endpoint est-il sur l'Internet public ? Un endpoint d'inférence sur une adresse publique est une surface d'attaque et une facture qui attend d'être gonflée par quelqu'un d'autre. Demandez s'il peut n'être joignable que depuis votre réseau privé.

12. De quoi dépend le coût ? Du matériel mensuel fixe se comporte très différemment d'une facturation au token ou à la requête à mesure que l'usage croît. Demandez ce qui fait varier le prix, et si des limites de débit s'appliquent à du matériel que vous payez.

Vérifiez dès le premier jour

Une fois le serveur à vous, vérifiez qu'il est bien ce qui a été promis :

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

nvidia-smi -q confirme le produit exact et sa mémoire, et montre si l'ECC est activé et si des erreurs ont été enregistrées. topo -m montre comment les GPU se connectent entre eux et aux processeurs, ce qui vous dit si le trafic multi-GPU emprunte un chemin rapide. La section performance rapporte les fréquences et les éventuelles raisons de bridage, telles que des limites de puissance ou de température, que vous voulez voir absentes sous une charge soutenue. Si un partitionnement est en place, il apparaît ici aussi. Enfin, exécutez votre propre modèle avec vos propres données à la concurrence attendue et mesurez les tokens par seconde et la latence. C'est le benchmark qui compte.

Comment nous y répondons

Nous fournissons le GPU NVIDIA pour datacenter que votre charge réclame, A100, H100, L40, L40S et d'autres, en matériel dédié sur des plateformes HPE et Dell d'entreprise, livré avec un délai de 48 heures, dans nos datacenters d'Athènes et d'Amsterdam, au sein de l'UE. Les serveurs GPU sont construits comme chaque autre serveur que nous exploitons : modules du noyau signés par le fabricant, Podman avec le toolkit de conteneurs NVIDIA, SELinux en mode enforcing. Quand nous construisons la pile d'IA privée par-dessus, les modèles sont servis à travers des endpoints compatibles OpenAI sur un segment réseau isolé, et rien dans le chemin du contenu n'appelle un service d'IA externe. C'est ainsi que nous avons construit une plateforme pour un client qui analyse des dossiers médicaux : chaque étape tourne sur des modèles locaux chez Digital Realty Athènes, et les données ne touchent jamais un cloud public. Les disques qui quittent le service sont effacés avec Blancco, avec un certificat d'effacement conservé pour chacun.

Apportez-nous votre modèle et votre objectif de débit, et nous vous dirons quelle carte convient et pourquoi.

Parler à un ingénieur

Related (rows[1])

Voir aussi : Serveurs GPU et infrastructure d'IA privée · Serveurs bare metal sur HPE et Dell · Kubernetes privé sur bare metal, OpenShift et OKD