Arrêtez de comparer les GPU à l'heure.
Le tableur en $/GPU-heure compare un attribut d'un produit qui diffère sur dix : à qui est le silicium, où il se trouve, qui d'autre est dessus, s'il disparaît en plein travail, et qui répond quand il casse. Pour une charge de travail régulière, comparez des mois à des mois, lignes cachées remontées à la surface.
Dans cet article 3 sections
- La comparaison de GPU que tout le monde fait est une colonne de prix horaires. La colonne compare du temps de silicium et cache tout ce qui décide si votre charge de travail survit : la mise à disposition, la juridiction, la provenance du matériel, la préemption, et qui répond à 3 h du matin.
- La colonne horaire ne dit pas si vous louez une carte grand public, une machine partagée ou du silicium datacenter dédié, ni dans quelle juridiction il se trouve.
- Pour une charge de production régulière, la comparaison honnête est mensuel total contre mensuel total : le tarif horaire fois 720, plus le temps d'ingénierie que la machine nue laisse à votre équipe, face à un seul chiffre managed fixe.
- Et si votre charge de travail monte vraiment en pic pour un après-midi, l'horaire est le bon produit, chez un fournisseur horaire. Nous vendons l'autre chose, délibérément.
L'objet est toujours le même. Un tableur, six fournisseurs sur le côté, une colonne qui compte : des dollars par GPU-heure, triés par ordre croissant. La réunion gravite vers la première ligne, parce que c'est à cela que servent les colonnes triées. Personne dans la salle ne pose la seule question à laquelle la colonne ne peut pas répondre : de quoi ce nombre est-il le prix ?
Parce qu'une GPU-heure n'est pas une unité du même bien. Le prix compare un attribut d'un produit qui diffère sur dix, et chaque attribut qu'il cache est un attribut que votre charge de production rencontrera en personne.
Ce que le nombre horaire n'encode pas
À qui est le silicium : une carte datacenter, ou une carte grand public ? Quelle mise à disposition : à vous seul, ou partagée avec des inconnus dont vous ne pouvez pas voir les charges ? Quelle juridiction : un rack de l'UE sous le droit de l'UE, ou quelque part que l'annonce ne précise pas ? Quelle continuité : réservée, ou interruptible à l'instant où quelqu'un surenchérit en plein travail ? Et quand ça meurt à 2 h du matin, que se passe-t-il : une chaîne de garantie et un ingénieur, ou le remboursement de l'heure ? Chacune de ces réponses est dans le prix. C'est pourquoi le nombre bon marché est bon marché, et le marché est honnête là-dessus, en petits caractères.
Silicium
Mise à disposition
Juridiction
Continuité
Support
Le prix
La comparaison qui tranche vraiment
Pour une charge de travail régulière, le seul type pour lequel ce produit existe, convertissez tout dans la même unité : un mois. Un tarif horaire qui tourne jour et nuit, c'est le tarif fois environ 720 avant toute ligne cachée. Ajoutez ensuite celles que la machine nue laisse à votre équipe : les batailles de drivers, l'épinglage de la version CUDA, le réglage du serving stack, l'astreinte. Notre périmètre GPU managed explique quel travail d'exploitation nous revient. Le brief de dimensionnement GPU aide à définir une configuration à comparer à votre dépense actuelle. Face à la colonne additionnée se tient un seul devis managed fixe avec les opérations convenues à l'intérieur. Nous ne remplirons pas la colonne de gauche pour vous, parce que c'est votre tableur et que les tarifs bougent tous les mois. Apportez votre charge de travail sur la page GPU Servers pour un devis cadré.
| LE TABLEUR HORAIRE | LE MENSUEL |
|---|---|
| Le tarif fois les heures que vous devinez utiliser | Un seul chiffre fixe, connu à l'avance |
| LA LIGNE QUI TRANCHE LES VRAIS BUDGETSLe temps que vos ingénieurs passent à garder la stack : non compté | La couche managed : incluse, et l'astreinte est la nôtre, pas la vôtre |
| Préemption et temps de remise en file : non comptés | Réservé : la machine est à vous jour et nuit |
| Provenance et juridiction : un risque non chiffré | Du silicium datacenter qui nous appartient, un rack de l'UE, des ingénieurs nommés |
Quand l'horaire est la bonne réponse
Si votre charge de travail est un pic de recherche, un après-midi d'expériences de fine-tuning, un batch que vous pouvez checkpointer et reprendre quand l'instance spot meurt, alors l'élasticité horaire est le bon produit et les clouds horaires le font bien. Achetez des heures, à quelqu'un fait pour vendre des heures. Cet article est pour l'autre charge de travail : celle qui tourne tous les jours, porte des données avec une juridiction, et a besoin de silicium datacenter dédié dans un rack de l'UE.
“Une carte grand public, une machine partagée, ou du silicium datacenter dédié dans un rack de l'UE : le prix horaire ne vous dira pas lequel des trois vous avez acheté.”
Réponses directes
Pourquoi les prix des GPU sur les places de marché sont-ils tellement moins chers ?+
Parce que le prix reflète le produit : ce peut être des cartes grand public, de la capacité partagée ou interruptible, une juridiction non précisée, et aucune chaîne de support.
Comment comparer la location de GPU à l'heure avec un serveur dédié mensuel ?+
Convertissez dans la même unité : le tarif fois environ 720 pour un usage jour et nuit, plus le temps d'ingénierie qu'une machine nue laisse à votre équipe, plus le temps de relance pour les préemptions, face à un seul chiffre managed fixe. Les charges régulières cessent en général d'être un produit horaire à ce point. Les charges en pics non, et elles doivent rester horaires.
La capacité GPU spot ou interruptible est-elle utilisable en production ?+
Pour du travail batch avec checkpoints, parfois, et c'est une décision d'ingénierie légitime. Pour un endpoint de service que votre produit appelle, une instance qui disparaît par conception n'est pas un niveau de fiabilité. C'est un autre produit.
Êtes-vous moins chers que les clouds horaires ?+
Pour un après-midi, non. Pour une charge régulière 24/7 avec les opérations incluses, faites la comparaison mensuelle ci-dessus. Le format est la réponse.
Vous le faites tourner tous les jours ? Comparez des mois, pas des heures.
Apportez-nous le modèle et la charge de travail. Vous obtiendrez un seul chiffre fixe avec l'ingénierie à l'intérieur, sur du métal UE qui nous appartient, avec votre nom dessus.
Voir les GPU ServersVous êtes arrivé à la fin.
Mettez la lecture en pratique
Que faites-vous tourner ?
Parlez-nous de la charge de travail, du trafic et des exigences de reprise. Commencez par le configurateur de serveur, ou passez en revue les détails avec un ingénieur.
Écrit par les ingénieurs qui construisent et exploitent l'infrastructure qu'il décrit.Parler à un ingénieur