Un modèle 70B tient vraiment sur une carte de 48GB, une fois qu'on a compté ce que coûte la quantification.
Un modèle de 70 milliards de paramètres tourne vraiment sur une carte de 48GB une fois quantifié. Savoir si c'est le bon choix n'est pas du folklore, c'est de l'arithmétique plus une discussion honnête sur la qualité que quelqu'un devrait avoir avec vous avant la facture. Voici les deux.
Dans cet article 3 sections
- La VRAM dont un modèle a besoin est de l'arithmétique, pas du folklore : les paramètres fois les octets par paramètre, plus la surcharge de service et la place pour le contexte. Un modèle 70B en pleine précision 16-bit veut autour de 140GB avant surcharge. Quantifié en 4-bit, il atterrit dans les hauts 30.
- Donc oui, un modèle 70B tourne sur une carte de 48GB. La vraie question est ce que la quantification 4-bit coûte en qualité à votre charge de travail précise, et si ce prix est acceptable (souvent) ou non (parfois).
- L'arbitrage est mesurable, pas mystique : quantifiez, lancez vos propres évaluations sur vos propres tâches, comparez. Un devis qui saute cette étape est une vente de carte, pas un dimensionnement.
- Notre règle : nous choisissons la carte à partir du modèle et de la charge de travail, nous vous montrons l'arbitrage, et nous le disons quand la machine plus petite est la réponse honnête.
Il y a deux façons d'échouer au dimensionnement GPU et la plupart des équipes en choisissent une. La première équipe demande ce que coûte faire tourner un modèle sérieux, voit le prix d'une carte de 80GB, tressaille, et met tout le projet au placard. La seconde équipe est plus économe : elle entasse le modèle dans le GPU le moins cher qui le charge techniquement, met en production, et perd une qualité de réponse qu'elle n'a jamais mesurée, parce que personne ne lui a dit ce que la compression a coûté. Échecs opposés, même cause. Personne n'a eu la conversation de dimensionnement, parce que la majorité du secteur la traite comme un mystère de fiche technique au lieu de ce qu'elle est : de l'arithmétique, plus un arbitrage honnête.
L'arithmétique que chacun peut vérifier
Voici la règle empirique, signalée exactement comme telle. Les architectures et les serving stacks déplacent les constantes, mais le cadre tient. Un paramètre de modèle stocké en précision 16-bit occupe deux octets. En 8-bit, un octet. En 4-bit, un demi-octet. Multipliez par le nombre de paramètres et vous avez l'empreinte des poids. Laissez ensuite de la place pour tout ce que le service ajoute : le moteur lui-même, et le KV cache, qui grandit avec la longueur du contexte et avec chaque utilisateur simultané. Cette dernière partie est la raison pour laquelle « les poids tiennent techniquement » et « ceci sert du trafic de production » sont deux phrases différentes.
PARAMS
B/PARAM
OVERHEAD
VRAM
Faites l'exemple des 70B en chiffres ronds. En 16-bit, 70 milliards de paramètres fois deux octets, c'est environ 140GB avant surcharge : territoire multi-GPU. En 8-bit, environ 70GB : une carte de 80GB, confortablement, avec de la place pour respirer. En 4-bit, environ 35 à 40GB plus la surcharge : une carte de 48GB, avec de la place qui reste pour servir vraiment. Un modèle, trois précisions, trois étiquettes de prix très différentes. C'est pourquoi « quel GPU me faut-il » n'a pas de réponse tant que quelqu'un ne pose pas la question suivante : à quelle précision, pour quelle charge de travail.
Ce que chaque classe de carte sert honnêtement
Les appariements ci-dessous sont ceux que le tableau de la page GPU Servers vous fait parcourir, exprimés en prose. Ils sont honnêtes dans les deux sens : ce qui tient, et ce que le fait de tenir coûte.
| CLASSE DE VRAM | CE QU'ELLE SERT HONNÊTEMENT | LE PIÈGE |
|---|---|---|
| Classe 48GB (L40S, L40) | Modèles 24B à 32B en pleine précision. Modèles de classe 70B quantifiés | le 70B tourne en 4-bit : lisez la section suivante avant de décider |
| Classe 80GB (A100) | Modèles de classe 70B quantifiés confortablement, avec de la place pour le contexte et les utilisateurs simultanés | le bon choix quand les marges de qualité sont fines ou que les contextes sont longs |
| 2× 80GB | 70B en pleine précision. 100B et plus quantifiés. Territoire du fine-tuning | achetez-le pour la charge de travail que vous avez, pas pour celle que vous redoutez |
Ce que la quantification coûte vraiment
La quantification compresse la précision des poids du modèle, et le coût en qualité est réel, dépendant de la charge de travail, et mesurable. Pour beaucoup de travail de production, questions-réponses ancrées sur des documents récupérés, classification, extraction, résumé, la quantification 4-bit moderne est difficile à distinguer de la pleine précision dans des contrôles en aveugle sur vos propres données. Pour de la génération où la qualité est critique, de longues chaînes de raisonnement, ou du travail où les marges sont déjà fines, l'écart peut compter. Quiconque vous donne un pourcentage universel l'invente. Le chiffre honnête vient d'un seul endroit : vos évaluations, sur vos tâches, lancées sur les deux versions, comparées.
Ce passage d'évaluations fait partie de la façon dont nous déployons, pas un exercice laissé au lecteur. L'endpoint est testé en charge face à votre objectif de latence, et la décision de quantification se prend avec l'arbitrage devant vous, parce que c'est votre barre de qualité et votre argent. Nous préférons vous montrer les deux sorties côte à côte plutôt que cacher la compression dans un devis moins cher.
Quel modèle, à quelle précision, pour quelles tâches, à quelle longueur de contexte, pour combien d'utilisateurs simultanés. Cinq questions. Quiconque vous fait un devis de GPU sans les poser devine avec votre argent.
Et la direction que personne n'attend d'un vendeur de matériel : vers le bas. Parfois la réponse honnête n'est pas la carte de 80GB, et parfois ce n'est pas non plus le modèle 70B. Un modèle 24B à 32B bien choisi en pleine précision bat un 70B lourdement compressé sur beaucoup de jeux de tâches réels, et il coûte moins à faire tourner. Nous dimensionnons à partir de la charge de travail, nous vous montrons l'arbitrage, et quand la machine plus petite couvre le travail nous le disons avant la facture, pas après. C'est le même réflexe que dans le reste de la maison : plus petit, pas plus gros.
“Nous choisissons la carte à partir du modèle, pas le modèle à partir de la carte.”
Réponses directes
Quel GPU me faut-il pour faire tourner un modèle 70B ?+
En quantification 4-bit, une carte de 48GB le sert avec de la place pour le contexte et la surcharge. En 8-bit, une carte de 80GB. En pleine précision 16-bit, vous êtes en territoire multi-GPU. Le choix de la précision dépend de vos marges de qualité, et c'est la conversation à avoir avant la carte.
Combien de qualité la quantification 4-bit fait-elle perdre ?+
Cela dépend de la charge de travail, et c'est mesurable plutôt que mystique. Les questions-réponses ancrées, l'extraction et la classification ne montrent souvent aucune différence pratique dans des contrôles en aveugle. La génération à marges fines et les longues chaînes de raisonnement peuvent en montrer. Lancez vos propres évaluations sur les deux versions. Nous le faisons dans le cadre du déploiement.
Comment calculer la VRAM pour un LLM ?+
Règle empirique : les paramètres fois les octets par paramètre (2 en 16-bit, 1 en 8-bit, 0.5 en 4-bit), plus la surcharge de service et un KV cache qui grandit avec la longueur du contexte et le nombre d'utilisateurs simultanés. Faire tenir les poids n'est pas la même chose que servir du trafic. Laissez de la marge.
Un GPU plus gros est-il toujours l'achat le plus sûr ?+
Non, c'est la supposition la plus chère. L'achat le plus sûr est celui dimensionné à partir de votre modèle, votre précision, votre contexte et vos utilisateurs simultanés, avec l'arbitrage mesuré. Parfois c'est la carte de 80GB. Souvent ce ne l'est pas, et nous vous dirons laquelle.
Puis-je faire tourner un modèle plus petit au lieu de quantifier un gros ?+
Souvent oui, et c'est souvent la meilleure affaire : un modèle 24B à 32B bien choisi en pleine précision peut battre un 70B lourdement compressé sur vos tâches réelles. Cette comparaison a aussi sa place dans les évaluations de dimensionnement, et c'est une que nous suggérons souvent.
Apportez-nous le modèle que vous voulez faire tourner.
Nous ferons l'arithmétique, nous vous montrerons ce que la quantification coûte sur vos tâches, et nous vous dirons si la machine plus petite est la réponse honnête.
Voir les GPU ServersVous êtes arrivé à la fin.
Mettez la lecture en pratique
Que faites-vous tourner ?
Parlez-nous de la charge de travail, du trafic et des exigences de reprise. Commencez par le configurateur de serveur, ou passez en revue les détails avec un ingénieur.
Écrit par les ingénieurs qui construisent et exploitent l'infrastructure qu'il décrit.Parler à un ingénieur