Ein 70B-Modell passt tatsächlich auf eine 48GB-Karte, sobald Sie zählen, was Quantisierung kostet.

Es gibt zwei Wege, an der GPU-Dimensionierung zu scheitern, und die meisten Teams wählen einen davon. Das erste Team fragt, was es kostet, ein ernsthaftes Modell zu betreiben, sieht den Preis einer 80GB-Karte, zuckt zusammen und legt das ganze Projekt ins Regal. Das zweite Team ist sparsamer: Es presst das Modell in die günstigste GPU, die es technisch lädt, geht live und verliert Antwortqualität, die es nie gemessen hat, weil ihm niemand gesagt hat, was die Kompression gekostet hat. Entgegengesetzte Fehler, dieselbe Ursache. Niemand hat das Dimensionierungsgespräch geführt, weil der größte Teil der Branche es wie ein Rätsel aus dem Datenblatt behandelt statt als das, was es ist: Arithmetik, plus eine ehrliche Abwägung.

Die Arithmetik, die jeder nachrechnen kann

Hier ist die Faustregel, ausdrücklich als solche gekennzeichnet. Architekturen und Serving-Stacks verschieben die Konstanten, aber der Rahmen hält. Ein Modellparameter in 16-Bit-Präzision belegt zwei Bytes. In 8-Bit ein Byte. In 4-Bit ein halbes Byte. Multiplizieren Sie mit der Zahl der Parameter, und Sie haben den Platzbedarf der Gewichte. Dann lassen Sie Raum für alles, was das Serving hinzufügt: die Engine selbst und den KV-Cache, der mit der Kontextlänge und mit jedem gleichzeitigen Nutzer wächst. Dieser letzte Teil ist der Grund, warum «die Gewichte passen technisch» und «das bedient Produktionsverkehr» zwei verschiedene Sätze sind.

Rechnen Sie das 70B-Beispiel mit runden Zahlen durch. In 16-Bit sind 70 Milliarden Parameter mal zwei Bytes rund 140GB vor dem Overhead: Multi-GPU-Gebiet. In 8-Bit rund 70GB: eine 80GB-Karte, bequem, mit Luft zum Atmen. In 4-Bit rund 35 bis 40GB plus Overhead: eine 48GB-Karte, mit Platz übrig, um tatsächlich zu bedienen. Ein Modell, drei Präzisionen, drei sehr unterschiedliche Preisschilder. Deshalb hat «welche GPU brauche ich» keine Antwort, bis jemand die Anschlussfrage stellt: in welcher Präzision, für welche Workload.

Was jede Kartenklasse ehrlich bedient

Die Zuordnungen unten sind dieselben, durch die Sie die Übersicht auf unserer Seite GPU servers führt, in Prosa formuliert. Sie sind in beide Richtungen ehrlich: was passt, und was das Passen kostet.

Was Quantisierung wirklich kostet

Quantisierung komprimiert die Präzision der Modellgewichte, und die Kosten an Qualität sind real, abhängig von der Workload, und messbar. Für viel Produktionsarbeit, fundierte Frage-Antwort-Aufgaben über abgerufene Dokumente, Klassifizierung, Extraktion, Zusammenfassung, ist moderne 4-Bit-Quantisierung in Blindprüfungen auf Ihren eigenen Daten kaum von voller Präzision zu unterscheiden. Für qualitätskritische Textgenerierung, lange Argumentationsketten oder Arbeit, bei der die Margen ohnehin knapp sind, kann die Lücke eine Rolle spielen. Wer Ihnen einen universellen Prozentsatz nennt, erfindet ihn. Die ehrliche Zahl kommt aus einer Quelle: Ihren Evals, auf Ihren Aufgaben, gegen beide Versionen gefahren, verglichen.

Dieser Eval-Lauf ist Teil davon, wie wir ausrollen, keine Übung, die dem Leser überlassen bleibt. Das Endpoint wird gegen Ihr Latenzziel lastgetestet, und die Entscheidung über die Quantisierung fällt mit der Abwägung vor Ihren Augen, weil es Ihre Qualitätsmesslatte und Ihr Geld ist. Wir zeigen Ihnen lieber die beiden Ausgaben nebeneinander, als die Kompression in einem günstigeren Angebot zu verstecken.

Und die Richtung, in die niemand einen Hardwareverkäufer zeigen sieht: nach unten. Manchmal ist die ehrliche Antwort nicht die 80GB-Karte, und manchmal ist es auch nicht das 70B-Modell. Ein gut gewähltes Modell mit 24B bis 32B in voller Präzision schlägt ein stark zusammengepresstes 70B auf vielen realen Aufgabensätzen, und es kostet weniger im Betrieb. Wir dimensionieren von der Workload her, wir zeigen Ihnen die Abwägung, und wenn die kleinere Maschine die Aufgabe abdeckt, sagen wir es vor der Rechnung, nicht danach. Es ist derselbe Reflex wie im restlichen Haus: kleiner dimensionieren, nicht größer.

“Wir wählen die Karte nach dem Modell, nicht das Modell nach der Karte.”