Die DevOps-Steuer: die wahren Kosten selbst gehosteter KI sind nicht die GPU.
Der Posten, den niemand budgetiert, ist Ingenieurzeit: Kämpfe mit Treibern, CUDA-Versionen, Tuning des Serving-Stacks, Kubernetes. Warum der GPU-Stundenpreis nie die Zahl war, die zählte.
In diesem Artikel 2 Abschnitte
- Die größten versteckten Kosten bei selbst gehosteter KI sind Ingenieurzeit, nicht der GPU-Stundenpreis.
- Treiber- und CUDA-Kompatibilität, Entscheidungen zur Quantisierung, Tuning des Serving-Stacks und Kubernetes fressen Wochen, bevor das erste Token ausgeliefert wird.
- Eine rohe GPU-Cloud gibt Ihnen Rechenleistung und eine Rechnung; die Verkabelung geht stillschweigend auf Ihre Lohnliste.
- Die Managed-Alternative: Ihr Team ruft ein Endpoint auf, unsere Ingenieure halten es am Laufen. Sie stellen keinen MLOps-Ingenieur ein, Sie bekommen unseren.
Lassen Sie sich einen GPU-Server bepreisen, und Sie erhalten eine saubere Zahl. Lassen Sie sich bepreisen, was es braucht, um diesen Server in ein Inferenz-Endpoint für die Produktion zu verwandeln, und die Zahl wird weich: eine Treiberversion, die sich mit dem CUDA-Toolkit nicht verträgt, ein Serving-Framework, das einen anderen Kernel will, eine Quantisierung, die sich als VRAM-hungriger herausstellt, als der Blogbeitrag behauptete, eine Kubernetes-Schicht, die die Workload nicht brauchte. Nichts davon erscheint auf der Rechnung. Alles davon erscheint auf Ihrer Lohnliste.
Die Steuer, Posten für Posten
Hier ist, was zwischen einer Karte in einem Rack und einem Endpoint liegt, dem Ihre Anwendung vertrauen kann, in der Reihenfolge, in der es kommt. Jeder Posten ist Ingenieurzeit, und jeder Posten kehrt wieder: Ein Stack, der am Tag der Installation funktionierte, muss durch jedes folgende Update hindurch weiter funktionieren.
Burn-in.
Beweisen Sie, dass Karte und Host gesund sind, bevor etwas von ihnen abhängt: Dauerlast, Temperaturen, Speicher, Stromversorgung. Eine Karte, die unter ihrem ersten echten Batch drosselt, ist ein Problem, das Sie am ersten Tag finden wollen, nicht am Tag des Launchs.
Abstimmung von Treiber und Toolkit.
Kernel, Treiber, CUDA-Toolkit, Container-Runtime und Serving-Framework müssen alle miteinander übereinstimmen. Sie stimmen an dem Tag überein, an dem Sie sie festnageln. Jedes Update an einem von ihnen stellt die Frage neu.
Paketierung des Modells.
Gewichte, Tokenizer, Quantisierung und das VRAM-Budget, das daraus folgt. Die Wahl der Quantisierung entscheidet, ob das Modell passt, wie schnell es antwortet und wie viel Qualität es aufgibt, und die veröffentlichten Zahlen sind ein Ausgangspunkt, keine Garantie für Ihre Hardware.
Tuning des Serving-Stacks.
Batching, Kontextlänge, Größe des KV-Caches und gleichzeitige Nutzer, abgestimmt auf Ihr Latenzziel statt auf die Voreinstellungen des Frameworks. Hier steckt der größte Teil des Durchsatzes, und es ist Arbeit, die niemand sieht, wenn sie gut gemacht ist.
Anbindung des Endpoints.
TLS, Authentifizierung, ein privater Netzwerkpfad zu der Anwendung, die es aufruft, und die Entscheidung, was von wo aus erreichbar ist. Ein Inferenz-Endpoint, das aus dem öffentlichen Internet erreichbar ist, ist ein Risiko, bevor es eine Funktion ist.
Beobachtbarkeit.
Zustand der Karte, VRAM-Druck, Warteschlangentiefe und Latenz-Perzentile, mit jemandem, der tatsächlich hinschaut. Eine GPU, die still mit halber Geschwindigkeit läuft, sieht auf einem Dashboard, das nur prüft, ob der Prozess läuft, genau aus wie eine gesunde.
Updates, mit einem Weg zurück.
Updates für Modell, Treiber und Stack nach Plan eingespielt, vorher getestet, mit einem Rollback, das geübt wurde. Updates auszulassen kauft eine Weile Ruhe und dann eine sehr laute Woche.
Lasttest.
Beweisen Sie, dass das Endpoint Ihre gleichzeitigen Nutzer bei Ihrem Latenzziel aushält, bevor etwas davon abhängt. Das erste Mal, dass das Endpoint echten Verkehr sieht, sollte nicht das erste Mal sein, dass es jemand gemessen hat.
Bereitschaft.
Wenn es um 3 Uhr nachts ausfällt, muss jemand dafür zuständig sein. Nicht in einem Dienstplan in einer Tabelle: ein Ingenieur, der den Stack kennt, wach, mit Zugang.
Welche Posten verschwinden, wenn die Leute, die die Karte ins Rack gebaut haben, auch den Stack ausrollen
Alle bis auf zwei. Sie wählen weiterhin das Modell, und Sie schreiben weiterhin die Anwendung, die es aufruft. Burn-in, Festnageln der Versionen, Tuning des Serving-Stacks, das private Endpoint, das Monitoring, die Updates, der Lasttest und die Bereitschaft bleiben bei den Leuten, denen die Hardware gehört und die das für jede andere Maschine im Raum ohnehin schon tragen. Wir betreiben Inferenz auf unseren eigenen GPUs, die Liste kommt also aus der Praxis.
Keine Karte nach Stunden. Ein privates Endpoint, das mit der vereinbarten Latenz antwortet, auf einer Single-Tenant-Maschine, aktuell gehalten von Ingenieuren, die den Stack kennen, weil sie ihn gebaut haben. Der Stundenpreis ist die kleinste Zahl auf der Seite.
Klare Antworten
Können wir nicht einfach die Installationsanleitung des Herstellers verwenden?+
Die Anleitungen setzen eine Karte, einen Treiber, eine Framework-Version voraus, eingefroren in der Zeit. Produktion heißt, dass die Kombination durch Updates hindurch, unter Last, bei Ihrem Latenzziel weiter funktioniert. Diese Wartung ist die Steuer; die Installation war nie der schwierige Teil.
Bedeutet managed, dass wir root verlieren?+
Nein. Die Maschine ist Single-Tenant und Ihre; wie viel vom Stack wir tragen, wird pro Kunde vereinbart: Manche nehmen die Schlüssel und betreiben alles selbst, andere übergeben uns die Serving-Schicht und behalten ihre Anwendung.
Was tut Ihr Team tatsächlich laufend?+
Treiber und CUDA auf Versionen festlegen, den Serving-Stack ausrollen und abstimmen, Karte und Endpoint 24/7 überwachen und Modell- und Stack-Updates nach einem Plan einspielen, den Sie freigeben. Wenn es ausfällt, beheben wir es, zu jeder Stunde.
Bringen Sie uns das Modell, das Sie betreiben möchten
Wir dimensionieren die GPU, rollen den Stack aus und übergeben Ihnen ein privates Endpoint. Die DevOps-Steuer bleibt bei uns.
GPU servers ansehenSie haben das Ende erreicht.
Setzen Sie das Gelesene um
Was betreiben Sie?
Erzählen Sie uns von Workload, Traffic und Anforderungen an die Wiederherstellung. Beginnen Sie mit dem Server-Konfigurator oder besprechen Sie die Details mit einem Ingenieur.
Geschrieben von den Ingenieuren, die die beschriebene Infrastruktur bauen und betreiben.Mit einem Ingenieur sprechen