Wann das Self-Hosting eines offenen Modells die Bezahlung pro Token schlägt.

Es gibt zwei Arten, GPU-Hardware zu verkaufen. Die eine ist das Versprechen, sie sei günstiger als Ihre API-Rechnung, was manchmal stimmt, vorübergehend, für manche Workloads, und jedes Mal aufhört zu stimmen, wenn die API-Anbieter die Preise erneut senken. Die andere ist, ehrlich zu rechnen: Stetiges Volumen jenseits einer Schwelle spricht für eigene Hardware, stoßweises oder kleines Volumen für die API, und die dauerhaften Gründe, die Maschine zu besitzen (Kontrolle, Jurisdiktion, eine Modellversion, die niemand abkündigen kann), gelten bei jedem Preis.

Die zwei Rechnungen, nebeneinander

Die API-Rechnung ist ein Zähler. Jeden Monat ist sie Ihr Token-Volumen multipliziert mit dem gemischten Preis pro Token auf Ihrer Rechnung, und sie bewegt sich mit der Nutzung in beide Richtungen. Die Rechnung für die Maschine ist fest. Was auch immer die Maschine pro Monat kostet, das kostet sie, ob sie einen Token ausliefert oder jeden Token, für den ihr Durchsatz reicht. Die ganze Break-even-Frage ist, wo sich diese beiden Linien kreuzen.

Diese zweite Zeile ist der ganze Beitrag. Teilen Sie die festen Monatskosten einer Maschine, die Ihr Modell ausliefern kann, durch den Preis pro Token, den Sie heute zahlen, und Sie haben das Monatsvolumen, bei dem die beiden Rechnungen gleich sind. Alles andere dreht sich darum, ob Ihre Workload dieses Volumen wirklich erreicht, und ob sie es stetig erreicht.

Was die Linie verschiebt

Rechnen Sie es mit Ihren Zahlen durch

1. 01Nehmen Sie die API-Rechnungen der letzten drei Monate und lesen Sie zwei Dinge ab: Tokens pro Monat, und den gemischten Preis pro Token (die Rechnung geteilt durch die Tokens). Eingabe- und Ausgabe-Tokens werden unterschiedlich bepreist, mischen Sie sie also in dem Verhältnis, das Sie tatsächlich nutzen.
2. 02Notieren Sie die Form des Volumens, nicht nur die Summe. Drei ähnliche Monate sind Stetigkeit. Ein Monat mit dem Dreifachen der anderen ist eine Spitze, und eine Spitze sollte als gemietete Kapazität bepreist werden.
3. 03Entscheiden Sie, welches Modell und welche Präzision Ihre Qualitätsschwelle bestehen, mit Ihren eigenen Prompts. Diese Wahl bestimmt, welche Maschine gebraucht wird, und wir dimensionieren sie mit Ihnen.
4. 04Teilen Sie die festen Monatskosten der Maschine durch Ihren gemischten Preis pro Token. Das ist Ihr Break-even-Volumen. Vergleichen Sie es mit Ihrem stetigen Monatsvolumen, bei der Auslastung, die Sie realistisch halten können.
5. 05Liegt Ihr stetiges Volumen mit Reserve über dem Break-even, gewinnt die Maschine bei den Kosten und bei allem anderen. Liegt es darunter, bleiben Sie vorerst bei der API und kommen Sie zurück, wenn es gewachsen ist, oder entscheiden Sie allein aus den Kontrollgründen, mit offenen Augen.

Das Argument, das nicht verfällt

Das Kostenargument ist für stetige Workloads mit hohem Volumen real, und es ist der schwächste Grund, eine Maschine zu besitzen, weil es der einzige ist, den die Preissenkung eines Wettbewerbers wegnehmen kann. Die anderen gelten bei jedem Preis. Ihre Prompts bleiben auf Hardware, die Ihnen gehört, in einer Jurisdiktion, die Sie gewählt haben. Die Modellversion, die Sie validiert haben, bleibt verfügbar, bis Sie anders entscheiden, nicht bis ein Anbieter sie abkündigt. Ihr geschäftigster Tag wird mit dem vollen Durchsatz der Maschine bedient, nicht mit einem Rate Limit, das die Kapazitätsplanung eines anderen festlegt. Und die Rechnung ist jeden Monat dieselbe Zahl, was eine andere Art von Ersparnis ist als ein günstigerer Token.

Deshalb stellen wir die Rechnung voran und kein Versprechen. Wenn die Rechnung sagt, die Maschine gewinnt, gut. Wenn sie sagt, die API gewinnt bei den Kosten noch, wird die Entscheidung zu einer Frage der anderen Gründe, und manche Workloads sollten weiter auf der API bleiben. Das sagen wir lieber, als eine Maschine für ein Volumen zu dimensionieren, das nicht da ist.