Der Abschied vom API ist eine Zeile Code.

Die Besprechung findet überall statt. Alle im Raum wollen weg vom gehosteten API, suchen Sie sich den Grund aus: die Daten, die das Haus nicht verlassen sollten, die Rate-Limit-Stufe, die die Roadmap nicht überlebt, die Rechnung, die mit dem Erfolg wächst. Und dann sagt jemand den Satz, der sie beendet: Wir sind zu tief integriert, das wäre ein Rewrite. Sechs Monate später, dieselbe Besprechung, derselbe Satz, ein weiterer Sprint Retry-Logik dazwischen.

Der Satz verdient eine Prüfung, denn die Integration, die er beschreibt, ist genau einen Konfigurationswert tief.

h2 (#the-standard): Die Welt hat sich standardisiert, während Sie nicht hingesehen haben

In der Serving-Welt ist in den letzten Jahren etwas Nützliches passiert: Das Format des OpenAI-API wurde zum De-facto-Wire-Standard für die Kommunikation mit Sprachmodellen, und die Open-Source-Serving-Stacks haben es bewusst übernommen. Dieselben Routen, dasselbe Request-Format, dasselbe Streaming-Protokoll, für den breit genutzten Kern der Schnittstelle: Chat Completions, Streaming, Embeddings. Wenn wir einen privaten Endpoint übergeben, spricht er diesen Dialekt von Haus aus. Ihr SDK merkt nicht, dass es umgezogen ist. Falls Ihre Anwendung sich auf die proprietären Extras eines Anbieters gestützt hat, ist das eine kurze Prüfung, kein Rewrite, und wir gehen sie mit Ihnen durch: Die meisten Extras haben direkte Entsprechungen oder dünne Shims.

- OPENAI_BASE_URL=https://api.vendor.example/v1
+ OPENAI_BASE_URL=https://inference.yourcompany.internal/v1
  OPENAI_API_KEY=****   # your key, issued by you, revoked by you

Prompts, Streaming-Handler, Retry-Logik, Tooling: unangetastet. Dieser Diff ist die gesamte Migration der Infrastruktur darunter. Genau deshalb verdient das Rewrite-Budget Misstrauen: Es wurde für eine Welt kalkuliert, in der jeder Anbieter sein eigenes Wire-Format hatte, und diese Welt gibt es nicht mehr.

h2 (#the-honest-remainder): Was sich wirklich ändert: das Modell

Jetzt die ehrliche Hälfte, denn die Behauptung von der einen Zeile gilt nur für die Infrastruktur darunter. Ein anderes Modell ist ein anderer Kollege. Stellen Sie ihm dieselbe Frage, und die Antwort kommt anders formuliert und anders strukturiert zurück. Prompts, die auf ein Modell abgestimmt waren, brauchen vielleicht Anpassung. Randfälle verschieben sich. Das ist echte Arbeit. Sie ist aber auch begrenzt, testbar und günstig im Vergleich zu dem, was Sie eingeplant hatten: Lassen Sie Ihr vorhandenes Eval-Set (oder das kleine, das Sie ohnehin haben sollten) gegen das Kandidatenmodell auf Ihren echten Aufgaben laufen, vergleichen Sie, entscheiden Sie. Das passiert, bevor Sie sich festlegen, auf einem Endpoint, den Sie ausprobieren können, nicht nach einem Rewrite, das Sie nicht rückgängig machen können.

Beachten Sie, was in dieser Tabelle nicht auftaucht: keine Behauptung, das offene Modell sei genauso gut. Diese Behauptung stellen wir nicht auf, weil sie schlecht altert und weil Sie sie ohnehin von keinem Anbieter annehmen sollten. Der Eval-Lauf ersetzt die Behauptung. Ihre Aufgaben, beide Modelle, nebeneinander, und die Entscheidung liegt bei Ihnen, mit den Belegen vor Augen. Dieser Eval-Durchlauf ist Teil unserer Inbetriebnahme, zusammen mit der Dimensionierung und der Abwägung bei der Quantisierung (gezeigt, nicht versteckt), und genau dort verdient sich ein Managed-Anbieter sein Honorar.

h2 (#both-ways): Die Zeile gilt in beide Richtungen, mit Absicht

Alles oben beschreibt auch den Abschied von uns. Offene Gewichte sind portable Dateien. Der Endpoint spricht den Standarddialekt. Ihre Daten liegen auf Ihrer Maschine und gehen mit Ihnen. Wenn wir die Workload nicht mehr verdienen, ist die Migration weg von uns dieselbe eine Zeile, und wir haben es absichtlich so gebaut, aus demselben Grund, aus dem der Rest dieses Unternehmens die Zähler abgeschafft hat und Ausstiegsgebühren ablehnt (das Argument zu den Egress-Gebühren ist dieselbe Haltung eine Ebene tiefer). Ein Anti-Lock-in, das Sie nicht ausüben können, ist ein Wort aus der Broschüre. Kunden, die gehen können und trotzdem bleiben, sind die einzige Referenz, die zählt.

Eine weitere Freiheit kommt mit: Sobald das Modell Ihnen gehört, nimmt es niemand unter Ihren Prompts außer Dienst, und die Version, die Ihre Evals bestanden hat, bleibt die Version, die antwortet, bis Sie anders entscheiden. Bei einem gehosteten API gehört dieser Zeitplan jemand anderem.

“Dieselbe Zeile, mit der Sie dort weggehen, lässt Sie auch von uns weggehen. Genau das ist der Punkt.”