Ein Wissensassistent, der Ihr Gebäude nie verlässt.

Jeder hat in dieser Besprechung gesessen. Jemand führt eine KI vor, die Fragen zu den Richtlinien eines Unternehmens beantwortet, in normaler Sprache, mit Quellenangaben, und der Raum beugt sich vor. Dann stellt jemand die zweite Frage: Wir laden unsere Verträge also wohin genau hoch? Und der Raum lehnt sich wieder zurück.

Beide Reaktionen sind richtig. Der Wunsch ist real: Das Wissen eines Unternehmens steckt in Verträgen, Tickets, Wikis, Fallakten und Code, und fast nichts davon lässt sich beantworten, ohne dass ein Mensch gräbt. Der Stillstand ist ebenfalls real: Dasselbe Wissen ist das Sensibelste, was das Unternehmen besitzt, und «schicken Sie es an eine API» ist kein Satz, den die Rechtsabteilung unterschreibt. Der Teil, den fast niemand im Raum kennt, ist, dass die beiden nicht mehr im Widerspruch stehen. Die gesamte Pipeline, die Dokumente abfragbar macht, kann auf einer Maschine laufen, in einem Rack, unter einer Rechtsordnung, ohne dass etwas sie verlässt.

Was ein Wissensassistent eigentlich ist

Nehmen Sie den Akronymkult weg, und der Mechanismus ist einfach. Ihre Dokumente werden in Passagen zerlegt und in Embeddings kodiert, numerische Fingerabdrücke von Bedeutung. Diese Fingerabdrücke liegen in einer Vektordatenbank. Wenn jemand eine Frage stellt, wird die Frage auf dieselbe Weise kodiert, die Datenbank findet die Passagen, deren Bedeutung am nächsten liegt, und das Modell antwortet aus diesen Passagen und zitiert, was es verwendet hat. Die Branche nennt das retrieval-augmented generation. Der wichtige Teil ist, was daraus folgt: Das Modell merkt sich Ihr Archiv nicht. Die Pipeline schlägt darin nach, live, bei jeder Frage.

Das heißt, die Pipeline ist die sensible Oberfläche. Nicht nur das Modell: die Dokumente, die hineingehen, die Embeddings, die daraus entstehen, jede Frage, die irgendjemand stellt, jede Antwort, die zurückkommt, und die Logs von alldem. Entscheiden Sie, wo die Pipeline liegt, und Sie haben entschieden, wo das Wissen Ihres Unternehmens liegt.

Die Pipeline ist das Datenschutzproblem

Gehen Sie das Standardrezept der Cloud für diese Funktion durch und zählen Sie die Dritten. Dokumente werden über eine gehostete Embeddings-API kodiert. Die Vektoren gehen in einen verwalteten Vektordatenbank-Dienst. Fragen laufen über eine weitere API zu einem gehosteten Modell. Logs sammeln sich an jeder Station an, unter der eigenen Aufbewahrungsrichtlinie jedes Anbieters. Vier externe Parteien, jede eine Antwort, die Sie dem Prüfer jetzt schulden.

Organisationen, die niemals einen Vertrag hochladen würden, schieben denselben Vertrag bereitwillig durch eine Embeddings-API, weil «es ja nur Vektoren sind». Embeddings sind keine anonymen Zahlen. Sie sind eine verlustbehaftete Kodierung der Bedeutung des Textes, eigens dafür gebaut, dass sich diese Bedeutung durchsuchen lässt. Eine Vektordatenbank, die aus Ihrem Archiv befüllt wurde, ist Ihr Archiv, transformiert. Behandeln Sie ihre Rechtsordnung, ihre Nutzung und ihre Zugriffskontrollen genau so, wie Sie die Dokumente selbst behandeln, denn funktional ist sie diese Dokumente.

Sobald Sie die Pipeline als Ganzes sehen, hört die Single-Tenant-Antwort auf, eine Vorliebe zu sein, und wird zum Design. Eine Maschine hält die Dokumente, die Embeddings, das Modell, die Fragen, die Antworten und die Logs. Die Liste der Dritten, die ein Token sehen, hat einen Eintrag: niemand. Wenn der Prüfer fragt, wer das sonst noch sehen kann, ist das die gesamte Antwort, und es ist ein besserer Nachmittag als ein Datenflussdiagramm mit fünf Logos darauf.

Was die Managed-Ebene bedeutet

Wir dimensionieren die GPU ehrlich nach dem Modell und dem Korpus (die Zuordnungslogik auf der Seite GPU servers ist die öffentliche Fassung dieses Gesprächs), rollen den Serving-Stack hinter einem OpenAI-kompatiblen Endpoint aus und stimmen ihn ab, stellen das Embedding-Modell und die Vektordatenbank daneben auf und halten das Ganze am Laufen. Die Integrationsarbeit Ihres Teams besteht aus zwei Punkten: die Ingestion auf Ihre Dokumente richten und das Endpoint aufrufen. Die Kompatibilitätskämpfe, das Festnageln der Treiber, die Abwägungen bei der Quantisierung finden auf unserer Zeit statt, und das ist der ganze Sinn der Vereinbarung. Unser Managed-GPU-Service legt den technischen Umfang fest.

Für wen das wirklich ist

Die Branchen sortieren sich selbst danach, wovor sie Angst haben. Rechtsteams, weil das Mandatsgeheimnis existenziell ist und ein Vertrag keine API Dritter berühren darf. Gesundheitswesen, weil ein meldepflichtiger Vorfall der Albtraum ist und Patientenkontext durch Prompts fließt. Fintech und Versicherungen, weil die Frage der Aufsicht eine Antwort mit einem Namen darauf haben muss. Öffentlicher Sektor, weil Souveränität zunehmend eine Vergabeanforderung ist und keine Vorliebe. Und Produktteams, die auf offenen Gewichten aufbauen, weil eine Wissensbasis, die das Modell von jemand anderem trainiert, ein Burggraben mit einem Loch darin ist. Verschiedene Ängste, eine Architektur.

Und die ehrliche Grenze, weil sie Gewohnheit des Hauses ist: Wenn Ihr Korpus klein ist, wenig Volumen hat und wirklich nicht sensibel ist, ist eine gehostete API oft die vernünftige Antwort, und wir sagen es Ihnen, wenn Sie fragen. Dieser Beitrag ist für das Archiv, das nicht an einen Dritten gehen darf. Für dieses Archiv war die Frage nie, ob sich der Assistent lohnt. Sie war, ob die Dokumente sicher sind, und die Antwort ist, sie nirgendwohin mehr zu schicken.

“Embeddings sind keine anonymen Zahlen. Sie sind Ihre Dokumente, kodiert.”