Піти з API є одним рядком коду.

Ця нарада відбувається всюди. Усі в кімнаті хочуть зійти з хостингованого API, оберіть причину: дані, які не мають виходити назовні, рівень лімітів, який не переживе дорожню карту, рахунок, що зростає разом з успіхом. А потім хтось каже речення, яке все закінчує: ми надто інтегровані, це було б переписування. Через пів року та сама нарада, те саме речення, і ще один спринт логіки повторів між ними.

Це речення заслуговує на аудит, бо інтеграція, яку воно описує, має глибину одного значення конфігурації.

Світ стандартизувався, поки ви не дивилися

У світі обслуговування за останні кілька років сталося щось корисне: формат OpenAI API став де-факто стандартом обміну для спілкування з мовними моделями, і open-source стеки обслуговування перейняли його навмисно. Ті самі маршрути, той самий формат запиту, той самий протокол стрімінгу для широко вживаного ядра поверхні: chat completions, стрімінг, embeddings. Коли ми передаємо приватний endpoint, він говорить цим діалектом нативно. Ваш SDK не знає, що переїхав. Якщо ваш застосунок спирався на пропрієтарні додатки одного вендора, це короткий аудит, а не переписування, і ми проходимо його з вами: більшість додатків мають прямі еквіваленти або тонкі прошарки.

- OPENAI_BASE_URL=https://api.vendor.example/v1
+ OPENAI_BASE_URL=https://inference.yourcompany.internal/v1
  OPENAI_API_KEY=****   # your key, issued by you, revoked by you

Промпти, обробники стрімінгу, логіка повторів, інструментарій: не зачеплені. Цей diff і є всією міграцією інфраструктури під сподом. Саме тому бюджет на переписування заслуговує на підозру: його рахували для світу, де кожен провайдер мав власний формат обміну, а того світу більше немає.

Що насправді змінюється: модель

Тепер чесна половина, бо твердження про один рядок правдиве лише щодо інфраструктури під сподом. Інша модель є іншим колегою. Поставте їй те саме запитання, і відповідь повернеться інакше сформульованою і структурованою; промпти, налаштовані під одну модель, можуть потребувати коригування; крайні випадки зсуваються. Це реальна робота. Вона також обмежена, перевірювана і дешева порівняно з тим, що ви заклали в бюджет: запустіть ваш наявний набір оцінок (або зберіть той малий, який вам і так варто мати) проти моделі-кандидата на ваших реальних задачах, порівняйте, вирішіть. Це відбувається до того, як ви зобов’яжетеся, на endpoint, який можна випробувати, а не після переписування, яке не можна скасувати.

Зверніть увагу на те, чого в цій таблиці не з’явилося: будь-якого твердження, що відкрита модель така ж добра. Ми такого твердження не робимо, бо воно погано старіє і бо вам усе одно не варто приймати його від вендора. Прогін оцінок замінює твердження. Ваші задачі, обидві моделі, поруч, і рішення ваше, з доказами перед очима. Цей прохід оцінок є частиною нашого розгортання, разом із підбором конфігурації і компромісом квантизації (показаним, а не прихованим), і саме тут керований провайдер заробляє свою плату.

Рядок ріже в обидва боки, навмисно

Усе вище описує і те, як піти від нас. Open weights є переносними файлами. Endpoint говорить стандартним діалектом. Ваші дані живуть на вашій машині і йдуть разом із вами. Якщо ми перестанемо заслуговувати на навантаження, міграція геть є тим самим одним рядком, і ми побудували це так свідомо, з тієї самої причини, з якої решта цієї компанії прибрала лічильники і відмовляється від податків на вихід (аргумент про плату за egress є тією самою позицією на рівень нижче). Захист від lock-in, яким ви не можете скористатися, є словом із брошури. Клієнти, які можуть піти і все одно залишаються, є єдиною рекомендацією, яку варто мати.

Ще одна свобода іде в комплекті: щойно модель ваша, ніхто не виведе її з експлуатації з-під ваших промптів, і версія, яка пройшла ваші оцінки, залишається версією, що відповідає, доки ви не вирішите інакше. На хостингованому API цей розклад належить комусь іншому.

“Той самий рядок, що дозволяє вам піти від них, дозволяє вам піти від нас. У цьому суть.”