Асистент знань, який ніколи не покидає вашу будівлю.

Усі бували на цій нараді. Хтось демонструє AI, який відповідає на запитання про політики компанії звичайною мовою, з посиланнями на джерела, і зала подається вперед. Потім хтось ставить друге запитання: то куди саме ми завантажуємо наші контракти? І зала відкидається назад.

Обидві реакції правильні. Бажання реальне: знання компанії живуть у контрактах, тікетах, вікі, справах і коді, і майже ніщо з цього не дає відповіді без того, щоб людина пішла копати. Зупинка теж реальна: ці самі знання є найчутливішим, що має компанія, а «надішліть це в API» не є реченням, яке підпише юридичний відділ. Чого майже ніхто в залі не знає, так це того, що ці дві речі більше не суперечать одна одній. Увесь конвеєр, який робить документи здатними відповідати, може працювати на одній машині, в одній стійці, під однією юрисдикцією, і ніщо його не покидає.

Чим насправді є асистент знань

Приберіть поклоніння абревіатурам, і механізм простий. Ваші документи розбиваються на фрагменти і кодуються в embeddings, числові відбитки змісту. Ці відбитки живуть у векторній базі даних. Коли хтось ставить запитання, запитання кодується так само, база знаходить фрагменти, чий зміст найближчий, і модель відповідає з цих фрагментів, посилаючись на те, що використала. Індустрія називає це retrieval-augmented generation. Важливим є те, що з цього випливає: модель не запам’ятовує ваш архів. Конвеєр звертається до нього наживо, на кожне запитання.

А це означає, що чутливою поверхнею є конвеєр. Не лише модель: документи на вході, зроблені з них embeddings, кожне запитання, яке хтось ставить, кожна відповідь, яка повертається, і логи всього цього. Вирішіть, де живе конвеєр, і ви вирішили, де живуть знання вашої компанії.

Конвеєр і є проблемою приватності

Пройдіться стандартним хмарним рецептом цієї функції і порахуйте треті сторони. Документи кодуються через хостинговане API embeddings. Вектори йдуть у керований сервіс векторної бази даних. Запитання маршрутизуються через ще одне API до хостингованої моделі. Логи накопичуються на кожній зупинці, за власною політикою зберігання кожного провайдера. Чотири зовнішні сторони, і за кожну ви тепер винні відповідь аудитору.

Організації, які ніколи не завантажили б контракт, охоче проганяють той самий контракт через API embeddings, бо «це просто вектори». Embeddings не є анонімними числами. Вони є кодуванням змісту тексту з втратами, побудованим саме для того, щоб за змістом можна було шукати. Векторна база, наповнена з вашого архіву, є вашим архівом у перетвореному вигляді. Ставтеся до її юрисдикції, її оренди і її контролю доступу рівно так, як ставитеся до самих документів, бо функціонально вона і є ними.

Щойно ви бачите конвеєр цілком, single-tenant відповідь перестає бути вподобанням і стає проєктним рішенням. Одна машина тримає документи, embeddings, модель, запитання, відповіді і логи. Список третіх сторін, які бачать токен, має один запис: ніхто. Коли аудитор запитує, хто ще може це бачити, це і є вся відповідь, і це кращий вечір, ніж діаграма потоків даних із п’ятьма логотипами.

Що означає керований рівень

Ми чесно розраховуємо GPU під модель і корпус (логіка підбору пари на сторінці GPU Servers є публічною версією цієї розмови), розгортаємо і налаштовуємо стек обслуговування за OpenAI-сумісним endpoint, піднімаємо поруч модель embeddings і векторну базу даних і тримаємо все це в роботі. Інтеграційна робота вашої команди складається з двох пунктів: спрямувати завантаження на ваші документи і викликати endpoint. Боротьба з сумісністю, закріплення версій драйверів, компроміси квантизації відбуваються в наш час, і в цьому вся суть домовленості. Наш керований GPU-сервіс описує інженерний обсяг.

Для кого це насправді

Галузі сортуються за тим, чого бояться. Юридичні команди, бо привілей є питанням існування, а контракт не може торкнутися стороннього API. Охорона здоров’я, бо інцидент, що підлягає звітуванню, є кошмаром, а контекст пацієнта проходить через промпти. Фінтех і страхування, бо запитання регулятора мусить мати відповідь із чиїмось іменем. Державний сектор, бо суверенітет дедалі частіше є вимогою закупівлі, а не вподобанням. І продуктові команди, що будують на open weights, бо база знань, яка навчає чужу модель, є ровом із діркою. Різні страхи, одна архітектура.

І чесна межа, бо така домашня звичка: якщо ваш корпус малий, низькооб’ємний і справді не чутливий, хостинговане API часто є розумною відповіддю, і ми скажемо це, коли запитаєте. Цей допис для архіву, який не може піти до третьої сторони. Для такого архіву питання ніколи не було в тому, чи вартий асистент зусиль. Воно було в тому, чи документи в безпеці, і відповідь полягає в тому, щоб перестати будь-куди їх надсилати.

“Embeddings не є анонімними числами. Вони є вашими документами у закодованому вигляді.”