Ваш AI endpoint не мусить бути в інтернеті.
Кожен посібник із розгортання припускає, що endpoint публічний, і веде вас через його захист. Є сильніша позиція: відсутність. Оскільки ми володіємо мережею від краю до краю, ваш inference endpoint може бути доступний лише через ваш власний приватний транзит, а публічний інтернет повністю залишається поза ланцюжком.
У цій статті 4 розділів
- Кожен посібник із розгортання AI припускає, що endpoint живе в інтернеті, і веде вас через його захист: автентифікація, TLS, шлюзи, обмеження частоти, WAF.
- Доступна сильніша позиція: відсутність. Single-tenant inference endpoint, доступний лише через ваш власний приватний транзит, не має публічної поверхні, яку треба захищати.
- Ми можемо це запропонувати, бо володіємо мережею від краю до краю: наша AS, наша маршрутизація, шифрований приватний mesh. Ваші промпти йдуть вашим приватним шляхом до вашої машини і назад. Публічний інтернет ніколи їх не переносить.
- Для регульованих навантажень це скорочує все: модель загроз, обсяг пентесту, схему аудитора і список того, що може піти не так о третій ночі.
Кожна команда, яка розгортає приватну модель, малює ту саму схему. Застосунок, потім API-шлюз, потім endpoint, потім модель, з іконкою замочка замість перевірки безпеки. Усі посібники згодні щодо того, що далі: автентифікація, TLS, обмеження частоти, WAF, моніторинг логів. Усе це розумно. Усе це відповідає на друге запитання, пропускаючи перше.
Перше запитання: чому цей endpoint узагалі в інтернеті? Ваші документи приватні. Ваш застосунок приватний. Модель працює на машині, яку ніхто інший не ділить. Єдина публічна ланка на схемі існує тому, що схему скопійовано зі світу публічних API, а не тому, що вона потрібна вашому навантаженню.
Захист є бюджетом. Відсутність є властивістю.
Усе, що дивиться в інтернет, є постійною витратою. Відкриту поверхню треба латати за чиїмось розкладом, логи треба переглядати, WAF треба налаштовувати, а сканування не перестають надходити, дивитеся ви чи ні. Уся ця робота необхідна, уся вона назавжди, і вся вона ймовірнісна: вона знижує шанси, але не може звести їх до нуля. Видалення публічної ланки перетворює бюджет на властивість: найстаріша ідея мережевої безпеки, площина керування, до якої неможливо прокласти маршрут, застосована до найновішого навантаження у стійці.
Дві архітектури
Чому ми можемо побудувати другий ланцюжок
Приватний шлях не є функцією продукту, яку ми перемкнули. Він є наслідком того, чим є ця компанія. Ми керуємо власною AS і власною маршрутизацією, а постійно ввімкнений шифрований mesh з’єднує наші дата-центри, та сама приватна fabric, якою їде ваш трафік реплікації. Для клієнтів, які цього хочуть, inference endpoint доступний через їхній власний приватний транзит у цю мережу, і публічний інтернет ніколи не лежить на шляху: немає публічного слухача, немає публічного запису DNS, який можна знайти, немає вхідних дверей, у які можна постукати. GPU-маркетплейс, що перепродає потужність у чужих приміщеннях, не може цього запропонувати, бо це мережева властивість, а вони не є мережевими операторами.
- Публічна поверхня атаки
- жодної: немає слухача, що дивиться в інтернет
- Credential stuffing і шум сканувань
- немає публічних дверей, у які можна постукати
- Дані в русі
- приватний шлях, шифрований, від краю до краю
- Мережева схема аудитора
- одна приватна лінія, два кінці, які контролюєте ви
- Що залишається, чесно
- гігієна вашої власної мережі, контроль доступу з вашого боку, і ми
Де проходить межа
Приватна доступність точна щодо того, що вона прибирає, і твердження залишається сильним, лише якщо залишається точним. Контроль доступу вашої власної мережі досі важить: зламаний ноутбук у вашому VPN дістається до всього, до чого дістається ваш VPN, включно з цим. Endpoint досі автентифікує, бо відсутність прибирає частку інтернету в моделі загроз, а не ваш бік. А навантаження, які справді хочуть публічне API, наприклад продукт для клієнтів, законно його зберігають і захищають належним чином. Твердження вужче і сильніше: для внутрішніх і регульованих навантажень публічна ланка є необов’язковою, і від необов’язкового відкриття варто відмовлятися. Обсяг пентесту для сервісу, якого немає в інтернеті, є коротким документом, і аудитори це помічають.
Складіть дві половини аргументу про приватний AI, і архітектура завершує сама себе. Конвеєр, який ніколи не покидає машину (асистент знань), відповідає на те, що відбувається з вашими даними у спокої і в роботі. Приватний шлях відповідає на те, як дані туди потрапляють і повертаються. Між ними запитання, з якого починає кожен регульований покупець, хто може це бачити, зберігає свою однослівну відповідь на кожному рівні: ніхто.
“Найсильніша позиція безпеки для endpoint не є кращим firewall. Вона в тому, щоб узагалі не бути в інтернеті.”
Прямі відповіді
Як захистити self-hosted LLM endpoint?+
Стандартні відповіді (автентифікація, TLS, шлюз, WAF) захищають публічний endpoint. Сильніше запитання: чи взагалі він має бути публічним. Endpoint, доступний лише через приватний транзит, не має поверхні, що дивиться в інтернет, яку треба захищати, і стандартні заходи скорочуються до вашого боку лінії.
Що тут означає «приватний транзит»?+
Ваш трафік дістається до машини приватним, шифрованим шляхом, вашим підключенням до нашої мережі, а не через відкритий інтернет. Ми навмисно тримаємо це на рівні концепції: розмова про проєктування ведеться з кожним клієнтом окремо, з вашою мережевою командою в кімнаті.
Чи це те саме, що air-gapped?+
Це практичний родич: не фізично офлайн, але без шляху через публічний інтернет. Справжні вимоги air-gap є іншою розмовою, яку ми теж можемо провести. Більшості регульованих навантажень потрібне «не в інтернеті», а не «ні в якій мережі».
Чи потрібна приватному endpoint автентифікація?+
Так. Відсутність публічної ланки прибирає частку інтернету в моделі загроз, а не вашої власної мережі. До всього, до чого дістається ваша приватна мережа, дістається і зламана машина в ній. Автентифікація залишається; шум сканувань зникає.
Чому GPU-хмара не може цього запропонувати?+
Бо це мережева властивість, а не функція сервера. Вона вимагає володіння маршрутизацією від краю до краю: AS, шляхами, шифрованою fabric між майданчиками. Маркетплейси, що перепродають GPU у чужих приміщеннях, не мають мережі, яку можна зробити приватною.
Ваша модель, доступна лише вам.
Принесіть нам модель і вашу модель загроз. Ми спроєктуємо приватний шлях, а публічний інтернет залишиться поза ланцюжком.
Переглянути GPU ServersВи дійшли до кінця.
Застосуйте прочитане на практиці
Що ви запускаєте?
Розкажіть нам про навантаження, трафік і вимоги до відновлення. Почніть з конструктора сервера або обговоріть деталі з інженером.
Написано інженерами, які будують і експлуатують інфраструктуру, про яку йдеться.Поговоріть з інженером