Il vostro endpoint AI non deve stare su internet.
Ogni guida al deployment presume che l'endpoint sia pubblico e vi accompagna nel difenderlo. C'è una postura più forte: l'assenza. Poiché possediamo la rete da un capo all'altro, il vostro endpoint di inferenza può essere raggiungibile solo sul vostro transito privato, e l'internet pubblica resta del tutto fuori dal giro.
In questo articolo 4 sezioni
- Ogni guida al deployment AI presume che l'endpoint viva su internet e vi accompagna nel difenderlo: auth, TLS, gateway, rate limiting, un WAF.
- È disponibile una postura più forte: l'assenza. Un endpoint di inferenza single-tenant raggiungibile solo sul vostro transito privato non ha alcuna superficie pubblica da difendere.
- Possiamo offrirlo perché possediamo la rete da un capo all'altro: il nostro AS, il nostro routing, una mesh privata cifrata. I vostri prompt percorrono il vostro percorso privato fino alla vostra macchina e ritorno. L'internet pubblica non li trasporta mai.
- Per i carichi regolamentati questo accorcia tutto: il modello di minaccia, il perimetro del pentest, il diagramma dell'auditor, e la lista delle cose che possono andare storte alle 3 del mattino.
Ogni team che distribuisce un modello privato disegna lo stesso diagramma. App, poi API gateway, poi l'endpoint, poi il modello, con un'icona di lucchetto al posto della revisione di sicurezza. Le guide sono tutte d'accordo su cosa viene dopo: autenticazione, TLS, rate limiting, un WAF, monitoraggio dei log. Tutto sensato. Tutto a rispondere alla seconda domanda saltando la prima.
La prima domanda: perché questo endpoint sta su internet, in primo luogo? I vostri documenti sono privati. La vostra applicazione è privata. Il modello gira su una macchina che nessun altro condivide. L'unica tratta pubblica nel diagramma esiste perché il diagramma è stato copiato da un mondo di API pubbliche, non perché il vostro carico ne abbia bisogno.
La difesa è un budget. L'assenza è una proprietà.
Tutto ciò che è esposto a internet è un costo permanente. La superficie esposta va patchata secondo il calendario di qualcuno, i log vanno sorvegliati, il WAF va messo a punto, e le scansioni non smettono mai di arrivare che guardiate o no. Tutto quel lavoro è necessario, tutto è per sempre, e tutto è probabilistico: abbassa le probabilità, non può azzerarle. Rimuovere la tratta pubblica converte il budget in una proprietà: l'idea più antica della sicurezza di rete, il piano di gestione verso cui non si può fare routing, applicata al carico più nuovo nel rack.
Le due architetture
Perché possiamo costruire la seconda catena
Il percorso privato non è una funzionalità di prodotto che abbiamo attivato. È una conseguenza di ciò che questa azienda è. Gestiamo il nostro AS e il nostro routing, e una mesh cifrata sempre attiva collega i nostri datacenter, lo stesso fabric privato su cui viaggia il vostro traffico di replica. Per i clienti che lo vogliono, l'endpoint di inferenza è raggiungibile sul loro transito privato dentro quella rete, e l'internet pubblica non è mai sul percorso: nessun listener pubblico, nessuna voce DNS pubblica da trovare, nessuna porta d'ingresso a cui bussare. Un marketplace GPU che rivende capacità nelle strutture di altri non può offrirlo, perché è una proprietà di rete, e loro non sono operatori di rete.
- Superficie d'attacco pubblica
- nessuna: non c'è un listener esposto a internet
- Credential stuffing e rumore di scansione
- nessuna porta pubblica a cui bussare
- Dati in transito
- percorso privato, cifrato, da un capo all'altro
- Il diagramma di rete dell'auditor
- una linea privata, due endpoint che controllate
- Cosa resta, onestamente
- l'igiene della vostra rete, il controllo degli accessi dalla vostra parte, e noi
Dove sta il confine
La raggiungibilità privata è precisa su ciò che rimuove, e l'affermazione resta forte solo se resta precisa. Il controllo degli accessi della vostra rete conta ancora: un laptop compromesso sulla vostra VPN raggiunge tutto ciò che la vostra VPN raggiunge, questo compreso. L'endpoint autentica ancora, perché l'assenza rimuove la quota di internet dal modello di minaccia, non la vostra parte. E i carichi che vogliono davvero un'API pubblica, un prodotto rivolto ai clienti per esempio, legittimamente ne tengono una e la difendono come si deve. L'affermazione è più ristretta e più forte: per i carichi interni e regolamentati, la tratta pubblica è facoltativa, e l'esposizione facoltativa va rifiutata. Il perimetro del pentest per un servizio che non sta su internet è un documento breve, e gli auditor se ne accorgono.
Mettete insieme le due metà dell'argomento sull'AI privata e l'architettura si completa da sola. La pipeline che non esce mai dalla macchina (l'assistente di conoscenza) risponde a cosa succede ai vostri dati a riposo e in uso. Il percorso privato risponde a come i dati arrivano lì e tornano. Tra le due, la domanda da cui parte ogni acquirente regolamentato, chi può vedere questo, mantiene la sua risposta di una parola a ogni livello: nessuno.
“La postura di sicurezza più forte per un endpoint non è un firewall migliore. È non stare affatto su internet.”
Risposte dirette
Come metto in sicurezza un endpoint LLM self-hosted?+
Le risposte standard (auth, TLS, gateway, WAF) difendono un endpoint pubblico. La domanda più forte è se debba essere pubblico in assoluto: un endpoint raggiungibile solo su transito privato non ha alcuna superficie esposta a internet da difendere, e i controlli standard si riducono alla vostra parte della linea.
Cosa significa qui «transito privato»?+
Il vostro traffico raggiunge la macchina su un percorso privato e cifrato, la vostra connettività dentro la nostra rete, non attraverso l'internet aperta. Lo teniamo a livello di concetto di proposito: la conversazione di progetto è per cliente, con il vostro team di rete nella stanza.
È la stessa cosa di air-gapped?+
È il parente pratico: non fisicamente offline, ma senza alcun percorso verso l'internet pubblica. I veri requisiti di air-gap sono una conversazione diversa che possiamo comunque fare. La maggior parte dei carichi regolamentati ha bisogno di «non su internet», non di «su nessuna rete».
Un endpoint privato ha ancora bisogno di autenticazione?+
Sì. L'assenza di una tratta pubblica rimuove la quota di internet dal modello di minaccia, non quella della vostra rete. Tutto ciò che la vostra rete privata raggiunge, lo raggiunge anche una macchina compromessa su di essa. L'auth resta; il rumore di scansione se ne va.
Perché un cloud GPU non può offrirlo?+
Perché è una proprietà di rete, non una funzionalità del server. Richiede di possedere il routing da un capo all'altro: l'AS, i percorsi, il fabric cifrato tra i siti. I marketplace che rivendono GPU nelle strutture di altri non possiedono una rete da rendere privata.
Il vostro modello, raggiungibile solo da voi.
Portateci il modello e il vostro modello di minaccia. Progetteremo il percorso privato, e l'internet pubblica resta fuori dal giro.
Scopri i GPU ServersSiete arrivati alla fine.
Mettete la lettura al lavoro
Cosa fate girare?
Raccontateci il carico di lavoro, il traffico e i requisiti di ripristino. Partite dal configuratore di server, oppure discutete i dettagli con un ingegnere.
Scritto dagli ingegneri che costruiscono e gestiscono l'infrastruttura che descrive.Parla con un ingegnere
