O seu endpoint de IA não tem de estar na internet.
Todos os guias de implementação assumem que o endpoint é público e explicam como defendê-lo. Há uma postura mais forte: a ausência. Como a rede nos pertence de ponta a ponta, o seu endpoint de inferência pode ficar acessível apenas através do seu próprio trânsito privado, e a internet pública fica inteiramente fora do circuito.
Neste artigo 4 secções
- Todos os guias de implementação de IA assumem que o endpoint vive na internet e explicam como defendê-lo: autenticação, TLS, gateways, rate limiting, uma WAF.
- Há uma postura mais forte disponível: a ausência. Um endpoint de inferência single-tenant acessível apenas através do seu próprio trânsito privado não tem superfície pública para defender.
- Podemos oferecê-la porque a rede nos pertence de ponta a ponta: o nosso AS, o nosso encaminhamento, um mesh privado encriptado. Os seus prompts percorrem o seu caminho privado até à sua máquina e de volta. A internet pública nunca os transporta.
- Para cargas de trabalho reguladas, isto encurta tudo: o modelo de ameaças, o âmbito do pentest, o diagrama do auditor e a lista do que pode correr mal às 3 da manhã.
Todas as equipas que implementam um modelo privado desenham o mesmo diagrama. Aplicação, depois API gateway, depois o endpoint, depois o modelo, com um ícone de cadeado no lugar da revisão de segurança. Os guias concordam todos no que vem a seguir: autenticação, TLS, rate limiting, uma WAF, monitorização dos logs. Tudo sensato. Tudo a responder à segunda pergunta saltando a primeira.
A primeira pergunta: porque é que este endpoint está na internet, de todo? Os seus documentos são privados. A sua aplicação é privada. O modelo corre numa máquina que mais ninguém partilha. A única perna pública do diagrama existe porque o diagrama foi copiado de um mundo de APIs públicas, não porque a sua carga de trabalho precise dela.
h2 (#absence-beats-defense): A defesa é um orçamento. A ausência é uma propriedade.
Tudo o que está virado para a internet é um custo permanente. A superfície exposta precisa de patching ao ritmo de alguém, os logs precisam de vigilância, a WAF precisa de afinação, e os varrimentos nunca deixam de chegar, quer se esteja a olhar ou não. Todo esse trabalho é necessário, todo ele é para sempre, e todo ele é probabilístico: baixa as probabilidades, não consegue zerá-las. Remover a perna pública converte o orçamento numa propriedade: a ideia mais antiga da segurança de redes, o plano de gestão para o qual não se consegue encaminhar tráfego, aplicada à carga de trabalho mais recente do rack.
h2 (#the-two-architectures): As duas arquiteturas
h2 (#the-ownership-tie): Porque conseguimos construir a segunda cadeia
O caminho privado não é uma funcionalidade de produto que ligámos. É uma consequência do que esta empresa é. Operamos o nosso próprio AS e o nosso próprio encaminhamento, e um mesh encriptado sempre ativo liga os nossos datacenters, o mesmo fabric privado por onde viaja o seu tráfego de replicação. Para os clientes que o pretendem, o endpoint de inferência fica acessível através do seu próprio trânsito privado para dentro dessa rede, e a internet pública nunca está no caminho: nenhum listener público, nenhum registo DNS público para encontrar, nenhuma porta de entrada a que bater. Um marketplace de GPU que revende capacidade nas instalações de terceiros não pode oferecer isto, porque é uma propriedade da rede, e eles não são operadores de rede.
- Superfície de ataque pública
- nenhuma: não há listener virado para a internet
- Credential stuffing e ruído de varrimentos
- nenhuma porta pública a que bater
- Dados em trânsito
- caminho privado, encriptado, de ponta a ponta
- O diagrama de rede do auditor
- uma linha privada, dois endpoints que controla
- O que resta, honestamente
- a higiene da sua própria rede, o controlo de acessos do seu lado, e nós
h2 (#where-the-boundary-sits): Onde fica a fronteira
A acessibilidade privada é precisa quanto ao que remove, e a afirmação só se mantém forte se se mantiver precisa. O controlo de acessos da sua própria rede continua a contar: um portátil comprometido na sua VPN alcança tudo o que a sua VPN alcança, incluindo isto. O endpoint continua a autenticar, porque a ausência remove a parte da internet do modelo de ameaças, não o seu lado. E as cargas de trabalho que querem genuinamente uma API pública, um produto virado para clientes, por exemplo, mantêm legitimamente uma e defendem-na como deve ser. A afirmação é mais estreita e mais forte: para cargas de trabalho internas e reguladas, a perna pública é opcional, e a exposição opcional deve ser recusada. O âmbito do pentest de um serviço que não está na internet é um documento curto, e os auditores reparam.
Junte as duas metades do argumento da IA privada e a arquitetura completa-se sozinha. O pipeline que nunca sai da máquina (o assistente de conhecimento) responde ao que acontece aos seus dados em repouso e em uso. O caminho privado responde a como os dados lá chegam e voltam. Entre os dois, a pergunta com que todos os compradores regulados começam, quem pode ver isto, mantém a sua resposta de uma palavra em todas as camadas: ninguém.
“A postura de segurança mais forte para um endpoint não é uma firewall melhor. É não estar na internet, de todo.”
Respostas diretas
Como protejo um endpoint de LLM self-hosted?+
As respostas habituais (auth, TLS, gateway, WAF) defendem um endpoint público. A pergunta mais forte é se ele precisa de ser público, de todo: um endpoint acessível apenas por trânsito privado não tem superfície virada para a internet para defender, e os controlos habituais encolhem para o seu lado da linha.
O que significa «trânsito privado» aqui?+
O seu tráfego chega à máquina por um caminho privado e encriptado, a sua conectividade para dentro da nossa rede, não pela internet aberta. Mantemos isto ao nível do conceito de propósito: a conversa de desenho é feita por cliente, com a sua equipa de rede na sala.
É o mesmo que air-gapped?+
É o parente prático: não fisicamente offline, mas sem caminho a partir da internet pública. Os verdadeiros requisitos de air-gap são outra conversa que também podemos ter. A maioria das cargas de trabalho reguladas precisa de «não estar na internet», não de «não estar em rede nenhuma».
Um endpoint privado continua a precisar de autenticação?+
Sim. A ausência de uma perna pública remove a parte da internet do modelo de ameaças, não a da sua própria rede. Tudo o que a sua rede privada alcança, uma máquina comprometida dentro dela também alcança. A autenticação fica; o ruído dos varrimentos desaparece.
Porque é que uma GPU cloud não pode oferecer isto?+
Porque é uma propriedade da rede, não uma funcionalidade do servidor. Exige que o encaminhamento pertença de ponta a ponta: o AS, os caminhos, o fabric encriptado entre sites. Os marketplaces que revendem GPU nas instalações de terceiros não têm uma rede que possam tornar privada.
O seu modelo, acessível apenas por si.
Traga-nos o modelo e o seu modelo de ameaças. Desenhamos o caminho privado, e a internet pública fica fora do circuito.
Ver os GPU serversChegou ao fim.
Ponha a leitura em prática
O que executa?
Fale-nos da carga de trabalho, do tráfego e dos requisitos de recuperação. Comece pelo configurador de servidores ou discuta os detalhes com um engenheiro.
Escrito pelos engenheiros que constroem e operam a infraestrutura que descreve.Fale com um engenheiro