Su endpoint de IA no tiene por qué estar en internet.
Toda guía de despliegue asume que el endpoint es público y le explica cómo defenderlo. Hay una postura más fuerte: la ausencia. Como la red es nuestra de extremo a extremo, su endpoint de inferencia puede ser accesible solo a través de su propio transit privado, y la internet pública queda por completo fuera del camino.
En este artículo 4 secciones
- Toda guía de despliegue de IA asume que el endpoint vive en internet y le explica cómo defenderlo: auth, TLS, gateways, rate limiting, un WAF.
- Hay una postura más fuerte disponible: la ausencia. Un endpoint de inferencia single-tenant accesible solo a través de su propio transit privado no tiene superficie pública que defender.
- Podemos ofrecerla porque la red es nuestra de extremo a extremo: nuestro AS, nuestro routing, una malla privada cifrada. Sus prompts recorren su camino privado hasta su máquina y vuelven. La internet pública nunca los transporta.
- Para cargas de trabajo reguladas esto acorta todo: el modelo de amenazas, el alcance del pentest, el diagrama del auditor y la lista de cosas que pueden fallar a las 3 de la madrugada.
Todo equipo que despliega un modelo privado dibuja el mismo diagrama. Aplicación, luego API gateway, luego el endpoint, luego el modelo, con un icono de candado en lugar de la revisión de seguridad. Las guías coinciden en lo que viene después: autenticación, TLS, rate limiting, un WAF, vigilancia de logs. Todo sensato. Todo responde a la segunda pregunta saltándose la primera.
La primera pregunta: ¿por qué está este endpoint en internet, para empezar? Sus documentos son privados. Su aplicación es privada. El modelo se ejecuta en una máquina que nadie más comparte. El único tramo público del diagrama existe porque el diagrama se copió de un mundo de API públicas, no porque su carga de trabajo lo necesite.
h2 (#absence-beats-defense): La defensa es un presupuesto. La ausencia es una propiedad.
Todo lo que mira a internet es un coste permanente. La superficie expuesta necesita parches según el calendario de alguien, los logs necesitan vigilancia, el WAF necesita ajuste, y los escaneos no dejan de llegar, mire usted o no. Todo ese trabajo es necesario, todo es para siempre, y todo es probabilístico: reduce las probabilidades, no puede llevarlas a cero. Quitar el tramo público convierte el presupuesto en una propiedad: la idea más antigua de la seguridad de redes, el plano de gestión al que no se puede enrutar, aplicada a la carga de trabajo más nueva del rack.
h2 (#the-two-architectures): Las dos arquitecturas
h2 (#the-ownership-tie): Por qué podemos construir la segunda cadena
El camino privado no es una función de producto que activamos. Es una consecuencia de lo que es esta empresa. Operamos nuestro propio AS y nuestro propio routing, y una malla cifrada siempre activa conecta nuestros datacenters, el mismo fabric privado por el que viaja su tráfico de replicación. Para los clientes que lo quieren, el endpoint de inferencia es accesible a través de su propio transit privado dentro de esa red, y la internet pública nunca está en el camino: ningún listener público, ninguna entrada DNS pública que encontrar, ninguna puerta a la que llamar. Un marketplace de GPU que revende capacidad en instalaciones ajenas no puede ofrecer esto, porque es una propiedad de red, y ellos no son operadores de red.
- Superficie de ataque pública
- ninguna: no hay listener que mire a internet
- Credential stuffing y ruido de escaneos
- ninguna puerta pública a la que llamar
- Datos en tránsito
- camino privado, cifrado, de extremo a extremo
- El diagrama de red del auditor
- una línea privada, dos endpoints que usted controla
- Lo que queda, honestamente
- la higiene de su propia red, el control de acceso de su lado, y nosotros
h2 (#where-the-boundary-sits): Dónde está el límite
La accesibilidad privada es precisa en lo que elimina, y la afirmación solo sigue siendo fuerte si sigue siendo precisa. El control de acceso de su propia red sigue importando: un portátil comprometido en su VPN alcanza todo lo que alcanza su VPN, incluido esto. El endpoint sigue autenticando, porque la ausencia elimina la parte de internet del modelo de amenazas, no la de su lado. Y las cargas de trabajo que realmente quieren una API pública, un producto de cara al cliente, por ejemplo, la mantienen legítimamente y la defienden como corresponde. La afirmación es más estrecha y más fuerte: para cargas de trabajo internas y reguladas, el tramo público es opcional, y la exposición opcional debe rechazarse. El alcance del pentest de un servicio que no está en internet es un documento corto, y los auditores lo notan.
Junte las dos mitades del argumento de la IA privada y la arquitectura se completa sola. El flujo que nunca sale de la máquina (el asistente de conocimiento) responde qué pasa con sus datos en reposo y en uso. El camino privado responde cómo llegan los datos allí y vuelven. Entre ambos, la pregunta con la que empieza todo comprador regulado, quién puede ver esto, conserva su respuesta de una palabra en cada capa: nadie.
“La postura de seguridad más fuerte para un endpoint no es un firewall mejor. Es no estar en internet, para empezar.”
Respuestas directas
¿Cómo aseguro un endpoint LLM self-hosted?+
Las respuestas estándar (auth, TLS, gateway, WAF) defienden un endpoint público. La pregunta más fuerte es si necesita ser público en absoluto: un endpoint accesible solo a través de transit privado no tiene superficie hacia internet que defender, y los controles estándar se reducen a su lado de la línea.
¿Qué significa aquí «transit privado»?+
Su tráfico llega a la máquina por un camino privado y cifrado, su conectividad dentro de nuestra red, no a través de la internet abierta. Lo mantenemos a nivel de concepto a propósito: la conversación de diseño es por cliente, con su equipo de red en la sala.
¿Es lo mismo que air-gapped?+
Es su pariente práctico: no físicamente desconectado, pero sin camino desde la internet pública. Los requisitos reales de air-gap son otra conversación que también podemos tener. La mayoría de las cargas de trabajo reguladas necesitan «no en internet», no «en ninguna red».
¿Un endpoint privado sigue necesitando autenticación?+
Sí. La ausencia de un tramo público elimina la parte de internet del modelo de amenazas, no la de su propia red. Todo lo que alcanza su red privada, lo alcanza también una máquina comprometida dentro de ella. La autenticación se queda. El ruido de los escaneos se va.
¿Por qué no puede ofrecer esto un cloud de GPU?+
Porque es una propiedad de red, no una función del servidor. Requiere ser dueño del routing de extremo a extremo: el AS, los caminos, el fabric cifrado entre sedes. Los marketplaces que revenden GPU en instalaciones ajenas no tienen una red que hacer privada.
Su modelo, accesible solo por usted.
Tráiganos el modelo y su modelo de amenazas. Diseñaremos el camino privado, y la internet pública queda fuera.
Vea los GPU serversHa llegado al final.
Ponga la lectura a trabajar
¿Qué está ejecutando?
Cuéntenos la carga de trabajo, el tráfico y los requisitos de recuperación. Empiece por el configurador de servidores o repase los detalles con un ingeniero.
Escrito por los ingenieros que construyen y operan la infraestructura que describe.Hable con un ingeniero
