Ir al contenido
EuroVPSEuroVPS

Un asistente de conocimiento que nunca sale de su edificio.

Todos quieren lo mismo: nuestros documentos, con respuestas. El freno también es siempre el mismo: no en servidores de otros. El pipeline completo, modelo, embeddings y base de datos vectorial, corre en una sola máquina de un solo inquilino en un rack de la UE.

Por EuroVPS EngineeringLa sala de máquinas

8 min de lectura
En este artículo 4 secciones
En resumen
  • La función de IA empresarial más deseada es un asistente de conocimiento: pregunte en lenguaje natural y obtenga respuestas fundamentadas en sus propios documentos. El bloqueo es siempre el mismo: esos documentos no pueden ir a una API de terceros.
  • No hace falta. El pipeline completo, modelo, embeddings, base de datos vectorial y logs, corre en un solo servidor GPU de un solo inquilino en un rack de la UE. Ningún token sale.
  • La parte que se pasa por alto: los embeddings son sus documentos, codificados. Un sistema de recuperación copia toda su base de conocimiento en una base de datos vectorial. Dónde vive esa base de datos importa tanto como dónde corre el modelo.

Todo el mundo ha estado en esa reunión. Alguien hace una demostración de una IA que responde preguntas sobre las políticas de la propia empresa, en lenguaje natural, con citas, y la sala se inclina hacia delante. Entonces alguien hace la segunda pregunta: ¿y dónde subimos exactamente nuestros contratos? Y la sala se vuelve a reclinar.

Las dos reacciones son correctas. El deseo es real: el conocimiento de una empresa vive en contratos, tickets, wikis, expedientes y código, y casi nada de ello tiene respuesta sin que un humano se ponga a excavar. El freno también es real: ese mismo conocimiento es lo más sensible que posee la empresa, y «envíelo a una API» no es una frase que el departamento jurídico vaya a firmar. Lo que casi nadie en la sala sabe es que las dos cosas ya no están en conflicto. El pipeline completo que hace que los documentos tengan respuesta puede correr en una máquina, en un rack, bajo una jurisdicción, sin que nada salga de él.

Qué es realmente un asistente de conocimiento

Quite la devoción por las siglas y el mecanismo es sencillo. Sus documentos se dividen en pasajes y se codifican en embeddings, huellas numéricas de su significado. Esas huellas viven en una base de datos vectorial. Cuando alguien hace una pregunta, la pregunta se codifica de la misma manera, la base de datos encuentra los pasajes cuyo significado está más cerca y el modelo responde a partir de esos pasajes, citando lo que ha usado. La industria lo llama generación aumentada por recuperación (RAG). La parte importante es lo que implica: el modelo no memoriza su archivo. El pipeline lo consulta, en vivo, en cada pregunta.

Lo que significa que el pipeline es la superficie sensible. No solo el modelo: los documentos que entran, los embeddings que se hacen con ellos, cada pregunta que alguien formula, cada respuesta que vuelve y los logs de todo ello. Decida dónde vive el pipeline y habrá decidido dónde vive el conocimiento de su empresa.

El pipeline es el problema de privacidad

Recorra la receta estándar del cloud para esta función y cuente los terceros. Los documentos se convierten en embeddings a través de una API de embeddings alojada. Los vectores van a un servicio gestionado de base de datos vectorial. Las preguntas se enrutan a través de otra API hacia un modelo alojado. Los logs se acumulan en cada parada, bajo la política de retención de cada proveedor. Cuatro terceros externos, cada uno una respuesta que ahora debe al auditor.

POR DÓNDE VIAJA SU ARCHIVO
LA RECETA DEL CLOUD
sus documentos
API de embeddings alojada
cloud vectorial gestionado
API de modelo alojado
logs, en algún sitio
EN SU SITIO
sus documentos
embeddings en su máquina
BD vectorial en su máquina
respuestas en su máquina
logs en su máquina
La primera cadena tiene cuatro terceros. La segunda, ninguno. La misma función.

Organizaciones que jamás subirían un contrato empujan con gusto el mismo contrato a través de una API de embeddings, porque «son solo vectores». Los embeddings no son números anónimos. Son una codificación con pérdidas del significado del texto, construida específicamente para que ese significado se pueda buscar. Una base de datos vectorial poblada a partir de su archivo es su archivo, transformado. Trate su jurisdicción, su tenencia y sus controles de acceso exactamente igual que trata los propios documentos, porque funcionalmente lo son.

Una vez que ve el pipeline entero, la respuesta de un solo inquilino deja de ser una preferencia y se convierte en el diseño. Una máquina contiene los documentos, los embeddings, el modelo, las preguntas, las respuestas y los logs. La lista de terceros que ven un token tiene una sola entrada: nadie. Cuando el auditor pregunta quién más puede ver esto, esa es la respuesta completa, y es una tarde mejor que un diagrama de flujo de datos con cinco logotipos.

EL PIPELINE COMPLETO, UNA MÁQUINA
Los documentos
en su disco
Los embeddings y la BD vectorial
en su disco
El modelo y sus respuestas
en su GPU
Prompts, salidas, logs
en su disco, bajo su control, para el registro que su regulador o el Reglamento europeo de IA (EU AI Act) exijan a su caso de uso
Terceros que ven un token
ninguno

Qué significa la capa gestionada

Dimensionamos la GPU al modelo y al corpus con honestidad (la lógica de emparejamiento de la página de servidores GPU es la versión pública de esa conversación), desplegamos y ajustamos la pila de servicio detrás de un endpoint compatible con OpenAI, levantamos el modelo de embeddings y la base de datos vectorial a su lado y mantenemos todo el conjunto en marcha. El trabajo de integración de su equipo tiene dos puntos: apuntar la ingesta a sus documentos y llamar al endpoint. Las peleas de compatibilidad, el anclaje de versiones de drivers y los compromisos de la cuantización ocurren en nuestro tiempo, que es el sentido de todo el acuerdo. Nuestro servicio GPU gestionado fija el alcance de la ingeniería.

Para quién es esto realmente

Los sectores se ordenan solos según aquello a lo que temen. Los equipos jurídicos, porque el secreto profesional es existencial y un contrato no puede tocar una API de terceros. La sanidad, porque un incidente notificable es la pesadilla y el contexto de los pacientes fluye por los prompts. Fintech y seguros, porque la pregunta del regulador tiene que tener una respuesta con un nombre. El sector público, porque la soberanía es cada vez más un requisito de contratación y no una preferencia. Y los equipos de producto que construyen sobre pesos abiertos, porque una base de conocimiento que entrena el modelo de otro es un foso con un agujero. Miedos distintos, una sola arquitectura.

Y el límite honesto, porque es costumbre de la casa: si su corpus es pequeño, de bajo volumen y de verdad no es sensible, una API alojada suele ser la respuesta razonable y se lo diremos cuando pregunte. Este artículo es para el archivo que no puede ir a un tercero. Para ese archivo, la pregunta nunca fue si el asistente merece la pena. Fue si los documentos estaban a salvo, y la respuesta es dejar de enviarlos a ninguna parte.

“Los embeddings no son números anónimos. Son sus documentos, codificados.”

Respuestas directas

¿Puedo ejecutar un asistente tipo ChatGPT sobre mis propios documentos de forma privada?+

Sí. Un pipeline de recuperación (embeddings más una base de datos vectorial) con un modelo de pesos abiertos en un servidor GPU de un solo inquilino da respuestas fundamentadas y con citas sobre su propio archivo, sin que nada salga de la máquina. Es el uso en producción más común de la IA privada.

¿Son los embeddings un riesgo para la privacidad?+

Trátelos como los documentos que codifican. Una base de datos vectorial construida a partir de su archivo es una copia transformada de ese archivo, diseñada para buscarse por significado. Su ubicación, su tenencia y sus controles de acceso importan exactamente tanto como los de los originales.

¿Necesito un modelo enorme para preguntas y respuestas sobre documentos?+

Normalmente no. La recuperación hace el trabajo pesado, así que los modelos abiertos de tamaño medio responden bien a preguntas fundamentadas. La conversación honesta sobre dimensionamiento, modelo, cuantización, VRAM, longitud de contexto, es exactamente lo que recorremos antes de recomendar hardware, y a veces la recomendación es más pequeña de lo que esperaba.

¿Es el RAG privado compatible con el RGPD?+

Elimina el problema más difícil: ningún encargado del tratamiento tercero ve prompts, documentos ni salidas, y los logs se quedan en hardware bajo su control, en jurisdicción de la UE, para el registro que su regulador o el Reglamento europeo de IA (EU AI Act) exijan a su caso de uso. Sus propias políticas de retención y acceso siguen aplicándose. La soberanía es lo que las hace exigibles.

¿Qué tiene que construir realmente mi equipo?+

En los niveles gestionados: apuntar la ingesta a sus documentos y llamar a un endpoint. La pila de servicio, el modelo de embeddings, la base de datos vectorial, la monitorización y las actualizaciones son nuestro lado de la línea.

Tráiganos el archivo al que quiere dar respuestas.

Contratos, tickets, wikis, expedientes. Dimensionamos la máquina, levantamos el pipeline y nada sale del edificio.

Vea los servidores GPU

Ha llegado al final.

Ponga la lectura a trabajar

¿Qué está ejecutando?

Cuéntenos la carga de trabajo, el tráfico y los requisitos de recuperación. Empiece por el configurador de servidores o repase los detalles con un ingeniero.

Escrito por los ingenieros que construyen y operan la infraestructura que describe.
Hable con un ingeniero
XIn

8 min restantes