El impuesto DevOps: el coste real de alojar IA usted mismo no es la GPU.

Burn-in.

Demuestre que la tarjeta y el host están sanos antes de que nada dependa de ellos: carga sostenida, temperaturas, memoria, alimentación. Una tarjeta que hace throttling con su primer lote real es un problema que quiere encontrar el primer día, no el día del lanzamiento.

Alineación de driver y toolkit.

Kernel, driver, toolkit de CUDA, runtime de contenedores y framework de serving tienen que estar todos de acuerdo entre sí. Lo están el día en que los fija. Cada actualización de cualquiera de ellos reabre la cuestión.

Empaquetado del modelo.

Pesos, tokenizer, cuantización y el presupuesto de VRAM que se deriva de ellos. La elección de la cuantización decide si el modelo cabe, a qué velocidad responde y cuánta calidad sacrifica, y los números publicados son un punto de partida, no una garantía para su hardware.

Ajuste del serving stack.

Batching, longitud de contexto, dimensionado de la KV-cache y concurrencia, ajustados a su objetivo de latencia en lugar de a los valores por defecto del framework. Aquí es donde vive la mayor parte del rendimiento, y es un trabajo que nadie ve cuando se hace bien.

La infraestructura del endpoint.

TLS, autenticación, una ruta de red privada hasta la aplicación que lo llama, y la decisión sobre qué es accesible desde dónde. Un endpoint de inferencia accesible desde la internet pública es un riesgo antes que una funcionalidad.

Observabilidad.

Salud de la tarjeta, presión de VRAM, profundidad de cola y percentiles de latencia, con alguien vigilándolos de verdad. Una GPU que funciona en silencio a media velocidad se ve exactamente igual que una sana en un dashboard que solo comprueba si el proceso está arriba.

Actualizaciones, con camino de vuelta.

Actualizaciones de modelo, driver y pila aplicadas según un calendario, probadas antes de llegar, con un rollback que se ha ensayado. Saltarse actualizaciones compra tranquilidad durante un tiempo y después una semana muy ruidosa.

Prueba de carga.

Demuestre que el endpoint aguanta su concurrencia a su objetivo de latencia antes de que nada dependa de él. La primera vez que el endpoint vea tráfico real no debería ser la primera vez que alguien lo mide.

Guardia.

Cuando se rompe a las 3 de la madrugada, alguien tiene que hacerse cargo. No en una rotación en una hoja de cálculo: un ingeniero que conoce la pila, despierto, con acceso.