GPU propia frente a alquilada: utilización, localidad de los datos, soporte

Dónde alquilar es la respuesta correcta

Una tarjeta por horas es la herramienta correcta para un experimento, un pico, un modelo que quiere probar una tarde, o un entrenamiento que hará una sola vez. La elasticidad es real y merece pagarse cuando el trabajo es intermitente. La pregunta es qué ocurre cuando el trabajo deja de ser intermitente: un endpoint de inferencia que sirve a su aplicación todo el día, un fine-tune nocturno, un pipeline de embeddings que reprocesa un almacén de documentos cada semana. En ese punto la comparación pasa de precio por hora a precio por hora útil, y las dos divergen.

La utilización es una medición, no una opinión

El cruce entre alquilar y poseer es una cuestión de ciclo de trabajo, y se responde muestreando en lugar de estimando. En lo que ejecute hoy, registre la utilización y la memoria de la GPU durante una semana representativa.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Una tarjeta ocupada unas horas al día e inactiva el resto es un alquiler. Una tarjeta ocupada la mayor parte del día, o que debe estar disponible en el instante en que llega una petición sin importar lo ocupada que esté, es una máquina, porque se está pagando la disponibilidad tanto si el contador corre como si no. La aritmética para comparar las dos está en deje de comparar GPU por horas; el muestreo anterior es el dato de entrada que necesita.

Localidad de los datos: el modelo es la parte pequeña

Un modelo es un fichero que cabe en una máquina. Los datos que lo rodean, no: el almacén de documentos sobre el que responde preguntas, los embeddings construidos a partir de él, los prompts y las respuestas, los registros de acceso que un auditor pedirá. Cada uno de ellos tiene que estar donde está la GPU. En una tarjeta alquilada, eso significa mover los datos al proveedor antes del trabajo y pagar por sacarlos después, o dejarlos allí y aceptar que los datos viven ahora donde viva el storage del proveedor.

En una máquina propia, los datos y la tarjeta comparten rack. El storage que hay debajo es all-flash, la red entre ambos es nuestra, y nada cruza una frontera de public cloud para procesarse. El ejemplo que construimos más a menudo es un endpoint de inferencia privado para registros que no pueden salir de la organización: historiales médicos analizados por un modelo local dentro de Digital Realty Athens, con los registros, el modelo y los logs en la misma máquina y el endpoint accesible solo desde la propia red del cliente. El patrón se describe en un endpoint de IA que no está en internet.

Jurisdicción, resuelta por la geografía

Para cargas que deben permanecer bajo la legislación de la UE, colocamos la máquina en Digital Realty Athens o Digital Realty Amsterdam (AMS18). El hardware, el operador y los datos quedan entonces bajo una sola jurisdicción, y la pregunta que un auditor hace primero, quién más está en este silicio y a quién se puede obligar a acceder a él, tiene una respuesta corta: nadie más, y el operador que tiene delante. Los productos de GPU compartida y fraccionada colocan a otros inquilinos en el mismo die. Una instancia dedicada en un hiperescalador elimina a los vecinos de la tarjeta pero mantiene las capas compartidas de hipervisor, red y storage, y la jurisdicción es la que tenga el proveedor.

El soporte es una persona que construyó la máquina

Una hora alquilada viene con una API y una página de estado. Una máquina propia viene con los ingenieros que la montaron en el rack, instalaron la pila de drivers, ajustaron la ruta de storage y cablearon la red. Cuando un contenedor no ve la tarjeta tras una actualización del kernel, o la huella de memoria del servidor de inferencia cambia entre versiones del modelo, el ticket va a alguien que puede leer la máquina. La máquina también cambia cuando usted lo decide: sin reclamaciones, sin migraciones de flota, sin retirada de la tarjeta para la que ajustó todo según el calendario de otro.

Qué tarjeta, y cuándo

Lo que la carga necesite: A100, H100, L40, L40S y otras, dimensionadas al modelo y al tamaño de lote en lugar de a un nivel de catálogo. Un modelo de la clase 70B con la cuantización adecuada cabe en 48 GB de memoria de GPU, lo que decide la tarjeta antes que el presupuesto. Las máquinas se entregan con un plazo de 48 horas en Atenas, Ámsterdam o Toronto, con las ubicaciones bajo jurisdicción de la UE en las dos primeras.