GPU própria ou alugada: utilização, localização dos dados, suporte

Onde alugar é a resposta certa

Uma placa à hora é a ferramenta certa para uma experiência, um pico, um modelo que quer experimentar durante uma tarde, ou um training run que vai fazer uma vez. A elasticidade é real e vale a pena pagá-la quando o trabalho é intermitente. A questão é o que acontece quando o trabalho deixa de ser intermitente: um endpoint de inferência que serve a sua aplicação o dia inteiro, um fine-tune noturno, um pipeline de embeddings que reprocessa um document store todas as semanas. Nesse ponto a comparação muda de preço por hora para preço por hora útil, e os dois divergem.

A utilização é uma medição, não uma opinião

O ponto de cruzamento entre alugar e ter é uma questão de duty cycle, e responde-se com amostragem e não com estimativas. Naquilo que executa hoje, registe a utilização e a memória da GPU durante uma semana representativa.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Uma placa que está ocupada algumas horas por dia e parada o resto do tempo é um aluguer. Uma placa que está ocupada a maior parte do dia, ou que tem de estar disponível no instante em que chega um pedido independentemente de quão ocupada está, é uma máquina, porque a disponibilidade está a ser paga quer o contador esteja a correr quer não. A aritmética para comparar os dois está em deixe de comparar GPU à hora. A amostragem acima é o input de que precisa.

Localização dos dados: o modelo é a parte pequena

Um modelo é um ficheiro que cabe numa máquina. Os dados à volta dele não cabem: o document store sobre o qual responde a perguntas, os embeddings construídos a partir dele, os prompts e as respostas, os access logs que um auditor vai pedir. Cada um deles tem de estar onde a GPU está. Numa placa alugada, isso significa mover os dados para o fornecedor antes do trabalho e pagar para os tirar de lá depois, ou deixá-los lá e aceitar que os dados passam a viver onde quer que viva o storage do fornecedor.

Numa máquina própria os dados e a placa partilham um rack. O storage por baixo é all-flash, a rede entre eles é nossa, e nada atravessa uma fronteira de public cloud para ser processado. O exemplo que construímos mais vezes é um endpoint de inferência privado para registos que não podem sair da organização: registos médicos analisados por um modelo local dentro do Digital Realty Athens, com os registos, o modelo e os logs na mesma máquina e o endpoint acessível apenas a partir da rede do próprio cliente. O padrão está descrito em um endpoint de IA que não está na internet.

Jurisdição, resolvida pela geografia

Para cargas de trabalho que têm de ficar sob lei da UE, colocamos a máquina no Digital Realty Athens ou no Digital Realty Amsterdam (AMS18). O hardware, o operador e os dados ficam então sob uma única jurisdição, e a pergunta que um auditor faz primeiro, quem mais está neste silício e quem pode ser obrigado a aceder-lhe, tem uma resposta curta: mais ninguém, e o operador sentado à sua frente. Os produtos de GPU partilhada e fracionada colocam outros tenants no mesmo die. Uma dedicated instance num hyperscaler retira os vizinhos da placa mas mantém as camadas partilhadas de hypervisor, rede e storage, e a jurisdição é a que for do fornecedor.

Suporte é uma pessoa que construiu a máquina

Uma hora alugada vem com uma API e uma página de estado. Uma máquina própria vem com os engenheiros que a instalaram no rack, instalaram a driver stack, afinaram o caminho do storage e cablaram a rede. Quando um container não vê a placa depois de uma atualização do kernel, ou a pegada de memória do servidor de inferência muda entre versões do modelo, o ticket vai para alguém que sabe ler a máquina. A máquina também muda quando decidir: sem recolhas, sem migrações de frota, sem a reforma da placa para a qual afinou segundo o calendário de outra pessoa.

Que placa, e quando

O que a carga de trabalho precisar: A100, H100, L40, L40S e outras, dimensionadas para o modelo e para o batch size e não para um escalão de catálogo. Um modelo da classe 70B com a quantização certa cabe em 48 GB de memória de GPU, o que decide a placa antes de o orçamento o fazer. As máquinas são entregues com um prazo de 48 horas em Atenas, Amesterdão ou Toronto, com as colocações sob jurisdição da UE nas duas primeiras.