O que perguntar a um fornecedor de GPU antes de assinar

As ofertas de GPU parecem iguais à distância: o nome de uma placa, um prazo de entrega, um preço. De perto, duas ofertas com o mesmo nome de placa podem ser produtos muito diferentes, e as diferenças decidem se o seu modelo corre bem, se os seus dados ficam onde precisa deles, e se a plataforma continua a ser sua para contar com ela no próximo ano. Estas são as perguntas que faríamos a qualquer fornecedor, nós incluídos, e como verificar as respostas assim que o servidor estiver nas suas mãos.

Sobre o hardware

1. Que placa, exatamente? Um nome de modelo não é uma especificação. A mesma família vem com tamanhos de memória diferentes e em formatos diferentes, uma placa PCIe ou um módulo numa placa-base com uma ligação de alta velocidade entre GPU. Para modelos grandes, a memória da GPU decide o que cabe, e para trabalho multi-GPU a ligação entre as placas decide quão bem escala. Peça a variante exata por escrito.

2. É dedicada, ou uma fatia? Uma GPU pode ser dividida em partições ou partilhada no tempo entre clientes. Isso não é problema quando o sabe e quando o preço reflete isso. É problema quando julga ter uma placa inteira. Pergunte se recebe o dispositivo físico completo, e se a carga de trabalho de mais alguém corre nele.

3. O que rodeia a placa? Uma GPU rápida esfomeada por um host lento é uma GPU lenta. Pergunte pelos processadores, por quanta memória de sistema há por GPU, por quantas lanes PCIe chegam a cada placa, por NVMe local para os pesos dos modelos e os datasets, e pela rede entre servidores se vai treinar em mais do que um.

4. Quando o posso ter? Peça um prazo de entrega com o qual possa planear, e pergunte se é o mesmo para um segundo servidor quando o primeiro tiver sucesso.

Sobre onde vive

5. Onde está fisicamente, e sob que jurisdição? Se trata dados de saúde, jurídicos, financeiros ou de pessoal, o país e a entidade jurídica que opera o hardware importam tanto como o hardware. Peça o datacenter, não o nome da região.

6. Quem pode aceder ao servidor e aos seus dados? Pergunte quem detém acesso administrativo, se as remote hands podem tocar na máquina, como o acesso é registado, e o que acontece aos discos quando o contrato termina. Uma boa resposta nomeia o método de apagamento e oferece um certificado.

7. Alguma coisa é enviada para um serviço externo? Algumas ofertas de IA managed registam prompts e resultados, ou encaminham certos pedidos para um modelo de terceiros. Pergunte diretamente se algum conteúdo, prompt, completion, embedding ou log, sai do servidor ou da rede do fornecedor, e obtenha a resposta no contrato.

Sobre o software

8. Quem mantém a stack de drivers? Os drivers da GPU, o CUDA runtime e o container toolkit têm de corresponder entre si e ao kernel. Pergunte quem os atualiza, como são testados, e se os kernel modules são assinados para que o servidor possa correr com Secure Boot e com a política de segurança que espera em qualquer outra máquina.

9. Posso correr containers com a GPU, de forma limpa? A maioria das stacks de IA é distribuída como containers. O container runtime deve ver a GPU através do container toolkit do fabricante, sem correr privileged containers para lá chegar.

10. Conseguem operar a stack do modelo, ou só me alugam a caixa? Servir bem um modelo envolve batching, escolhas de quantização, um inference server, um modelo de embeddings e normalmente uma vector database. Alguns fornecedores entregam-lhe uma palavra-passe de root e vão-se embora. Se quer a stack construída e operada, pergunte quem o vai fazer, e peça um endpoint que fale o formato de API que as suas aplicações já usam, para que mudar entre uma API pública e o seu próprio modelo seja uma alteração de configuração, não uma reescrita.

Sobre a exposição e o custo

11. O endpoint está na internet pública? Um endpoint de inferência num endereço público é uma superfície de ataque e uma fatura à espera de ser inflacionada por outra pessoa. Pergunte se pode ser alcançável apenas a partir da sua rede privada.

12. De que depende o custo? Hardware mensal fixo comporta-se de forma muito diferente da faturação por token ou por pedido à medida que a utilização cresce. Pergunte o que altera o preço, e se se aplicam rate limits a hardware que está a pagar.

Verifique no primeiro dia

Assim que o servidor for seu, verifique que é o que foi prometido:

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

O nvidia-smi -q confirma o produto exato e a sua memória, e mostra se o ECC está ativo e se foram registados erros. O topo -m mostra como as GPU se ligam entre si e aos processadores, o que lhe diz se o tráfego multi-GPU segue um caminho rápido. A secção de performance reporta os clocks e as razões de throttling, como limites de potência ou de temperatura, que quer ver limpas sob carga sustentada. Se estiver a ser usado particionamento, também aparece aqui. Por fim, corra o seu próprio modelo com os seus próprios dados na concorrência esperada e meça tokens por segundo e latência. Esse é o benchmark que importa.

Como respondemos nós

Fornecemos a GPU NVIDIA de data center que a sua carga de trabalho exige, A100, H100, L40, L40S e outras, como hardware dedicado em plataformas enterprise HPE e Dell, com um prazo de entrega de 48 horas, nos nossos datacenters em Atenas e Amesterdão, dentro da UE. Os GPU servers são construídos como qualquer outro servidor que operamos: kernel modules assinados pelo fabricante, Podman com o NVIDIA container toolkit, SELinux enforcing. Quando construímos a stack de IA privada por cima, os modelos são servidos através de endpoints compatíveis com OpenAI num segmento de rede isolado, e nada no caminho do conteúdo chama um serviço de IA externo. Foi assim que construímos uma plataforma para um cliente que analisa registos médicos: cada passo corre em modelos locais dentro do Digital Realty Athens, e os dados nunca tocam numa public cloud. Os discos que saem de serviço são sanitizados com Blancco, com um certificado de apagamento guardado para cada um.

Traga-nos o seu modelo e o seu alvo de throughput, e dizemos-lhe que placa se adequa e porquê.

Fale com um engenheiro

Relacionados: GPU servers e infraestrutura de IA privada · Bare metal servers em HPE e Dell · Kubernetes privado em bare metal, OpenShift e OKD