Um modelo 70B cabe mesmo numa placa de 48GB, depois de contar o que custa a quantização.
Um modelo de 70 mil milhões de parâmetros corre de facto numa placa de 48GB depois de quantizado. Se essa é a escolha certa não é folclore, é aritmética mais uma conversa honesta sobre qualidade que alguém devia ter consigo antes da fatura. Aqui ficam as duas.
Neste artigo 3 secções
- A VRAM de que um modelo precisa é aritmética, não folclore: parâmetros vezes bytes por parâmetro, mais o overhead de serving e espaço para o contexto. Um modelo 70B em precisão total de 16-bit quer cerca de 140GB antes do overhead. Quantizado para 4-bit, fica na casa dos 30 e muitos.
- Portanto sim, um modelo 70B corre numa placa de 48GB. A verdadeira pergunta é o que a quantização de 4-bit custa em qualidade à sua carga de trabalho específica, e se esse preço é aceitável (muitas vezes) ou não (algumas vezes).
- O trade-off é mensurável, não místico: quantize, corra os seus próprios evals nas suas próprias tarefas, compare. Um orçamento que salta esse passo é uma venda de placas, não dimensionamento.
- A nossa regra: escolhemos a placa a partir do modelo e da carga de trabalho, mostramos o trade-off, e dizemos quando a máquina mais pequena é a resposta honesta.
Há duas formas de falhar o dimensionamento de GPU e a maioria das equipas escolhe uma. A primeira equipa pergunta quanto custa correr um modelo a sério, vê o preço de uma placa de 80GB, estremece, e arquiva o projeto inteiro. A segunda equipa é mais poupada: enfia o modelo na GPU mais barata que tecnicamente o carrega, põe em produção, e perde qualidade de respostas que nunca mediu, porque ninguém lhe disse o que a compressão custou. Falhas opostas, mesma causa. Ninguém teve a conversa de dimensionamento, porque a maior parte do setor a trata como um mistério de folha de especificações em vez do que é: aritmética, mais um trade-off honesto.
A aritmética que qualquer pessoa pode verificar
Eis a regra prática, assinalada exatamente como tal. As arquiteturas e as stacks de serving deslocam as constantes, mas o enquadramento mantém-se. Um parâmetro de modelo guardado em precisão de 16-bit ocupa dois bytes. Em 8-bit, um byte. Em 4-bit, meio byte. Multiplique pelo número de parâmetros e tem a pegada dos pesos. Depois deixe espaço para tudo o que o serving acrescenta: o próprio motor, e a KV cache, que cresce com o comprimento do contexto e com cada utilizador concorrente. Essa última parte é a razão pela qual «os pesos tecnicamente cabem» e «isto serve tráfego de produção» são duas frases diferentes.
PARAMS
B/PARAM
OVERHEAD
VRAM
Faça as contas do exemplo de 70B com números redondos. Em 16-bit, 70 mil milhões de parâmetros vezes dois bytes são cerca de 140GB antes do overhead: território multi-GPU. Em 8-bit, cerca de 70GB: uma placa de 80GB, confortavelmente, com espaço para respirar. Em 4-bit, cerca de 35 a 40GB mais overhead: uma placa de 48GB, com espaço que sobra para servir de facto. Um modelo, três precisões, três preços muito diferentes. É por isso que «de que GPU preciso» não tem resposta até alguém fazer a pergunta seguinte: a que precisão, para que carga de trabalho.
O que cada classe de placa serve honestamente
Os emparelhamentos abaixo são os mesmos que o quadro na nossa página de GPU Servers percorre consigo, ditos em prosa. São honestos nas duas direções: o que cabe, e o que custa caber.
| CLASSE DE VRAM | O QUE SERVE HONESTAMENTE | O SENÃO |
|---|---|---|
| Classe 48GB (L40S, L40) | Modelos de 24B a 32B em precisão total. Modelos da classe 70B quantizados | o 70B corre em 4-bit: leia a secção seguinte antes de decidir |
| Classe 80GB (A100) | Modelos da classe 70B quantizados com conforto, com espaço para contexto e concorrência | a escolha certa quando as margens de qualidade são estreitas ou os contextos são longos |
| 2× 80GB | 70B em precisão total. 100B e acima quantizados. Território de fine-tuning | compre isto para a carga de trabalho que tem, não para a que receia |
O que a quantização custa realmente
A quantização comprime a precisão dos pesos do modelo, e o custo em qualidade é real, dependente da carga de trabalho e mensurável. Para muito trabalho de produção, perguntas e respostas fundamentadas sobre documentos recuperados, classificação, extração, sumarização, a quantização moderna de 4-bit é difícil de distinguir da precisão total em verificações cegas sobre os seus próprios dados. Para geração crítica em qualidade, cadeias longas de raciocínio, ou trabalho onde as margens já são estreitas, a diferença pode importar. Quem lhe disser uma percentagem universal está a inventar. O número honesto vem de um sítio: os seus evals, nas suas tarefas, corridos contra as duas versões, comparados.
Essa corrida de evals faz parte de como fazemos o deployment, não é um exercício deixado ao leitor. O endpoint passa por um teste de carga contra o seu alvo de latência, e a decisão de quantização é tomada com o trade-off à sua frente, porque a fasquia de qualidade é sua e o dinheiro é seu. Preferimos mostrar-lhe os dois resultados lado a lado a esconder a compressão dentro de um orçamento mais barato.
Que modelo, a que precisão, para que tarefas, com que comprimento de contexto, para quantos utilizadores concorrentes. Cinco perguntas. Quem lhe faz um orçamento de GPU sem as fazer está a adivinhar com o seu dinheiro.
E a direção para a qual ninguém espera que um vendedor de hardware aponte: para baixo. Às vezes a resposta honesta não é a placa de 80GB, e às vezes também não é o modelo 70B. Um modelo de 24B a 32B bem escolhido, em precisão total, bate um 70B fortemente espremido em muitos conjuntos de tarefas reais, e custa menos a correr. Dimensionamos a partir da carga de trabalho, mostramos o trade-off, e quando a máquina mais pequena cobre o trabalho dizemo-lo antes da fatura, não depois. É o mesmo reflexo do resto da casa: dimensionar para baixo, não para cima.
“Escolhemos a placa a partir do modelo, não o modelo a partir da placa.”
Respostas diretas
De que GPU preciso para correr um modelo 70B?+
Em quantização de 4-bit, uma placa de 48GB serve-o com espaço para contexto e overhead. Em 8-bit, uma placa de 80GB. Em precisão total de 16-bit está em território multi-GPU. A escolha da precisão depende das suas margens de qualidade, que é a conversa a ter antes da placa.
Quanta qualidade perde a quantização de 4-bit?+
Depende da carga de trabalho, e é mensurável em vez de místico. Perguntas e respostas fundamentadas, extração e classificação muitas vezes não mostram diferença prática em verificações cegas. Geração com margens estreitas e cadeias longas de raciocínio podem mostrar. Corra os seus próprios evals nas duas versões. Nós fazemo-lo como parte do deployment.
Como calculo a VRAM para um LLM?+
Regra prática: parâmetros vezes bytes por parâmetro (2 em 16-bit, 1 em 8-bit, 0.5 em 4-bit), mais o overhead de serving e uma KV cache que cresce com o comprimento do contexto e a concorrência. Caberem os pesos não é o mesmo que servir tráfego. Deixe margem.
Uma GPU maior é sempre a compra mais segura?+
Não, é o palpite mais caro. A compra mais segura é a que é dimensionada a partir do seu modelo, precisão, contexto e concorrência, com o trade-off medido. Às vezes é a placa de 80GB. Muitas vezes não é, e dizemos-lhe qual.
Posso correr um modelo mais pequeno em vez de quantizar um grande?+
Frequentemente sim, e é muitas vezes o melhor negócio: um modelo de 24B a 32B bem escolhido, em precisão total, pode bater um 70B fortemente espremido nas suas tarefas reais. Essa comparação também pertence aos evals de dimensionamento, e é uma que sugerimos com frequência.
Traga-nos o modelo que quer correr.
Fazemos a aritmética, mostramos o que a quantização custa nas suas tarefas, e dizemos-lhe se a máquina mais pequena é a resposta honesta.
Ver os GPU ServersChegou ao fim.
Ponha a leitura em prática
O que executa?
Fale-nos da carga de trabalho, do tráfego e dos requisitos de recuperação. Comece pelo configurador de servidores ou discuta os detalhes com um engenheiro.
Escrito pelos engenheiros que constroem e operam a infraestrutura que descreve.Fale com um engenheiro