Un modelo 70B cabe de verdad en una tarjeta de 48GB, una vez que cuenta lo que cuesta la cuantización.
Un modelo de 70.000 millones de parámetros corre de verdad en una tarjeta de 48GB una vez cuantizado. Si esa es la decisión correcta no es folclore: es aritmética más una conversación honesta sobre calidad que alguien debería tener con usted antes de la factura. Aquí están las dos.
En este artículo 3 secciones
- La VRAM que necesita un modelo es aritmética, no folclore: parámetros por bytes por parámetro, más la sobrecarga del servicio y el espacio para el contexto. Un modelo 70B a precisión completa de 16 bits quiere unos 140GB antes de la sobrecarga. Cuantizado a 4 bits, se queda en la franja alta de los 30.
- Así que sí, un modelo 70B corre en una tarjeta de 48GB. La verdadera pregunta es cuánta calidad le cuesta la cuantización a 4 bits a su carga de trabajo concreta, y si ese precio es aceptable (a menudo) o no (a veces).
- El compromiso es medible, no místico: cuantice, ejecute sus propias evaluaciones sobre sus propias tareas, compare. Un presupuesto que se salta ese paso es una venta de tarjetas, no un dimensionamiento.
- Nuestra regla: elegimos la tarjeta a partir del modelo y de la carga de trabajo, le mostramos el compromiso y se lo decimos cuando la máquina más pequeña es la respuesta honesta.
Hay dos maneras de fracasar al dimensionar GPU y la mayoría de los equipos elige una. El primer equipo pregunta cuánto cuesta ejecutar un modelo serio, ve el precio de una tarjeta de 80GB, se estremece y aparca el proyecto entero. El segundo equipo es más ahorrador: mete el modelo en la GPU más barata que técnicamente lo carga, lo pone en producción y pierde una calidad de respuesta que nunca midió, porque nadie le dijo lo que costaba la compresión. Fracasos opuestos, misma causa. Nadie tuvo la conversación del dimensionamiento, porque la mayor parte de la industria la trata como un misterio de hoja de especificaciones en lugar de lo que es: aritmética, más un compromiso honesto.
La aritmética que cualquiera puede comprobar
Esta es la regla general, señalada exactamente como tal; las arquitecturas y las pilas de servicio mueven las constantes, pero el marco se sostiene. Un parámetro del modelo almacenado a precisión de 16 bits ocupa dos bytes. A 8 bits, un byte. A 4 bits, medio byte. Multiplique por el número de parámetros y tendrá la huella de los pesos. Después deje sitio para todo lo que añade el servicio: el propio motor y la caché KV, que crece con la longitud del contexto y con cada usuario concurrente. Esa última parte es la razón de que «los pesos caben técnicamente» y «esto sirve tráfico de producción» sean dos frases distintas.
PARÁMETROS
B/PARÁM
SOBRECARGA
VRAM
Haga el ejemplo del 70B en números redondos. A 16 bits, 70.000 millones de parámetros por dos bytes son aproximadamente 140GB antes de la sobrecarga: territorio multi-GPU. A 8 bits, aproximadamente 70GB: una tarjeta de 80GB, con holgura, con espacio para respirar. A 4 bits, aproximadamente de 35 a 40GB más sobrecarga: una tarjeta de 48GB, con espacio sobrante para servir de verdad. Un modelo, tres precisiones, tres etiquetas de precio muy distintas. Por eso «qué GPU necesito» no tiene respuesta hasta que alguien hace la pregunta siguiente: a qué precisión, para qué carga de trabajo.
Lo que cada clase de tarjeta sirve con honestidad
Los emparejamientos de abajo son los mismos que recorre con usted el panel de nuestra página de servidores GPU, expresados en prosa. Son honestos en las dos direcciones: qué cabe, y qué cuesta que quepa.
| CLASE DE VRAM | LO QUE SIRVE CON HONESTIDAD | LA PEGA |
|---|---|---|
| Clase 48GB (L40S, L40) | Modelos de 24B a 32B a precisión completa; modelos de clase 70B cuantizados | el 70B corre a 4 bits: lea la sección siguiente antes de decidir |
| Clase 80GB (A100) | Modelos de clase 70B cuantizados con holgura, con espacio para contexto y concurrencia | la decisión correcta cuando los márgenes de calidad son estrechos o los contextos son largos |
| 2× 80GB | 70B a precisión completa; más de 100B cuantizados; territorio de fine-tuning | compre esto para la carga de trabajo que tiene, no para la que teme |
Lo que cuesta realmente la cuantización
La cuantización comprime la precisión de los pesos del modelo, y el coste en calidad es real, depende de la carga de trabajo y es medible. Para mucho trabajo de producción, respuestas fundamentadas sobre documentos recuperados, clasificación, extracción, resumen, la cuantización moderna a 4 bits es difícil de distinguir de la precisión completa en comprobaciones a ciegas con sus propios datos. Para generación en la que la calidad es crítica, cadenas largas de razonamiento o trabajo en el que los márgenes ya son estrechos, la diferencia puede importar. Quien le dé un porcentaje universal se lo está inventando. El número honesto sale de un solo sitio: sus evaluaciones, sobre sus tareas, ejecutadas contra las dos versiones y comparadas.
Esa ronda de evaluación es parte de cómo desplegamos, no un ejercicio que se deja al lector. El endpoint se somete a pruebas de carga contra su objetivo de latencia, y la decisión de cuantización se toma con el compromiso delante de usted, porque es su listón de calidad y su dinero. Preferimos mostrarle las dos salidas lado a lado antes que esconder la compresión dentro de un presupuesto más barato.
Qué modelo, a qué precisión, para qué tareas, con qué longitud de contexto, para cuántos usuarios concurrentes. Cinco preguntas. Quien le presupueste una GPU sin hacerlas está adivinando con su dinero.
Y la dirección en la que nadie espera que señale un vendedor de hardware: hacia abajo. A veces la respuesta honesta no es la tarjeta de 80GB, y a veces tampoco es el modelo 70B. Un modelo de 24B a 32B bien elegido a precisión completa supera a un 70B muy comprimido en muchos conjuntos de tareas reales, y cuesta menos de ejecutar. Dimensionamos a partir de la carga de trabajo, le mostramos el compromiso y, cuando la máquina más pequeña cubre el trabajo, se lo decimos antes de la factura, no después. Es el mismo reflejo que en el resto de la casa: dimensione hacia abajo, no hacia arriba.
“Elegimos la tarjeta a partir del modelo, no el modelo a partir de la tarjeta.”
Respuestas directas
¿Qué GPU necesito para ejecutar un modelo 70B?+
A cuantización de 4 bits, una tarjeta de 48GB lo sirve con espacio para contexto y sobrecarga. A 8 bits, una tarjeta de 80GB. A precisión completa de 16 bits está en territorio multi-GPU. La elección de la precisión depende de sus márgenes de calidad, que es la conversación que hay que tener antes que la tarjeta.
¿Cuánta calidad se pierde con la cuantización a 4 bits?+
Depende de la carga de trabajo, y es medible en lugar de místico. Las preguntas y respuestas fundamentadas, la extracción y la clasificación a menudo no muestran diferencias prácticas en comprobaciones a ciegas; la generación con márgenes estrechos y las cadenas largas de razonamiento sí pueden. Ejecute sus propias evaluaciones sobre las dos versiones. Nosotros lo hacemos como parte del despliegue.
¿Cómo calculo la VRAM para un LLM?+
Regla general: parámetros por bytes por parámetro (2 a 16 bits, 1 a 8 bits, 0,5 a 4 bits), más la sobrecarga del servicio y una caché KV que crece con la longitud del contexto y la concurrencia. Que quepan los pesos no es lo mismo que servir tráfico; deje margen.
¿Es una GPU más grande siempre la compra más segura?+
No, es la suposición más cara. La compra más segura es la dimensionada a partir de su modelo, precisión, contexto y concurrencia, con el compromiso medido. A veces eso es la tarjeta de 80GB. A menudo no lo es, y le diremos cuál.
¿Puedo ejecutar un modelo más pequeño en lugar de cuantizar uno grande?+
Con frecuencia sí, y a menudo es el mejor negocio: un modelo de 24B a 32B bien elegido a precisión completa puede superar a un 70B muy comprimido en sus tareas reales. Esa comparación también pertenece a las evaluaciones de dimensionamiento, y es una que sugerimos a menudo.
Tráiganos el modelo que quiere ejecutar.
Haremos la aritmética, le mostraremos lo que cuesta la cuantización en sus tareas y le diremos si la máquina más pequeña es la respuesta honesta.
Vea los servidores GPUHa llegado al final.
Ponga la lectura a trabajar
¿Qué está ejecutando?
Cuéntenos la carga de trabajo, el tráfico y los requisitos de recuperación. Empiece por el configurador de servidores o repase los detalles con un ingeniero.
Escrito por los ingenieros que construyen y operan la infraestructura que describe.Hable con un ingeniero