Cuándo alojar usted mismo un modelo abierto supera a pagar por token.

Hay dos formas de vender hardware con GPU. Una es prometer que es más barato que su factura de API, lo que a veces es cierto, temporalmente, para algunas cargas, y deja de serlo cada vez que los proveedores de API vuelven a bajar los precios. La otra es hacer la aritmética con honestidad: un volumen estable por encima de un umbral favorece al hardware propio, un volumen pequeño o a ráfagas favorece a la API, y las razones duraderas para tener la máquina (control, jurisdicción, una versión del modelo que nadie puede retirar) se mantienen a cualquier precio.

Las dos facturas, una junto a otra

La factura de la API es un contador. Cada mes es su volumen de tokens multiplicado por el precio combinado por token de su factura, y se mueve con el uso en ambas direcciones. La factura de la máquina es fija. Cueste lo que cueste la máquina al mes, cuesta eso tanto si sirve un token como todos los tokens para los que tiene capacidad. Toda la cuestión del punto de equilibrio (break-even) es dónde se cruzan esas dos líneas.

Esa segunda línea es todo el artículo. Divida el coste mensual fijo de una máquina capaz de servir su modelo entre el precio por token que paga hoy, y tendrá el volumen mensual en el que las dos facturas se igualan. Todo lo demás trata de si su carga alcanza realmente ese volumen, y de si lo alcanza de forma estable.

Qué mueve la línea

Hágalo con sus números

1. 01Tome las facturas de API de los últimos tres meses y lea dos cosas: tokens al mes, y el precio combinado por token (la factura dividida entre los tokens). Los tokens de entrada y de salida tienen precios distintos, así que combínelos en la proporción que realmente usa.
2. 02Fíjese en la forma del volumen, no solo en el total. Tres meses parecidos es estabilidad. Un mes al triple que los demás es un pico, y un pico debe valorarse como capacidad alquilada.
3. 03Decida el modelo y la precisión que pasan su listón de calidad, con sus propios prompts. Esa elección fija qué máquina hace falta, y la dimensionamos con usted.
4. 04Divida el coste mensual fijo de la máquina entre su precio combinado por token. Ese es su volumen de break-even. Compárelo con su volumen mensual estable, con la utilización que pueda mantener de forma realista.
5. 05Si su volumen estable queda por encima del break-even con margen de sobra, la máquina gana en coste y en todo lo demás. Si queda por debajo, quédese en la API por ahora y vuelva cuando haya crecido, o decida solo por las razones de control, con los ojos abiertos.

El argumento que no se deteriora

El argumento del coste es real para cargas estables de gran volumen, y es la razón más débil para tener una máquina, porque es la única que una bajada de precios de un competidor puede quitarle. Las otras se mantienen a cualquier precio. Sus prompts se quedan en hardware que es suyo, en una jurisdicción que usted eligió. La versión del modelo que validó sigue disponible hasta que usted decida lo contrario, en lugar de hasta que un proveedor la retire. Su día de mayor actividad se sirve al rendimiento completo de la máquina, no a un límite de peticiones fijado por la planificación de capacidad de otro. Y la factura es el mismo número cada mes, que es una clase de ahorro distinta de un token más barato.

Por eso empezamos por la aritmética y no por una promesa. Si las cuentas dicen que gana la máquina, bien. Si dicen que la API sigue ganando en coste, la decisión pasa a ser sobre las otras razones, y algunas cargas deben seguir en la API. Preferimos decir eso antes que dimensionar una máquina para un volumen que no existe.