Quand auto-héberger un modèle ouvert bat le paiement au token.

Il y a deux façons de vendre du matériel GPU. L'une est de promettre que c'est moins cher que votre facture d'API, ce qui est parfois vrai, temporairement, pour certaines charges, et cesse d'être vrai chaque fois que les fournisseurs d'API baissent encore leurs prix. L'autre est de faire le calcul honnêtement : un volume régulier au-delà d'un seuil favorise votre propre matériel, un volume en pics ou faible favorise l'API, et les raisons durables de posséder la machine (le contrôle, la juridiction, une version de modèle que personne ne peut retirer) tiennent à n'importe quel prix.

Les deux factures, côte à côte

La facture d'API est un compteur. Chaque mois, c'est votre volume de tokens multiplié par le prix mixte au token figurant sur votre facture, et elle bouge avec l'usage dans les deux sens. La facture de la machine est fixe. Quoi que la machine coûte par mois, elle le coûte qu'elle serve un seul token ou tous les tokens que son débit permet. Toute la question du seuil de rentabilité est de savoir où ces deux lignes se croisent.

Cette seconde ligne est tout l'article. Divisez le coût mensuel fixe d'une machine capable de servir votre modèle par le prix au token que vous payez aujourd'hui, et vous avez le volume mensuel auquel les deux factures sont égales. Tout le reste consiste à savoir si votre charge atteint vraiment ce volume, et si elle l'atteint régulièrement.

Ce qui déplace la ligne

Faites le calcul avec vos chiffres

1. 01Prenez les trois derniers mois de factures d'API et relevez deux choses : les tokens par mois, et le prix mixte au token (la facture divisée par les tokens). Les tokens d'entrée et de sortie sont facturés différemment, donc mélangez-les dans la proportion que vous utilisez réellement.
2. 02Notez la forme du volume, pas seulement le total. Trois mois semblables, c'est régulier. Un mois au triple des autres, c'est un pic, et un pic doit être chiffré comme de la capacité louée.
3. 03Décidez du modèle et de la précision qui passent votre barre de qualité, sur vos propres prompts. Ce choix fixe la machine nécessaire, et nous la dimensionnons avec vous.
4. 04Divisez le coût mensuel fixe de la machine par votre prix mixte au token. C'est votre volume de seuil. Comparez-le à votre volume mensuel régulier, avec le taux d'utilisation que vous pouvez réalistement tenir.
5. 05Si votre volume régulier se situe au-dessus du seuil avec de la marge, la machine gagne sur le coût et sur tout le reste. S'il se situe en dessous, restez sur l'API pour l'instant et revenez quand il aura grandi, ou décidez sur les seules raisons de contrôle, en toute connaissance de cause.

L'argument qui ne s'érode pas

L'argument du coût est réel pour les charges régulières à fort volume, et c'est la raison la plus faible de posséder une machine, parce que c'est la seule qu'une baisse de prix d'un concurrent peut vous retirer. Les autres tiennent à n'importe quel prix. Vos prompts restent sur du matériel qui est à vous, dans une juridiction que vous avez choisie. La version de modèle que vous avez validée reste disponible jusqu'à ce que vous en décidiez autrement, et non jusqu'à ce qu'un fournisseur la retire. Votre journée la plus chargée est servie au plein débit de la machine, pas à une limite de débit fixée par la planification de capacité de quelqu'un d'autre. Et la facture est le même chiffre chaque mois, ce qui est une autre forme d'économie qu'un token moins cher.

C'est pourquoi nous mettons l'arithmétique en avant plutôt qu'une promesse. Si le calcul dit que la machine gagne, très bien. S'il dit que l'API gagne encore sur le coût, la décision relève des autres raisons, et certaines charges doivent rester sur l'API. Nous préférons le dire plutôt que dimensionner une machine pour un volume qui n'existe pas.