Quando alojar por conta própria um modelo aberto bate pagar por token.

Há duas formas de vender hardware GPU. Uma é prometer que é mais barato do que a sua fatura da API, o que às vezes é verdade, temporariamente, para algumas cargas de trabalho, e deixa de ser verdade sempre que os fornecedores de API voltam a cortar os preços. A outra é fazer as contas com honestidade: volume estável acima de um limiar favorece hardware próprio, volume irregular ou pequeno favorece a API, e as razões duradouras para ter a máquina (controlo, jurisdição, uma versão de modelo que ninguém pode retirar) mantêm-se a qualquer preço.

As duas faturas, lado a lado

A fatura da API é um contador. Todos os meses é o seu volume de tokens multiplicado pelo preço combinado por token na sua fatura, e move-se com a utilização em ambos os sentidos. A fatura da máquina é fixa. Custe a máquina o que custar por mês, custa isso quer sirva um token quer todos os tokens para os quais tem débito. Toda a questão do break-even é onde essas duas linhas se cruzam.

Essa segunda linha é todo o artigo. Divida o custo mensal fixo de uma máquina capaz de servir o seu modelo pelo preço por token que paga hoje, e tem o volume mensal a partir do qual as duas faturas são iguais. Tudo o resto é sobre se a sua carga de trabalho chega mesmo a esse volume, e se lá chega de forma estável.

O que move a linha

Faça as contas com os seus números

1. 01Pegue nas faturas da API dos últimos três meses e leia duas coisas: tokens por mês, e o preço combinado por token (a fatura a dividir pelos tokens). Os tokens de entrada e de saída têm preços diferentes, por isso combine-os na proporção que realmente utiliza.
2. 02Registe a forma do volume, não apenas o total. Três meses semelhantes é estabilidade. Um mês com o triplo dos outros é um pico, e um pico deve ser contabilizado como capacidade alugada.
3. 03Decida o modelo e a precisão que passam a sua fasquia de qualidade, com os seus próprios prompts. Essa escolha define que máquina é necessária, e dimensionamo-la consigo.
4. 04Divida o custo mensal fixo da máquina pelo seu preço combinado por token. Esse é o seu volume de break-even. Compare-o com o seu volume mensal estável, com a utilização que realisticamente consegue manter.
5. 05Se o seu volume estável fica acima do break-even com folga, a máquina ganha no custo e em tudo o resto. Se fica abaixo, fique na API por agora e volte quando tiver crescido, ou decida apenas pelas razões de controlo, de olhos abertos.

O caso que não decai

O caso do custo é real para cargas de trabalho estáveis e de grande volume, e é a razão mais fraca para ter uma máquina, porque é a única que um corte de preços de um concorrente pode tirar. As outras mantêm-se a qualquer preço. Os seus prompts ficam em hardware que é seu, numa jurisdição que escolheu. A versão do modelo que validou continua disponível até decidir o contrário, e não até um fornecedor a retirar. O seu dia mais carregado é servido ao débito total da máquina, não a um limite de taxa definido pelo planeamento de capacidade de outra pessoa. E a fatura é o mesmo número todos os meses, o que é um tipo de poupança diferente de um token mais barato.

É por isso que começamos pela aritmética e não por uma promessa. Se as contas dizem que a máquina ganha, ótimo. Se dizem que a API ainda ganha no custo, a decisão passa a ser sobre as outras razões, e algumas cargas de trabalho devem continuar na API. Preferimos dizê-lo a dimensionar uma máquina para um volume que não existe.