Lasciare l'API è una riga di codice.

La riunione succede ovunque. Tutti nella stanza vogliono uscire dall'API in hosting, scegliete il motivo: i dati che non dovrebbero uscire, il livello di rate limit che non sopravviverà alla roadmap, la fattura che scala con il successo. E poi qualcuno dice la frase che chiude tutto: siamo troppo integrati, sarebbe una riscrittura. Sei mesi dopo, stessa riunione, stessa frase, uno sprint di retry logic in più nel mezzo.

La frase merita un audit, perché l'integrazione che descrive è profonda un valore di configurazione.

Il mondo si è standardizzato mentre non guardavate

Negli ultimi anni nel mondo del serving è successo qualcosa di utile: il formato dell'API OpenAI è diventato lo standard di fatto del protocollo per parlare con i modelli linguistici, e gli stack di serving open source lo hanno adottato di proposito. Stesse route, stesso formato di richiesta, stesso protocollo di streaming, per il nucleo largamente usato della superficie: chat completions, streaming, embeddings. Quando consegniamo un endpoint privato, parla quel dialetto nativamente. Il vostro SDK non sa di essersi spostato. Se la vostra app si appoggiava agli extra proprietari di un vendor, quello è un audit breve, non una riscrittura, e lo percorriamo con voi: la maggior parte degli extra ha equivalenti diretti o shim sottili.

- OPENAI_BASE_URL=https://api.vendor.example/v1
+ OPENAI_BASE_URL=https://inference.yourcompany.internal/v1
  OPENAI_API_KEY=****   # your key, issued by you, revoked by you

Prompt, handler di streaming, retry logic, tooling: intatti. Quel diff è l'intera migrazione dell'impianto. Che è esattamente il motivo per cui il budget per la riscrittura merita sospetto: era prezzato per un mondo in cui ogni provider aveva il proprio formato di protocollo, e quel mondo non c'è più.

Cosa cambia davvero: il modello

Ora la metà onesta, perché l'affermazione della riga unica è vera solo per l'impianto. Un modello diverso è un collega diverso. Fategli la stessa domanda e la risposta torna formulata e strutturata diversamente; i prompt messi a punto per un modello possono richiedere aggiustamenti; i casi limite si spostano. Questo è lavoro reale. È anche delimitato, testabile ed economico rispetto a quanto avevate messo a budget: eseguite il vostro set di eval esistente (o costruite quello piccolo che dovreste avere comunque) contro il modello candidato sui vostri task reali, confrontate, decidete. Succede prima che vi impegniate, su un endpoint che potete provare, non dopo una riscrittura che non potete annullare.

Notate cosa non è apparso in quella tabella: nessuna affermazione che il modello open sia altrettanto buono. Non facciamo quell'affermazione, perché invecchia male e perché non dovreste comunque accettarla da un vendor. Il giro di eval sostituisce l'affermazione. I vostri task, entrambi i modelli, affiancati, e la decisione è vostra con le prove davanti. Quel passaggio di eval fa parte del nostro deployment, insieme al dimensionamento e al compromesso della quantizzazione (mostrato, non nascosto), che è dove un host gestito si guadagna il compenso.

La riga taglia in entrambe le direzioni, di proposito

Tutto quanto sopra descrive anche il lasciare noi. Gli open weights sono file portabili. L'endpoint parla il dialetto standard. I vostri dati vivono sulla vostra macchina e partono con voi. Se smettiamo di meritare il carico, la migrazione in uscita è la stessa riga unica, e l'abbiamo costruita così deliberatamente, per lo stesso motivo per cui il resto di questa azienda ha cancellato i contatori e rifiuta le tasse di uscita (l'argomento sulle egress fee è la stessa postura un livello più in basso). L'anti lock-in che non potete esercitare è una parola da brochure. I clienti che possono andarsene, e restano comunque, sono l'unica referenza che vale la pena avere.

Un'altra libertà viaggia insieme: una volta che il modello è vostro, nessuno lo ritira da sotto i vostri prompt, e la versione che ha superato le vostre eval resta la versione che risponde finché non decidete altrimenti. Su un'API in hosting, quel calendario appartiene a qualcun altro.

“La stessa riga che vi permette di lasciare loro vi permette di lasciare noi. È questo il punto.”