Il vostro fornitore AI vi limita nel vostro giorno migliore.
Rate limit, priorità in coda ed errori di capacità sono il modo in cui una piattaforma condivisa raziona la domanda di picco. Il picco è il vostro lancio, la vostra campagna, la vostra mattina migliore. Una GPU single-tenant riservata lo serve esattamente come ha servito martedì scorso, perché nessun altro è sulla macchina.
In questo articolo 3 sezioni
- Chiunque costruisca su un'API AI hosted ha incontrato il trio: il 429, l'errore di capacità non disponibile, la latenza che si allunga al picco. Si concentrano nei vostri giorni più importanti, perché è allora che i giorni più importanti di tutti collidono.
- Questo non è un disservizio e non è sfortuna. Il razionamento è il modo in cui una piattaforma condivisa e a consumo gestisce il picco: livelli di rate, priorità in coda ed errori di capacità sono il meccanismo di condivisione.
- La vostra allocazione è una policy: fissata da qualcun altro, legata al vostro livello di spesa, e rivista secondo il loro calendario, non il vostro. Un piano di crescita costruito su «ci faremo alzare il limite» ha una dipendenza senza alcuna garanzia allegata.
- Una GPU single-tenant riservata inverte il modello: il tetto è fisica che avete scelto e dimensionato, testato sotto carico prima del lancio, e serve il vostro giorno migliore esattamente come il più lento.
Immaginate il giorno in cui finalmente funziona. Il lancio atterra, l'uscita stampa parte, la campagna prende. Il traffico è il triplo del piano e sale, e da qualche parte nel prodotto le funzionalità AI cominciano a restituire 429. Non il mese scorso, quando avevate margine da vendere. Adesso, precisamente adesso, perché il giorno migliore del vostro prodotto è anche l'ora più intensa della piattaforma, e la piattaforma deve scegliere chi aspetta.
La maggior parte dei team lo archivia sotto sfortuna e scrive altra logica di retry. Non è sfortuna. È l'architettura che fa esattamente ciò che deve.
Il razionamento è il prodotto che funziona come progettato
Qui non c'è un cattivo, ed è questo a renderlo durevole. Una piattaforma di inference condivisa vende le stesse GPU a migliaia di clienti. La domanda di picco va razionata o la piattaforma collassa per tutti, quindi gli strumenti di razionamento esistono: rate limit per livello di account, priorità in coda per chi spende di più, errori di capacità quando il pool si esaurisce. Tutto ragionevole. Tutto invisibile nella demo. Tutto decisivo il giorno in cui il vostro traffico finalmente si presenta. La condivisione ha una disposizione dei posti, e il vostro posto non lo controllate voi.
La parte che i team scoprono tardi è che il limite è un oggetto di policy. Varia per livello di account. Si muove con la pianificazione di capacità del vendor stesso. Alzarlo è una richiesta, a volte una conversazione commerciale, e nulla di tutto questo è fisica contrattuale. Se la roadmap dice utilizzo triplicato entro il quarto trimestre e il piano per quello è «ci faremo alzare il limite», la roadmap ha una dipendenza che nessuno ha firmato.
“Il vostro rate limit non è una legge di natura. È una policy, fissata da qualcun altro, rivedibile senza il vostro voto.”
Cosa cambia davvero una macchina riservata
Single-tenant significa che il lancio di nessun altro cliente può consumare la vostra capacità: non c'è nessun altro sulla macchina. Deterministica per progetto significa che il vostro profilo di latenza è fissato dal vostro modello, dalla vostra scheda e dal vostro tuning, non dal traffico di un estraneo. Il tetto esiste ancora. È il throughput che avete dimensionato, e dimensionarlo è aritmetica (la versione onesta di quel calcolo). Ma è il vostro tetto: noto in anticipo, testato sotto carico sul vostro carico di lavoro prima del lancio, e spostato da una decisione hardware che prendete voi, non da una policy che dovete chiedere in grazia.
| IL TETTO CONDIVISO | IL TETTO RISERVATO |
|---|---|
| Fissato dalla policy e dalla capacità di qualcun altro | Fissato dalla scheda e dal tuning che avete scelto |
| Si muove senza il vostro voto | Si muove quando decidete di ridimensionare |
| QUELLO CHE POTETE TESTARE IN ANTICIPOScoperto in produzione, al picco | Testato sotto carico prima del lancio, sul vostro carico di lavoro |
| Condiviso con il giorno migliore di ogni altro cliente | Vostro. Non c'è nessun altro sulla macchina |
La stessa matematica punisce il lavoro batch costante, non solo i lanci. Arricchimento, classificazione, elaborazione di documenti su un grande dataset privato: su una piattaforma condivisa con throttling, il razionamento del throughput trasforma un lavoro da weekend in una settimana, e il contatore gira per tutto il tempo. Su una macchina riservata il batch gira al ritmo della macchina, costante, senza alcuna ansia da contatore. Se il vostro volume giustifichi una macchina riservata richiede un confronto tra la vostra spesa attuale, l'utilizzo sostenuto e i requisiti operativi. Partite dal brief di dimensionamento GPU per richiedere una configurazione per quel confronto.
Chi dovrebbe ignorare questo post
Se il vostro carico è piccolo e davvero a raffiche, una demo, un esperimento, un pomeriggio di carico, l'elasticità della piattaforma condivisa è l'affare migliore e i suoi rate limit probabilmente non vi toccheranno mai. Questa è la risposta onesta e la diamo liberamente, perché una macchina riservata che usate quattro ore al mese è un cattivo acquisto e preferiremmo non vendervela. Questo post è per l'altro team: quello il cui utilizzo è costante, in crescita, o a picchi esattamente quando conta, dove la disposizione dei posti ha cominciato a costare lanci veri e soldi veri. Per quel team, la domanda non è se l'API sia buona. È nel foglio di calcolo di chi vive il vostro tetto.
Risposte dirette
Perché ricevo errori 429 nei picchi di traffico?+
Perché le piattaforme AI condivise razionano la domanda di picco per progetto: rate limit per livello, priorità in coda ed errori di capacità sono il meccanismo di condivisione. Il vostro picco collide con il picco di tutti gli altri, quindi il razionamento atterra esattamente quando atterra il vostro traffico.
Non posso semplicemente farmi alzare il rate limit?+
Spesso, prima o poi. È una richiesta contro la pianificazione di capacità di qualcun altro, frequentemente legata al vostro livello di spesa. Trattatela come una dipendenza, non come una garanzia, e notate che si azzera ogni volta che la vostra crescita supera il nuovo numero.
Una GPU dedicata significa throughput illimitato?+
No. Significa un tetto noto: il throughput della scheda e dello stack che avete dimensionato, testato sotto carico sul vostro carico di lavoro prima del lancio. La differenza non è l'infinito. È che il tetto è vostro, testabile in anticipo, e cambiato da una vostra decisione.
E la mia logica di retry e backoff?+
Tenetela, è buona igiene. Ma notate cos'è: codice che avete scritto per assorbire il razionamento di qualcun altro. Su un endpoint single-tenant, il suo compito principale sparisce.
Quando l'API condivisa è comunque la scelta giusta?+
Carichi piccoli o davvero a raffiche. L'elasticità è ciò che le piattaforme condivise fanno meglio, e a basso volume il loro prezzo vince onestamente. Carichi costanti, in crescita, o critici per il business proprio al picco sono dove la macchina riservata si guadagna il posto.
State pianificando un lancio che il vostro livello di rate non può reggere?
Portateci il modello e il traffico che vi aspettate. Dimensioneremo la macchina e la testeremo sotto carico sul vostro carico di lavoro, e il vostro giorno migliore riceverà la stessa risposta del più lento.
Vedi i GPU serversSiete arrivati alla fine.
Mettete la lettura al lavoro
Cosa fate girare?
Raccontateci il carico di lavoro, il traffico e i requisiti di ripristino. Partite dal configuratore di server, oppure discutete i dettagli con un ingegnere.
Scritto dagli ingegneri che costruiscono e gestiscono l'infrastruttura che descrive.Parla con un ingegnere