Πότε το self-hosting ενός ανοιχτού μοντέλου νικά την πληρωμή ανά token.

Υπάρχουν δύο τρόποι να πουλήσεις hardware GPU. Ο ένας είναι να υποσχεθείς ότι είναι φθηνότερο από τον λογαριασμό του API σου, κάτι που είναι μερικές φορές αλήθεια, προσωρινά, για κάποιους φόρτους, και παύει να είναι αλήθεια κάθε φορά που οι πάροχοι API ξανακόβουν τις τιμές. Ο άλλος είναι να κάνεις την αριθμητική τίμια: σταθερός όγκος πέρα από ένα κατώφλι ευνοεί το δικό σου hardware, όγκος με bursts ή μικρός ευνοεί το API, και οι διαρκείς λόγοι να έχεις το μηχάνημα (έλεγχος, δικαιοδοσία, μια έκδοση μοντέλου που κανείς δεν μπορεί να αποσύρει) ισχύουν σε οποιαδήποτε τιμή.

Οι δύο λογαριασμοί, δίπλα δίπλα

Ο λογαριασμός του API είναι μετρητής. Κάθε μήνα είναι ο όγκος tokens σας επί τη μικτή τιμή ανά token στο τιμολόγιό σας, και κινείται με τη χρήση και προς τις δύο κατευθύνσεις. Ο λογαριασμός του μηχανήματος είναι σταθερός. Ό,τι κι αν κοστίζει το μηχάνημα τον μήνα, τόσο κοστίζει είτε εξυπηρετήσει ένα token είτε κάθε token που αντέχει η απόδοσή του. Όλο το ερώτημα του break-even είναι πού διασταυρώνονται αυτές οι δύο γραμμές.

Αυτή η δεύτερη γραμμή είναι όλο το άρθρο. Διαιρέστε το σταθερό μηνιαίο κόστος ενός μηχανήματος που μπορεί να εξυπηρετήσει το μοντέλο σας με την τιμή ανά token που πληρώνετε σήμερα, και έχετε τον μηνιαίο όγκο στον οποίο οι δύο λογαριασμοί είναι ίσοι. Όλα τα άλλα αφορούν το αν ο φόρτος σας πραγματικά φτάνει αυτόν τον όγκο, και αν τον φτάνει σταθερά.

Τι μετακινεί τη γραμμή

Τρέξτε το με τους αριθμούς σας

1. 01Πάρτε τα τιμολόγια API των τελευταίων τριών μηνών και διαβάστε δύο πράγματα: tokens ανά μήνα, και τη μικτή τιμή ανά token (ο λογαριασμός διά τα tokens). Τα tokens εισόδου και εξόδου τιμολογούνται διαφορετικά, οπότε αναμείξτε τα στην αναλογία που πραγματικά χρησιμοποιείτε.
2. 02Σημειώστε το σχήμα του όγκου, όχι μόνο το σύνολο. Τρεις παρόμοιοι μήνες είναι σταθερότητα. Ένας μήνας στο τριπλάσιο των άλλων είναι κορύφωση, και μια κορύφωση πρέπει να τιμολογείται ως νοικιασμένη χωρητικότητα.
3. 03Αποφασίστε το μοντέλο και την ακρίβεια που περνούν τον πήχη ποιότητάς σας, με τα δικά σας prompts. Αυτή η επιλογή ορίζει ποιο μηχάνημα χρειάζεται, και το διαστασιολογούμε μαζί σας.
4. 04Διαιρέστε το σταθερό μηνιαίο κόστος του μηχανήματος με τη μικτή τιμή σας ανά token. Αυτός είναι ο όγκος break-even σας. Συγκρίνετέ τον με τον σταθερό μηνιαίο όγκο σας, με τη χρήση που ρεαλιστικά μπορείτε να διατηρήσετε.
5. 05Αν ο σταθερός όγκος σας βρίσκεται πάνω από το break-even με περιθώριο, το μηχάνημα κερδίζει στο κόστος και σε όλα τα άλλα. Αν βρίσκεται κάτω, μείνετε στο API προς το παρόν και επιστρέψτε όταν μεγαλώσει, ή αποφασίστε με βάση τους λόγους ελέγχου και μόνο, με ανοιχτά μάτια.

Η περίπτωση που δεν φθίνει

Η περίπτωση του κόστους είναι πραγματική για σταθερούς φόρτους υψηλού όγκου, και είναι ο πιο αδύναμος λόγος να έχετε μηχάνημα, γιατί είναι ο μόνος που μια μείωση τιμής ενός ανταγωνιστή μπορεί να αφαιρέσει. Οι άλλοι ισχύουν σε οποιαδήποτε τιμή. Τα prompts σας μένουν σε hardware που είναι δικό σας, σε δικαιοδοσία που επιλέξατε. Η έκδοση μοντέλου που επικυρώσατε μένει διαθέσιμη μέχρι να αποφασίσετε εσείς διαφορετικά, και όχι μέχρι να την αποσύρει ένας προμηθευτής. Η πιο φορτωμένη σας μέρα εξυπηρετείται με την πλήρη απόδοση του μηχανήματος, όχι με όριο ρυθμού που ορίζει ο σχεδιασμός χωρητικότητας κάποιου άλλου. Και ο λογαριασμός είναι ο ίδιος αριθμός κάθε μήνα, που είναι διαφορετικό είδος οικονομίας από ένα φθηνότερο token.

Γι' αυτό προτάσσουμε την αριθμητική και όχι μια υπόσχεση. Αν η αριθμητική λέει ότι το μηχάνημα κερδίζει, καλώς. Αν λέει ότι το API κερδίζει ακόμα στο κόστος, η απόφαση γίνεται ζήτημα των άλλων λόγων, και κάποιοι φόρτοι πρέπει να μείνουν στο API. Προτιμάμε να το πούμε αυτό παρά να διαστασιολογήσουμε ένα μηχάνημα για όγκο που δεν υπάρχει.