Ένα μοντέλο 70B πράγματι χωράει σε μια κάρτα 48GB, μόλις μετρήσετε τι κοστίζει το quantization.
Ένα μοντέλο 70 δισεκατομμυρίων παραμέτρων τρέχει πραγματικά σε μια κάρτα 48GB μόλις γίνει quantized. Το αν είναι η σωστή επιλογή δεν είναι λαογραφία, είναι αριθμητική συν μια τίμια συζήτηση για την ποιότητα που κάποιος θα έπρεπε να κάνει μαζί σας πριν από το τιμολόγιο. Εδώ είναι και τα δύο.
Σε αυτό το άρθρο 3 ενότητες
- Η VRAM που χρειάζεται ένα μοντέλο είναι αριθμητική, όχι λαογραφία: παράμετροι επί bytes ανά παράμετρο, συν overhead εξυπηρέτησης και χώρο για context. Ένα μοντέλο 70B σε πλήρη ακρίβεια 16-bit θέλει γύρω στα 140GB πριν από το overhead. Quantized σε 4-bit, προσγειώνεται στα υψηλά 30.
- Οπότε ναι, ένα μοντέλο 70B τρέχει σε μια κάρτα 48GB. Η πραγματική ερώτηση είναι τι κοστίζει το 4-bit quantization στον συγκεκριμένο φόρτο εργασίας σας σε ποιότητα, και αν αυτή η τιμή είναι εντάξει (συχνά) ή όχι (μερικές φορές).
- Το trade-off είναι μετρήσιμο, όχι μυστικιστικό: κάντε quantize, τρέξτε τα δικά σας evals στις δικές σας εργασίες, συγκρίνετε. Μια προσφορά που παραλείπει αυτό το βήμα είναι πώληση κάρτας, όχι διαστασιολόγηση.
- Ο κανόνας μας: διαλέγουμε την κάρτα από το μοντέλο και τον φόρτο εργασίας, σας δείχνουμε το trade-off, και το λέμε όταν το μικρότερο μηχάνημα είναι η τίμια απάντηση.
Υπάρχουν δύο τρόποι να αποτύχετε στη διαστασιολόγηση GPU και οι περισσότερες ομάδες διαλέγουν έναν. Η πρώτη ομάδα ρωτά τι κοστίζει να τρέξει ένα σοβαρό μοντέλο, βλέπει την τιμή μιας κάρτας 80GB, τρομάζει, και βάζει όλο το έργο στο ράφι. Η δεύτερη ομάδα είναι πιο οικονόμα: στριμώχνει το μοντέλο στη φθηνότερη GPU που τεχνικά το φορτώνει, το βγάζει στον αέρα, και χάνει ποιότητα απαντήσεων που δεν μέτρησε ποτέ, γιατί κανείς δεν της είπε τι κόστισε η συμπίεση. Αντίθετες αποτυχίες, ίδια αιτία. Κανείς δεν έκανε τη συζήτηση διαστασιολόγησης, γιατί το μεγαλύτερο μέρος του κλάδου την αντιμετωπίζει ως μυστήριο φυλλαδίου προδιαγραφών αντί γι' αυτό που είναι: αριθμητική, συν ένα τίμιο trade-off.
Η αριθμητική που μπορεί να ελέγξει ο καθένας
Να ο εμπειρικός κανόνας, σημειωμένος ακριβώς ως τέτοιος. Οι αρχιτεκτονικές και τα serving stacks μετακινούν τις σταθερές, αλλά το πλαίσιο κρατά. Μια παράμετρος μοντέλου αποθηκευμένη σε ακρίβεια 16-bit πιάνει δύο bytes. Σε 8-bit, ένα byte. Σε 4-bit, μισό byte. Πολλαπλασιάστε με τον αριθμό των παραμέτρων και έχετε το αποτύπωμα των βαρών. Μετά αφήστε χώρο για όλα όσα προσθέτει η εξυπηρέτηση: την ίδια τη μηχανή, και την KV cache, που μεγαλώνει με το μήκος του context και με κάθε ταυτόχρονο χρήστη. Αυτό το τελευταίο είναι ο λόγος που «τα βάρη τεχνικά χωρούν» και «αυτό σερβίρει κίνηση παραγωγής» είναι δύο διαφορετικές προτάσεις.
PARAMS
B/PARAM
OVERHEAD
VRAM
Τρέξτε το παράδειγμα των 70B με στρογγυλούς αριθμούς. Σε 16-bit, 70 δισεκατομμύρια παράμετροι επί δύο bytes είναι περίπου 140GB πριν από το overhead: έδαφος πολλαπλών GPU. Σε 8-bit, περίπου 70GB: μια κάρτα 80GB, άνετα, με χώρο να αναπνεύσει. Σε 4-bit, περίπου 35 έως 40GB συν overhead: μια κάρτα 48GB, με χώρο που περισσεύει για να σερβίρει πραγματικά. Ένα μοντέλο, τρεις ακρίβειες, τρεις πολύ διαφορετικές τιμές. Γι' αυτό το «τι GPU χρειάζομαι» δεν έχει απάντηση μέχρι κάποιος να κάνει την επόμενη ερώτηση: σε ποια ακρίβεια, για ποιον φόρτο εργασίας.
Τι εξυπηρετεί τίμια κάθε κατηγορία κάρτας
Οι αντιστοιχίσεις παρακάτω είναι οι ίδιες που σας περνά ο πίνακας στη σελίδα GPU Servers, σε πεζό λόγο. Είναι τίμιες και προς τις δύο κατευθύνσεις: τι χωράει, και τι κοστίζει το ότι χωράει.
| ΚΑΤΗΓΟΡΙΑ VRAM | ΤΙ ΕΞΥΠΗΡΕΤΕΙ ΤΙΜΙΑ | Η ΠΑΓΙΔΑ |
|---|---|---|
| Κατηγορία 48GB (L40S, L40) | Μοντέλα 24B έως 32B σε πλήρη ακρίβεια. Μοντέλα κατηγορίας 70B quantized | το 70B τρέχει σε 4-bit: διαβάστε την επόμενη ενότητα πριν αποφασίσετε |
| Κατηγορία 80GB (A100) | Μοντέλα κατηγορίας 70B quantized άνετα, με χώρο για context και ταυτόχρονους χρήστες | η σωστή επιλογή όταν τα περιθώρια ποιότητας είναι στενά ή τα contexts μακριά |
| 2× 80GB | 70B σε πλήρη ακρίβεια. 100B και πάνω quantized. Έδαφος fine-tuning | αγοράστε το για τον φόρτο εργασίας που έχετε, όχι γι' αυτόν που φοβάστε |
Τι κοστίζει πραγματικά το quantization
Το quantization συμπιέζει την ακρίβεια των βαρών του μοντέλου, και το κόστος σε ποιότητα είναι πραγματικό, εξαρτώμενο από τον φόρτο εργασίας, και μετρήσιμο. Για πολλή δουλειά παραγωγής, θεμελιωμένες ερωταπαντήσεις πάνω σε ανακτημένα έγγραφα, ταξινόμηση, εξαγωγή, περίληψη, το σύγχρονο 4-bit quantization δύσκολα ξεχωρίζει από την πλήρη ακρίβεια σε τυφλούς ελέγχους στα δικά σας δεδομένα. Για παραγωγή κειμένου κρίσιμη ως προς την ποιότητα, μακριές αλυσίδες συλλογισμού, ή δουλειά όπου τα περιθώρια είναι ήδη στενά, το χάσμα μπορεί να μετράει. Όποιος σας λέει ένα καθολικό ποσοστό το επινοεί. Ο τίμιος αριθμός έρχεται από ένα μέρος: τα evals σας, στις εργασίες σας, τρεγμένα και στις δύο εκδοχές, συγκρινόμενα.
Αυτό το τρέξιμο evals είναι μέρος του πώς κάνουμε deploy, όχι άσκηση που αφήνεται στον αναγνώστη. Το endpoint περνά load test απέναντι στον στόχο latency σας, και η απόφαση για quantization παίρνεται με το trade-off μπροστά σας, γιατί είναι ο δικός σας πήχης ποιότητας και τα δικά σας χρήματα. Προτιμούμε να σας δείξουμε τις δύο εξόδους δίπλα δίπλα παρά να κρύψουμε τη συμπίεση μέσα σε μια φθηνότερη προσφορά.
Ποιο μοντέλο, σε ποια ακρίβεια, για ποιες εργασίες, σε ποιο μήκος context, για πόσους ταυτόχρονους χρήστες. Πέντε ερωτήσεις. Όποιος σας δίνει προσφορά για GPU χωρίς να τις κάνει μαντεύει με τα χρήματά σας.
Και η κατεύθυνση που κανείς δεν περιμένει να δείξει ένας πωλητής hardware: προς τα κάτω. Μερικές φορές η τίμια απάντηση δεν είναι η κάρτα 80GB, και μερικές φορές δεν είναι ούτε το μοντέλο 70B. Ένα καλά επιλεγμένο μοντέλο 24B έως 32B σε πλήρη ακρίβεια νικά ένα βαριά στριμωγμένο 70B σε πολλά πραγματικά σύνολα εργασιών, και κοστίζει λιγότερο να τρέξει. Διαστασιολογούμε από τον φόρτο εργασίας, σας δείχνουμε το trade-off, και όταν το μικρότερο μηχάνημα καλύπτει τη δουλειά το λέμε πριν από το τιμολόγιο, όχι μετά. Είναι το ίδιο αντανακλαστικό με το υπόλοιπο σπίτι: μικρότερα, όχι μεγαλύτερα.
“Διαλέγουμε την κάρτα από το μοντέλο, όχι το μοντέλο από την κάρτα.”
Ευθείες απαντήσεις
Τι GPU χρειάζομαι για να τρέξω ένα μοντέλο 70B;+
Σε 4-bit quantization, μια κάρτα 48GB το σερβίρει με χώρο για context και overhead. Σε 8-bit, μια κάρτα 80GB. Σε πλήρη ακρίβεια 16-bit είστε σε έδαφος πολλαπλών GPU. Η επιλογή ακρίβειας εξαρτάται από τα περιθώρια ποιότητάς σας, που είναι η συζήτηση που πρέπει να γίνει πριν από την κάρτα.
Πόση ποιότητα χάνει το 4-bit quantization;+
Εξαρτάται από τον φόρτο εργασίας, και είναι μετρήσιμο και όχι μυστικιστικό. Θεμελιωμένες ερωταπαντήσεις, εξαγωγή και ταξινόμηση συχνά δεν δείχνουν πρακτική διαφορά σε τυφλούς ελέγχους. Παραγωγή κειμένου με στενά περιθώρια και μακριές αλυσίδες συλλογισμού μπορεί. Τρέξτε τα δικά σας evals και στις δύο εκδοχές. Εμείς το κάνουμε ως μέρος του deployment.
Πώς υπολογίζω τη VRAM για ένα LLM;+
Εμπειρικός κανόνας: παράμετροι επί bytes ανά παράμετρο (2 σε 16-bit, 1 σε 8-bit, 0.5 σε 4-bit), συν overhead εξυπηρέτησης και μια KV cache που μεγαλώνει με το μήκος του context και τους ταυτόχρονους χρήστες. Το να χωρούν τα βάρη δεν είναι το ίδιο με το να σερβίρετε κίνηση. Αφήστε περιθώριο.
Είναι μια μεγαλύτερη GPU πάντα η ασφαλέστερη αγορά;+
Όχι, είναι η ακριβότερη εικασία. Η ασφαλέστερη αγορά είναι αυτή που διαστασιολογείται από το μοντέλο, την ακρίβεια, το context και τους ταυτόχρονους χρήστες σας, με το trade-off μετρημένο. Μερικές φορές αυτή είναι η κάρτα 80GB. Συχνά δεν είναι, και θα σας πούμε ποια.
Μπορώ να τρέξω μικρότερο μοντέλο αντί να κάνω quantize ένα μεγάλο;+
Συχνά ναι, και είναι συχνά η καλύτερη επιλογή: ένα καλά επιλεγμένο μοντέλο 24B έως 32B σε πλήρη ακρίβεια μπορεί να νικήσει ένα βαριά στριμωγμένο 70B στις πραγματικές σας εργασίες. Αυτή η σύγκριση ανήκει κι αυτή στα evals διαστασιολόγησης, και είναι μία που προτείνουμε συχνά.
Φέρτε μας το μοντέλο που θέλετε να τρέξετε.
Θα κάνουμε την αριθμητική, θα σας δείξουμε τι κοστίζει το quantization στις εργασίες σας, και θα σας πούμε αν το μικρότερο μηχάνημα είναι η τίμια απάντηση.
Δείτε τους GPU ServersΦτάσατε στο τέλος.
Βάλτε την ανάγνωση σε εφαρμογή
Τι τρέχετε;
Πείτε μας για τον φόρτο εργασίας, την κίνηση και τις απαιτήσεις ανάκαμψης. Ξεκινήστε από το εργαλείο διαμόρφωσης server ή συζητήστε τις λεπτομέρειες με έναν μηχανικό.
Γραμμένο από τους μηχανικούς που χτίζουν και λειτουργούν την υποδομή που περιγράφει.Μιλήστε με έναν μηχανικό