Модель 70B справді вміщується на карті 48GB, щойно ви порахуєте, скільки коштує квантизація.
Модель на 70 мільярдів параметрів справді працює на карті 48GB після квантизації. Чи це правильний вибір, не є фольклором, це арифметика плюс одна чесна розмова про якість, яку хтось має провести з вами до рахунку. Ось і те, і те.
У цій статті 3 розділів
- VRAM, якої потребує модель, є арифметикою, а не фольклором: параметри, помножені на байти на параметр, плюс накладні витрати обслуговування і місце для контексту. Модель 70B у повній 16-бітній точності хоче близько 140GB до накладних витрат. Квантизована до 4 біт, вона лягає в діапазон за 30.
- Тож так, модель 70B працює на карті 48GB. Справжнє питання в тому, скільки 4-бітна квантизація коштує вашому конкретному навантаженню в якості, і чи ця ціна прийнятна (часто) чи ні (іноді).
- Компроміс вимірюваний, а не містичний: квантизуйте, запустіть власні оцінки на власних задачах, порівняйте. Пропозиція, яка пропускає цей крок, є продажем карти, а не підбором конфігурації.
- Наше правило: ми обираємо карту з моделі й навантаження, показуємо вам компроміс і кажемо, коли менша машина є чесною відповіддю.
Є два способи зазнати невдачі в підборі GPU, і більшість команд обирає один із них. Перша команда запитує, скільки коштує запустити серйозну модель, бачить ціну карти 80GB, здригається і кладе весь проєкт на полицю. Друга команда ощадливіша: вона втискає модель у найдешевший GPU, який технічно її завантажує, випускає в роботу і втрачає якість відповідей, якої ніколи не вимірювала, бо ніхто не сказав їй, скільки коштувало стиснення. Протилежні невдачі, та сама причина. Ніхто не провів розмову про підбір конфігурації, бо більшість індустрії ставиться до неї як до загадки специфікацій, а не як до того, чим вона є: арифметики плюс одного чесного компромісу.
Арифметика, яку кожен може перевірити
Ось емпіричне правило, позначене саме так; архітектури і стеки обслуговування зсувають константи, але рамка тримається. Параметр моделі, збережений у 16-бітній точності, займає два байти. У 8-бітній: один байт. У 4-бітній: половину байта. Помножте на кількість параметрів, і ви маєте обсяг ваг. Потім залиште місце для всього, що додає обслуговування: самого рушія і KV-кешу, який росте з довжиною контексту і з кожним одночасним користувачем. Саме через цю останню частину «ваги технічно вміщуються» і «це обслуговує робочий трафік» є двома різними реченнями.
PARAMS
B/PARAM
OVERHEAD
VRAM
Прорахуйте приклад із 70B у круглих числах. При 16 бітах 70 мільярдів параметрів, помножені на два байти, дають приблизно 140GB до накладних витрат: територія кількох GPU. При 8 бітах приблизно 70GB: карта 80GB, комфортно, з місцем, щоб дихати. При 4 бітах приблизно від 35 до 40GB плюс накладні витрати: карта 48GB, із місцем, щоб справді обслуговувати. Одна модель, три точності, три дуже різні цінники. Ось чому «який GPU мені потрібен» не має відповіді, доки хтось не поставить уточнення: в якій точності, для якого навантаження.
Що чесно обслуговує кожен клас карт
Пари нижче є тими самими, через які вас проводить дошка на нашій сторінці GPU Servers, викладеними прозою. Вони чесні в обидва боки: що вміщується і чого це вміщення коштує.
| КЛАС VRAM | ЩО ВІН ЧЕСНО ОБСЛУГОВУЄ | ПІДСТУП |
|---|---|---|
| Клас 48GB (L40S, L40) | Моделі від 24B до 32B у повній точності; моделі класу 70B квантизовані | 70B працює при 4 бітах: прочитайте наступний розділ, перш ніж вирішувати |
| Клас 80GB (A100) | Моделі класу 70B квантизовані комфортно, з місцем для контексту й одночасності | правильний вибір, коли запас якості тонкий або контексти довгі |
| 2× 80GB | 70B у повній точності; 100B і більше квантизовані; територія fine-tuning | купуйте це для навантаження, яке маєте, а не того, якого боїтеся |
Скільки насправді коштує квантизація
Квантизація стискає точність ваг моделі, і ціна в якості реальна, залежна від навантаження і вимірювана. Для багатьох робочих завдань, обґрунтованих відповідей на запитання по знайдених документах, класифікації, видобування, узагальнення, сучасну 4-бітну квантизацію важко відрізнити від повної точності у сліпих перевірках на ваших власних даних. Для критичної до якості генерації, довгих ланцюжків міркування або роботи, де запас і так тонкий, розрив може важити. Хто називає вам універсальний відсоток, той його вигадує. Чесне число береться з одного місця: ваші оцінки, на ваших задачах, запущені на обох версіях, порівняні.
Цей прогін оцінок є частиною того, як ми розгортаємо, а не вправою, залишеною читачеві. Endpoint проходить навантажувальне тестування відносно вашої цілі затримки, а рішення про квантизацію ухвалюється з компромісом перед вашими очима, бо це ваша планка якості і ваші гроші. Ми радше покажемо вам два результати поруч, ніж сховаємо стиснення всередині дешевшої пропозиції.
Яка модель, у якій точності, для яких задач, з якою довжиною контексту, для скількох одночасних користувачів. П’ять запитань. Хто пропонує вам GPU, не поставивши їх, той угадує за ваші гроші.
І напрямок, у якому ніхто не очікує, що продавець обладнання вкаже: вниз. Іноді чесною відповіддю є не карта 80GB, а іноді й не модель 70B. Добре підібрана модель від 24B до 32B у повній точності перемагає сильно стиснуту 70B на багатьох реальних наборах задач, і коштує дешевше в роботі. Ми розраховуємо з навантаження, показуємо вам компроміс, і коли менша машина покриває роботу, кажемо це до рахунку, а не після. Це той самий рефлекс, що й у решті дому: зменшуйте, а не збільшуйте.
“Ми обираємо карту з моделі, а не модель із карти.”
Прямі відповіді
Який GPU мені потрібен, щоб запустити модель 70B?+
При 4-бітній квантизації її обслуговує карта 48GB із місцем для контексту й накладних витрат. При 8 бітах: карта 80GB. У повній 16-бітній точності ви на території кількох GPU. Вибір точності залежить від вашого запасу якості, і це розмова, яку треба провести до карти.
Скільки якості втрачає 4-бітна квантизація?+
Залежить від навантаження, і це вимірювано, а не містично. Обґрунтовані запитання й відповіді, видобування і класифікація часто не показують практичної різниці у сліпих перевірках; генерація з тонким запасом і довгі ланцюжки міркування можуть. Запустіть власні оцінки на обох версіях. Ми робимо це як частину розгортання.
Як розрахувати VRAM для LLM?+
Емпіричне правило: параметри, помножені на байти на параметр (2 при 16 бітах, 1 при 8 бітах, 0,5 при 4 бітах), плюс накладні витрати обслуговування і KV-кеш, що росте з довжиною контексту й одночасністю. Вмістити ваги не те саме, що обслуговувати трафік; залишайте запас.
Чи більший GPU завжди безпечніша покупка?+
Ні, це дорожча здогадка. Безпечнішою покупкою є та, що розрахована з вашої моделі, точності, контексту й одночасності, з виміряним компромісом. Іноді це карта 80GB. Часто ні, і ми скажемо вам, що саме.
Чи можу я запустити меншу модель замість того, щоб квантизувати велику?+
Часто так, і це нерідко вигідніша угода: добре підібрана модель від 24B до 32B у повній точності може перемогти сильно стиснуту 70B на ваших реальних задачах. Це порівняння теж належить до оцінок при підборі, і ми пропонуємо його часто.
Принесіть нам модель, яку хочете запустити.
Ми порахуємо, покажемо вам, скільки коштує квантизація на ваших задачах, і скажемо, чи менша машина є чесною відповіддю.
Переглянути GPU ServersВи дійшли до кінця.
Застосуйте прочитане на практиці
Що ви запускаєте?
Розкажіть нам про навантаження, трафік і вимоги до відновлення. Почніть з конструктора сервера або обговоріть деталі з інженером.
Написано інженерами, які будують і експлуатують інфраструктуру, про яку йдеться.Поговоріть з інженером