Коли власний хостинг відкритої моделі вигідніший за оплату за токен.
Математика точки беззбитковості, разом із частиною, що грає проти нас: ціни API продовжують падати, тож довговічним аргументом є контроль, а вартість є бонусом. Ось модель, побудована так, щоб ви прогнали її зі своїми числами.
У цій статті 4 розділів
- Власний хостинг вигідніший за оплату за токен, щойно навантаження є стабільним, а його місячний обсяг токенів перевищує точку, в якій машина з фіксованою платою коштує менше, ніж ті самі токени через API. Де саме ця точка, залежить від вашої моделі, точності та завантаження, тож стаття дає вам арифметику, а не число.
- Ціни hosted API продовжують падати. Будь-яка пропозиція, побудована суто на «дешевше за API», знецінюється; наша на цьому не стоїть.
- Машина з фіксованою місячною платою перетворює непередбачуваний рахунок за використання на фіксований рядок бюджету.
- Нижче точки беззбитковості чесна відповідь: поки що залишайтеся на API, і інженер тут вам так і скаже.
Є два способи продавати GPU-обладнання. Один: пообіцяти, що воно дешевше за ваш рахунок за API, що іноді правда, тимчасово, для деяких навантажень, і перестає бути правдою щоразу, коли провайдери API знову знижують ціни. Інший: порахувати чесно. Стабільний обсяг понад певний поріг грає на користь власного обладнання, сплесковий або малий обсяг грає на користь API, а довговічні причини володіти машиною (контроль, юрисдикція, версія моделі, яку ніхто не може зняти з підтримки) зберігаються за будь-якої ціни.
Два рахунки, поруч
Рахунок за API є лічильником. Щомісяця це ваш обсяг токенів, помножений на змішану ціну за токен у вашому рахунку, і він рухається разом із використанням в обидва боки. Рахунок за машину фіксований. Скільки б машина не коштувала на місяць, вона коштує стільки незалежно від того, обслуговує вона один токен чи кожен токен, на який у неї вистачає пропускної здатності. Усе питання беззбитковості зводиться до того, де ці дві лінії перетинаються.
Токени
Ціна
Рахунок API
Машина
Ціна
Беззбитковість
Цей другий рядок і є всією статтею. Поділіть фіксовану місячну вартість машини, здатної обслуговувати вашу модель, на ціну за токен, яку ви платите сьогодні, і ви отримаєте місячний обсяг, за якого два рахунки рівні. Усе інше стосується того, чи справді ваше навантаження досягає цього обсягу, і чи досягає його стабільно.
Що зрушує лінію
Розмір моделі.
Більша модель потребує більше пам'яті й обслуговує менше токенів за секунду на тій самій карті, тож машина, яка її запускає, коштує дорожче, а обсяг беззбитковості розташований вище. Менша модель зрушує його вниз. Виберіть найменшу модель, яка проходить вашу планку якості, перш ніж будь-що оцінювати.
Точність і квантування.
Запуск моделі з нижчою точністю зменшує її обсяг у пам'яті й часто підвищує пропускну здатність, що дозволяє меншій машині виконати роботу і знижує беззбитковість. Ціна цього компромісу за якістю вимірюється на вашому власному наборі для оцінювання, і її слід міряти, а не припускати. Ми описали, що квантування коштує і чого не коштує, у статті модель 70B справді вміщується на карті з 48GB.
Завантаження.
Машина, зайнята чверть часу, коштує вчетверо дорожче за токен, ніж та сама машина, що працює постійно. Це чиста арифметика, і це доданок, який більшість пропозицій self-hosting пропускає. Стабільний цілодобовий трафік заслуговує на машину; навантаження, що стрибає дві години на день і спить решту часу, краще орендувати, ніж володіти ним, якщо тільки інші причини володіти не переважать.
Падіння ціни API.
Яку б беззбитковість ви не обчислили сьогодні, вона дрейфує вгору щоразу, коли ціна API за токен падає, бо та сама машина тепер мусить витіснити дешевші токени. Рішення, ухвалене лише за вартістю, потребує перевірки проти кожного нового прайс-листа. Рішення, ухвалене заради контролю, не рухається.
Прорахуйте зі своїми числами
- 01Візьміть рахунки за API за останні три місяці й випишіть дві речі: токени на місяць і змішану ціну за токен (рахунок, поділений на токени). Вхідні й вихідні токени тарифікуються по-різному, тож змішайте їх у тому співвідношенні, в якому ви їх справді використовуєте.
- 02Зверніть увагу на форму обсягу, а не лише на підсумок. Три схожі місяці є стабільністю. Один місяць із потроєним обсягом є сплеском, а сплеск слід оцінювати як орендовану потужність.
- 03Визначте модель і точність, які проходять вашу планку якості, на ваших власних запитах. Цей вибір визначає, яка машина потрібна, і ми підбираємо її разом із вами.
- 04Поділіть фіксовану місячну вартість машини на вашу змішану ціну за токен. Це ваш обсяг беззбитковості. Порівняйте його з вашим стабільним місячним обсягом, із завантаженням, яке ви реально можете підтримувати.
- 05Якщо ваш стабільний обсяг лежить вище беззбитковості із запасом, машина виграє за вартістю і за всім іншим. Якщо нижче, поки що залишайтеся на API і повертайтеся, коли обсяг виросте, або вирішуйте лише з причин контролю, з відкритими очима.
Аргумент, який не знецінюється
Аргумент вартості реальний для стабільних навантажень великого обсягу, і він є найслабшою причиною володіти машиною, бо це єдина причина, яку може забрати зниження ціни конкурентом. Інші зберігаються за будь-якої ціни. Ваші запити залишаються на обладнанні, яке є вашим, у юрисдикції, яку ви обрали. Версія моделі, яку ви перевірили, залишається доступною, доки ви не вирішите інакше, а не доки постачальник її не зніме. Ваш найзавантаженіший день обслуговується на повній пропускній здатності машини, а не за лімітом, встановленим чиїмось чужим плануванням потужностей. А рахунок є тим самим числом щомісяця, що є іншим видом економії, ніж дешевший токен.
Саме тому ми починаємо з арифметики, а не з обіцянки. Якщо математика каже, що машина виграє, добре. Якщо каже, що API все ще виграє за вартістю, рішення стає питанням інших причин, і деякі навантаження все ж мають залишатися на API. Ми радше скажемо це, ніж підберемо машину під обсяг, якого немає.
Прямі відповіді
Де приблизно точка беззбитковості?+
Це фіксована місячна вартість вашої машини, поділена на ціну за токен, яку ви платите через API, і вона рухається разом із вашою моделлю, точністю та завантаженням, тож одне число було б хибним для більшості читачів. «Стабільний» є ключовим словом у кожній версії відповіді; сплескове навантаження краще орендувати, ніж володіти ним.
Чи не зітруть падіння цін API цей аргумент повністю?+
Вони підточують суто вартісний аргумент, саме тому ми не починаємо з нього. Вони нічого не роблять з аргументом контролю: ваші дані залишаються на вашій машині, ваша версія моделі залишається доступною, ваш рахунок залишається фіксованим незалежно від використання.
Чи скажете ви нам, якщо self-hosting для нас не вигідний?+
Так. Принесіть рахунки, і інженер прорахує модель разом із вами. Машина, підібрана під навантаження, якого ще немає, нікому не допомагає; ми радше почекаємо, поки обсяг з'явиться.
Машину треба купити, чи можна орендувати помісячно?+
Будь-що, і арифметика та сама: фіксована місячна сума проти тарифікованої. Суть володіння чи виділення машини в тому, що вартість перестає рухатися разом із використанням, а не в бухгалтерському обліку.
Принесіть нам свій рахунок за AI API
Інженер прорахує беззбитковість з вашими числами і скаже прямо, якщо API все ще є правильною відповіддю.
Переглянути GPU serversВи дійшли до кінця.
Застосуйте прочитане на практиці
Що ви запускаєте?
Розкажіть нам про навантаження, трафік і вимоги до відновлення. Почніть з конструктора сервера або обговоріть деталі з інженером.
Написано інженерами, які будують і експлуатують інфраструктуру, про яку йдеться.Поговоріть з інженером