Власна чи орендована GPU: завантаження, локальність даних, підтримка

Де оренда є правильною відповіддю

Карта погодинно є правильним інструментом для експерименту, сплеску, моделі, яку ви хочете спробувати на один вечір, або навчального прогону, який ви зробите один раз. Еластичність реальна, і за неї варто платити, коли робота є періодичною. Питання в тому, що відбувається, коли робота перестає бути періодичною: endpoint для inference, що обслуговує ваш застосунок цілий день, нічний fine-tune, конвеєр embeddings, який щотижня переобробляє сховище документів. У цей момент порівняння змінюється з ціни за годину на ціну за корисну годину, і ці дві розходяться.

Завантаження є вимірюванням, а не думкою

Точка перетину між орендою і володінням є питанням робочого циклу, і відповідь на нього дає вибірка, а не оцінка. На тому, що ви запускаєте сьогодні, логуйте завантаження й пам'ять GPU протягом репрезентативного тижня.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Карта, зайнята кілька годин на день і простоююча решту часу, є орендою. Карта, зайнята більшу частину дня або така, що мусить бути доступною в ту ж мить, коли надходить запит, незалежно від того, наскільки вона зайнята, є машиною, бо за доступність платять незалежно від того, крутиться лічильник чи ні. Арифметика порівняння цих двох є в статті перестаньте порівнювати GPU погодинно; вибірка вище є вхідними даними, яких вона потребує.

Локальність даних: модель є малою частиною

Модель є файлом, що вміщується на одній машині. Дані довкола неї не вміщуються: сховище документів, про яке вона відповідає на запитання, embeddings, побудовані з нього, запити та відповіді, журнали доступу, яких попросить аудитор. Кожне з цього має бути там, де GPU. На орендованій карті це означає перемістити дані до провайдера перед роботою і заплатити за їх виведення після, або залишити їх там і прийняти, що дані тепер живуть там, де живе сховище провайдера.

На власній машині дані й карта ділять одну стійку. Сховище під ними all-flash, мережа між ними наша, і ніщо не перетинає межу public cloud, щоб бути обробленим. Приклад, який ми будуємо найчастіше, це приватний endpoint для inference для записів, які не можуть покинути організацію: медичні записи, що аналізуються локальною моделлю всередині Digital Realty Athens, із записами, моделлю й журналами на одній машині, а endpoint доступний лише з власної мережі клієнта. Шаблон описаний у статті AI endpoint, якого немає в інтернеті.

Юрисдикція, визначена географією

Для навантажень, які мають залишатися під правом ЄС, ми розміщуємо машину в Digital Realty Athens або Digital Realty Amsterdam (AMS18). Обладнання, оператор і дані тоді перебувають під однією юрисдикцією, а перше запитання аудитора, хто ще на цьому кремнії і кого можна зобов'язати до нього дотягнутися, має коротку відповідь: ніхто інший, і оператор, що сидить перед вами. Спільні та часткові GPU-продукти розміщують інших орендарів на тому самому кристалі. Виділений інстанс у гіперскейлера прибирає сусідів на карті, але зберігає спільні шари гіпервізора, мережі та сховища, а юрисдикція є такою, якою є юрисдикція провайдера.

Підтримка є людиною, яка зібрала цей сервер

Орендована година постачається з API та сторінкою статусу. Власна машина постачається з інженерами, які поставили її в стійку, встановили стек драйверів, налаштували шлях до сховища й підключили мережу. Коли контейнер не бачить карту після оновлення ядра або обсяг пам'яті inference-сервера змінюється між релізами моделі, тікет потрапляє до того, хто вміє читати цю машину. Машина також змінюється тоді, коли вирішуєте ви: без вилучень, без міграцій парку, без виведення з експлуатації карти, під яку ви налаштовувалися, за чиїмось чужим графіком.

Яка карта і як скоро

Усе, чого потребує навантаження: A100, H100, L40, L40S та інші, підібрані під модель і розмір batch, а не під рівень каталогу. Модель класу 70B з правильним квантуванням вміщується в 48 GB пам'яті GPU, що визначає карту раніше, ніж бюджет. Машини поставляються з терміном 48 годин в Афіни, Амстердам чи Торонто, причому розміщення під юрисдикцією ЄС у перших двох.