Що запитати в постачальника GPU, перш ніж підписувати

Пропозиції GPU здалеку виглядають однаково: назва карти, термін постачання, ціна. Зблизька дві пропозиції з однаковою назвою карти можуть бути дуже різними продуктами, і відмінності вирішують, чи добре працюватиме ваша модель, чи залишаться ваші дані там, де вам потрібно, і чи буде платформа все ще вашою опорою наступного року. Ось запитання, які ми поставили б будь-якому постачальнику, включно з нами самими, і як перевірити відповіді, щойно сервер у ваших руках.

Про обладнання

1. Яка саме карта? Назва моделі не є специфікацією. Одна й та сама родина постачається з різними обсягами пам’яті і в різних форм-факторах: карта PCIe або модуль на платі з високошвидкісним зв’язком між GPU. Для великих моделей пам’ять GPU вирішує, що вміститься, а для роботи на кількох GPU зв’язок між картами вирішує, наскільки добре вона масштабується. Попросіть точний варіант письмово.

2. Вона виділена чи це частка? GPU можна розділити на розділи або ділити за часом між клієнтами. Це нормально, коли ви про це знаєте і це відповідно оцінено. Це ненормально, коли ви вважаєте, що маєте цілу карту. Запитайте, чи отримуєте ви весь фізичний пристрій і чи працює на ньому чиєсь іще навантаження.

3. Що оточує карту? Швидка GPU, яку морить голодом повільний хост, є повільною GPU. Запитайте про процесори, скільки системної пам’яті припадає на GPU, скільки ліній PCIe доходить до кожної карти, про локальний NVMe для ваг моделей і наборів даних, і про мережу між серверами, якщо ви тренуватимете більш ніж на одному.

4. Коли я можу її отримати? Попросіть термін постачання, навколо якого можна планувати, і запитайте, чи буде він таким самим для другого сервера, коли перший виправдає себе.

Про те, де вона живе

5. Де вона фізично і під якою юрисдикцією? Якщо ви обробляєте медичні, юридичні, фінансові або кадрові дані, країна і юридична особа, що експлуатує обладнання, важать не менше за саме обладнання. Запитайте про датацентр, а не про назву регіону.

6. Хто має доступ до сервера та його даних? Запитайте, хто має адміністративний доступ, чи можуть remote hands торкатися машини, як логується доступ і що стається з дисками після закінчення контракту. Хороша відповідь називає метод стирання і пропонує сертифікат.

7. Чи надсилається щось у зовнішній сервіс? Деякі managed-пропозиції AI логують промпти і результати або спрямовують певні запити до моделі третьої сторони. Запитайте прямо, чи будь-який контент, промпт, відповідь, embedding або лог залишає сервер чи мережу постачальника, і отримайте відповідь у контракті.

Про програмне забезпечення

8. Хто підтримує стек драйверів? Драйвери GPU, рантайм CUDA і container toolkit мають відповідати один одному і ядру. Запитайте, хто їх оновлює, як вони тестуються і чи підписані модулі ядра, щоб сервер міг працювати з Secure Boot і політикою безпеки, якої ви очікуєте на будь-якій іншій машині.

9. Чи можу я чисто запускати контейнери з GPU? Більшість стеків AI постачаються як контейнери. Рантайм контейнерів має бачити GPU через container toolkit виробника, без запуску привілейованих контейнерів заради цього.

10. Чи можете ви запустити стек моделі, чи лише здати мені машину? Якісне обслуговування моделі передбачає batching, вибір квантизації, inference-сервер, модель embedding і зазвичай векторну базу даних. Деякі постачальники дають вам пароль root і йдуть. Якщо ви хочете, щоб стек побудували й експлуатували, запитайте, хто це робитиме, і попросіть endpoint, який говорить форматом API, що його вже використовують ваші застосунки, щоб перехід між публічним API і власною моделлю був зміною конфігурації, а не переписуванням.

Про експозицію та вартість

11. Чи є endpoint у публічному інтернеті? Inference endpoint на публічній адресі є поверхнею атаки і рахунком, який чекає, щоб його накрутив хтось інший. Запитайте, чи може він бути досяжним лише з вашої приватної мережі.

12. Від чого залежить вартість? Фіксоване щомісячне обладнання поводиться зовсім інакше, ніж оплата за токен або за запит, у міру зростання використання. Запитайте, що змінює ціну і чи застосовуються rate limits до обладнання, за яке ви платите.

Перевірте в перший день

Щойно сервер ваш, перевірте, що він є тим, що обіцяли:

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

nvidia-smi -q підтверджує точний продукт і його пам’ять і показує, чи ввімкнено ECC і чи зафіксовано якісь помилки. topo -m показує, як GPU з’єднані між собою і з процесорами, що каже вам, чи йде трафік між кількома GPU швидким шляхом. Розділ продуктивності повідомляє тактові частоти і будь-які причини тротлінгу, як-от ліміти живлення чи температури, які ви хочете бачити чистими під тривалим навантаженням. Якщо використовується розділення, воно теж показується тут. Нарешті, запустіть власну модель з власними даними на очікуваній вами паралельності і виміряйте токени за секунду і затримку. Це той бенчмарк, який має значення.

Як на них відповідаємо ми

Ми постачаємо ту датацентрову GPU NVIDIA, якої потребує ваше навантаження, A100, H100, L40, L40S та інші, як виділене обладнання на корпоративних платформах HPE і Dell, з терміном постачання 48 годин, у наших датацентрах в Афінах і Амстердамі всередині ЄС. GPU-сервери будуються як кожен інший сервер, який ми експлуатуємо: підписані виробником модулі ядра, Podman з NVIDIA container toolkit, SELinux у режимі enforcing. Коли ми будуємо зверху приватний стек AI, моделі обслуговуються через OpenAI-сумісні endpoint в ізольованому сегменті мережі, і ніщо на шляху контенту не звертається до зовнішнього сервісу AI. Саме так ми побудували платформу для клієнта, що аналізує медичні записи: кожен крок виконується на локальних моделях усередині Digital Realty Athens, і дані ніколи не торкаються публічної хмари. Диски, що виходять з експлуатації, очищуються за допомогою Blancco, із сертифікатом стирання, збереженим для кожного.

Принесіть нам свою модель і цільову пропускну здатність, і ми скажемо вам, яка карта підходить і чому.

Поговоріть з інженером

Related (rows[1])

Пов’язане: GPU-сервери та приватна інфраструктура AI · Bare metal сервери на HPE і Dell · Приватний Kubernetes на bare metal, OpenShift і OKD