Блог EuroVPS
Нотатки з практики.
З машинного відділення.
Рішення, розслідування та уроки з експлуатації робочої інфраструктури. Написано людьми, які про неї дбають.
Архів
Більше від команди.
Модель 70B справді вміщується на карті 48GB, щойно ви порахуєте, скільки коштує квантизація.
Дві команди зазнають невдачі в підборі GPU у протилежних напрямках: одна лякається карти 80GB і закриває проєкт; інша втискає все в найдешевший GPU і втрачає якість, якої ніколи не вимірювала. Та сама пропущена розмова. Математика VRAM, яку кожен може перевірити, що чесно обслуговує кожен клас карт і скільки насправді коштує квантизація, показано так, щоб вирішували ви.
Чому ваша VM не має swap
VM, які ми будуємо, поставляються без swap. Підкачка на flash робить нестачу пам'яті повільнішою для виявлення і дорожчою в обслуговуванні, а виправлення є тим самим, яким було завжди: RAM.
Піти з API є одним рядком коду.
Команди залишаються на хостингованих AI API довго після того, як хочуть піти, бо хтось сказав речення, яке закінчує нараду: ми надто інтегровані, це переписування. Для інфраструктури під сподом переписування не існує. Світ обслуговування стандартизувався на одному форматі обміну, і приватний endpoint, який ми передаємо, говорить ним нативно. Ваш SDK не знає, що переїхав.
Ваш постачальник AI обмежує ваш найкращий день.
Кожен розробник на hosted AI API зустрічав цю трійцю: 429, помилку нестачі потужності, latency, що розтягується на піку. Вони скупчуються у ваші найбільші дні, бо саме тоді стикаються найбільші дні всіх. Це не невдача. Це схема розсадки, і своє місце ви не контролюєте.
Що слово SSD приховує про storage вашого хостера
Три архітектури, що ховаються за словом SSD, що насправді дає вам виділений all-flash масив, і п'ять запитань, які витягнуть чесну відповідь про storage з будь-якого хостера.
Резервована, за чиїми словами?
«Повністю резервована мережа» є галочкою, яка нічого не означає, якщо сторона, що це заявляє, не контролює failover, а орендар на чужому backbone резервований лише з дозволу. На відміну від числа uptime, це ви можете перевірити самі у публічній таблиці маршрутизації. Ось як її читати, для провайдера, якого ви маєте зараз, і для того, якого зважуєте.
Вам не належить ваша мережа, і це ваш справжній lock-in.
Більшість хостерів орендують свій backbone і перепродають його як власний. Поставте одне запитання, перш ніж підписувати: кому належить AS, яким їздить ваш трафік?
Десять тікетів підтримки за десять років: так виглядає нудна інфраструктура.
Національний новинний видавець із нами десять років і відкрив близько десяти тікетів, включно з виборчими ночами. Ось як нудна інфраструктура проєктується, а не трапляється випадково.
Як ми готуємо новинний сайт до піку відвідуваності.
Трафік знаходить ту стелю, яку задала конфігурація. Підготовка новинного сайту до його найкращого дня є здебільшого арифметикою і читанням правильних чисел, а не купівлею обладнання. Ось метод.
Чому ваші листи потрапляють у спам (і що це говорить про вашого провайдера).
Поштові сервери одержувачів оцінюють вашу IP відправника, її reverse DNS і репутацію її сусідів ще до того, як прочитають бодай слово вашого змісту. Половину цієї оцінки ви успадковуєте від провайдера. Ось половина, яку контролюєте ви, у правильному порядку, і половина, яку варто перевіряти, перш ніж десь реєструватися.
Ми маємо тверду думку про обладнання, щоб вам не довелося її мати.
Довгий конфігуратор є домашнім завданням. Ми ухвалили рішення про сховище, мережу й обчислення один раз, свідомо. Ось що ми обрали і чому.
Плата за egress існує, щоб вихід виглядав дорожчим за те, щоб залишитися.
Дані входять до hyperscaler безкоштовно і платять, щоб вийти. Чотири рядки з вашого останнього рахунку покажуть, чи справді цей лічильник є перешкодою.
Чому ваш новий сервер у бенчмарках повільніший за старий, хоча насправді ні.
Поширене запитання після міграції: чи означає нижче значення bogomips повільніший сервер. Не означає: bogomips не вимірює нічого, що ви хотіли б купити. Ось як довести це реальною роботою.
Ваш DR-трафік щодня їздить публічним інтернетом.
Кожна перевірка відповідності питає, де живуть ваші дані. Майже жодна не питає, чим вони їздять між майданчиками: реплікація, синхронізація DR, трафік failover. Деякі провайдери пересилають реплікацію через публічний інтернет. Наша їздить завжди ввімкненим IPsec mesh між нашими дата-центрами, за замовчуванням, бо ми володіємо мережею на обох кінцях.
Ваш AI endpoint не мусить бути в інтернеті.
Стандартна архітектурна схема ставить модель за публічний URL і вішає на нього іконку замочка. Ніхто не ставить попереднього запитання: чому endpoint узагалі в інтернеті? Ваші документи приватні, ваш застосунок приватний, машина лише ваша. Публічна ланка існує за замовчуванням, а не з потреби, і від необов’язкового відкриття варто відмовлятися.
Асистент знань, який ніколи не покидає вашу будівлю.
Найбажаніша функція корпоративного AI є асистентом, який відповідає з ваших власних контрактів, тікетів і вікі. Перешкода завжди та сама: ці документи не можуть піти до стороннього API. І не мусять. Увесь конвеєр працює на одному single-tenant GPU server, і ніщо його не покидає, включно з частиною, про яку всі забувають: векторною базою даних, яка фактично є вашою компанією у закодованому вигляді.
Лічильник на вашому диску і масив без лічильника
На орендованому томі provisioned IOPS тарифікуються за виділенням. Ось як виглядає той самий диск, коли all-flash масив під ним належить вам.
Справжній VPC є властивістю обладнання, а не рядком у чиїйсь базі даних.
Ізоляція кожного орендаря на leaf-spine fabric, стійкість із multi-homing і шифрований mesh між дата-центрами: що означає приватна мережа, коли вона не є галочкою в чужій консолі.
Як ми доводимо, що двері зачинені, до go-live.
Перед тим як сайт іде в роботу, ми атакуємо справжній origin з машини, якій наш власний firewall ніколи не казали довіряти, скануємо всі 65 535 портів і підтверджуємо, що двері зачинені так, як це бачив би зловмисник: connection refused, а не сторінка входу.
Що таке virtual data center (vDC) і коли він є правильним вибором
Virtual data center дає організації власний пул обчислень, пам’яті, сховища і мережі, керований як єдине ціле, зі свободою створювати всередині нього все, що їй потрібно. Що таке vDC, як він порівнюється з альтернативами і як ми його постачаємо.
Налаштування WordPress Multisite з nginx і PHP-FPM на RHEL 9 і 10
Повна, робоча конфігурація WordPress Multisite на nginx і PHP-FPM на Red Hat Enterprise Linux 9 і 10 та сумісних системах: пакети, pool PHP-FPM, server block nginx для мереж subdirectory і subdomain, TLS, SELinux, firewalld, wp-config.php і перевірка.
Найпопулярніше
Посібники, до яких читачі повертаються- 0110 причин, чому ваш сайт повільно завантажується (і як їх виправити)
- 02Важливі файли журналів Linux, за якими ви маєте стежити в RHEL 9 і 10
- 03Налаштування WordPress Multisite з nginx і PHP-FPM на RHEL 9 і 10
- 04Архімед і поліспаст. Як одна людина зрушила корабель
- 05Повний посібник з кодів стану HTTP. Серія 300
- 06Повний посібник з кодів стану HTTP. Серія 400
- 07Скільки RAM, CPU, диска та IOPS насправді потрібно вашому VPS?
Застосуйте прочитане на практиці
Маєте на думці конкретне навантаження?
Почніть з цифр.
Інструменти підбору конфігурації перетворюють ваші вимоги на пропоновану конфігурацію та орієнтовний діапазон цін. Інженер допоможе вам оцінити, що підходить.
