Що ми робимо · Мережа: Як ми вносимо зміни: дисципліна змін у мережі
Більшість збоїв спричинені не обладнанням. Їх спричиняє зміна. Тому те, як провайдер змінює свою мережу, важить не менше, ніж те, з чого вона побудована. Кожна зміна в мережі, яку ми робимо, на кожній платформі, іде за однією дисципліною, і саме тому нашим клієнтам рідко взагалі доводиться чути про наші технічні роботи.
Що це
Фіксований набір правил, що стосується кожного маршрутизатора, комутатора, firewall і шлюзу, який ми експлуатуємо, незалежно від того, чи це один VLAN, чи новий протокол на всій fabric. Правила не прогинаються під терміновість і не залежать від того, хто на зміні.
Як ми це будуємо
- Автоматичний відкат там, де платформа його пропонує. На маршрутизаторах Cisco ми застосовуємо конфігурацію з revert timer, тож зміна, яка відрізає доступ, скасовує сама себе. Міграції firewall використовують скриптовані cutover з автоматичним відкатом за результатом ping. Великі розгортання роблять автоматичні snapshot кожної сесії маршрутизації до і після та відкочуються самі, якщо щось відрізняється.
- Правила перевіряють машини. Карта VLAN до VXLAN у fabric щогодини порівнюється з криптографічно підписаним baseline у системі контролю версій. Firewall налаштовуються лише через їхній API. Нові клієнтські шлюзи звіряються з перевіреним еталоном до того, як буде видано хоч один обліковий запис.
- Записи відповідають реальності. Кожен кабель має унікальний надрукований ідентифікатор на обох кінцях, виданий єдиним allocator, який ніколи не використовує номер повторно, і кожен об’єкт, якого ми торкаємося, оновлюється в DCIM у тій самій сесії.
Від чого це вас захищає
- Від того, що технічні роботи стають вашим збоєм.
- Від невдалої зміни без швидкого шляху назад.
- Від того, що обидві половини резервованої системи падають разом, бо їх торкнулися разом.
- Від розходження між тим, що каже документація, і тим, що робить мережа.
- Від змін, які неможливо відстежити до часу, причини та автора.
На практиці
Протокол, доданий на живій fabric. Коли ми додаємо протокол чи сімейство адрес на всій fabric, робота йде суворими партіями, по одному пристрою за раз, ніколи обидві половини пари разом, з автоматичними snapshot маршрутизації до і після кожного кроку та самовідкатом приблизно за тридцять секунд, якщо щось відрізняється.
Міграції firewall по одному VLAN. Коли сегмент мережі переїжджає з однієї платформи firewall на іншу, новий firewall спершу приєднується до маршрутизації, нічого не анонсуючи. Потім він перебирає по одному VLAN за раз через скриптований cutover, який автоматично відкочується, якщо перевірки доступності не проходять.
Fabric з аудиторським слідом. Кожну заплановану зміну карти сегментів fabric потрібно підписати заново і закомітити в систему контролю версій. Будь-яка незапланована різниця викликає інженера протягом години. Кожна зміна має автора, час і причину.
Чому EuroVPS
- Та сама письмова дисципліна на кожній платформі, щоразу.
- Резервування поважають під час змін, а не лише під час відмов.
- Автоматичний відкат усюди, де платформа його підтримує.
- Перевірки, які виконує машина, замість добрих намірів.
- Документація, що оновлюється в тій самій сесії, що й зміна.
Часті запитання
Чи потребують зміни в мережі простою мого сервісу? Рідко. Більшість змін робляться наживо, одна половина резервованої пари за раз, тож ваш трафік продовжує йти через іншу половину.
Чи попередите ви мене перед зміною, яка може мене зачепити? Так. Якщо зміна може торкнутися вашого трафіку, ми спершу погоджуємо з вами час.
Що станеться, якщо зміна піде не так? Конфігурація, що була до зміни, вже збережена, і на більшості наших платформ відкат автоматичний.
Чи можете ви показати мені, що змінилося? Так. Наші зміни записуються з точними командами, а зміни fabric версіонуються з автором і часом.
Якщо ви хочете, щоб вашу платформу експлуатували люди, які змінюють речі так обережно, поговоріть з інженером.
Ваш наступний партнер з інфраструктури
Погляньмо на вашу інфраструктуру.
Розкажіть, що ви запускаєте сьогодні і що потребує покращення. Інженер розгляне ваш запит і допоможе спланувати наступний крок.
+357 222 32280
Почнімо з вашої інфраструктури.
Трохи контексту допомагає нам почати правильну розмову.