Як ми змінюємо routing, не питаючи дозволу.

У кожному серйозному інциденті настає момент, коли хтось каже, що routing треба змінити. Що відбувається далі, повністю залежить від того, хто володіє мережею. Провайдер, який їде на орендованому backbone, подає тікет своєму upstream і чекає в чужій черзі. Ми заходимо на власний edge і робимо зміну. Обережно, за правилами, які ми вам покажемо, але робимо. Нікому вище по ланцюгу не треба її схвалювати, планувати чи нагадувати йому, хто ми.

Володіти зміною

Слово для цього не швидкість, а самостійність. Оскільки мережа оголошує себе як наша власна AS, політика routing є нашою: як входить трафік, якому оператору він надає перевагу, що перемикається, коли шлях деградує. Наша група інженерів є тією самою, що відповідає на лінії підтримки, і маршрутизатор наш.

Швидко нічого не варте без безпечно

Можливість змінити будь-що за хвилини безпечна лише з дисципліною, і наша записана. Ось постійні правила для роботи з робочим мережевим обладнанням, процитовані з реального runbook, написаного з реальної експлуатації, а не на дошці:

Кожна зміна на робочому обладнанні йде за письмовим runbook: ім’я хоста перевірено, поточна конфігурація збережена в резервну копію, одна команда за раз, нічого не зберігається в startup до перевірки, і другий інженер спершу бачить план.

Жодне з цих правил не є екзотичним. Важливо те, що вони застосовуються на обладнанні, яким ми володіємо, людьми за два столи одне від одного, а не описані в документі керування змінами третьої сторони.

Чому ми можемо працювати так глибоко

Негламурна відповідь: стандартизація. Edge становлять Cisco ASR 9000 в Афінах і Juniper MX204 в Амстердамі, які живлять fabric Cisco Nexus 9000 EVPN/VXLAN: невеликий, стандартизований набір платформ, які наші інженери знають від початку до кінця, одна операційна граматика згори донизу. Це мережевий близнюк доктрини 3PAR: коли кожна машина говорить одним діалектом, інженер на телефоні о третій ночі може міркувати і про routing, бо це та сама людина і та сама відома система. Немає ескалації до власника backbone, який ніколи про вас не чув, бо над нами немає власника backbone, до якого можна було б ескалювати.

Урок для вас

О третій ночі питання не в тому, чи ваш провайдер привітний. Воно в тому, чи може людина, яка бере слухавку, змінити мережу, чи вона чекає на когось вище по ланцюгу з чергою, комітетом змін і без уявлення, хто ви. Ця єдина здатність, наявна чи ні, є більшою частиною різниці між інцидентом, що триває хвилини, і тим, що триває ніч.