Como alteramos o routing sem pedir autorização.

Há um momento em todos os incidentes sérios em que alguém diz que o routing tem de mudar. O que acontece a seguir depende inteiramente de a quem pertence a rede. Um fornecedor montado num backbone alugado abre um ticket ao seu upstream e espera na fila de outra pessoa. Nós entramos no nosso próprio edge e fazemos a alteração. Com cuidado, segundo regras que vamos mostrar, mas fazemo-la. Ninguém a montante tem de a aprovar, de a agendar, ou de ser lembrado de quem somos.

A alteração é nossa

A palavra para isto não é velocidade, é autonomia. Como a rede se anuncia como o nosso próprio AS, a política de routing é nossa para definir: como o tráfego entra, que carrier prefere, o que é deslocado quando um caminho se degrada. A nossa é a mesma equipa de engenheiros que atende a linha de suporte, e o router é nosso.

Rápido não é nada sem seguro

Poder alterar qualquer coisa em minutos só é seguro com disciplina, e a nossa está escrita. Estas são as regras permanentes para tocar em equipamento de rede de produção, citadas do runbook real, que é escrito a partir de operações reais, não de um exercício de quadro branco:

Todas as alterações em equipamento de produção seguem um runbook escrito: hostname verificado, running config com backup, um comando de cada vez, nada guardado na startup até ser verificado, e um segundo engenheiro vê o plano primeiro.

Nenhuma destas regras é exótica. O que importa é que são aplicadas em equipamento que nos pertence, por pessoas a duas secretárias de distância, em vez de descritas no documento de gestão de alterações de um terceiro.

Porque conseguimos operar a esta profundidade

A resposta sem glamour é a normalização. O edge é Cisco ASR 9000 em Atenas e Juniper MX204 em Amesterdão, a alimentar um fabric EVPN/VXLAN em Cisco Nexus 9000: um conjunto pequeno e normalizado de plataformas que os nossos engenheiros conhecem de ponta a ponta, uma só gramática operacional de cima a baixo. É o gémeo de rede da doutrina 3PAR: quando todas as máquinas falam um só dialeto, o engenheiro ao telefone às 3 da manhã também consegue raciocinar sobre o routing, porque é a mesma pessoa e o mesmo sistema conhecido. Não há escalation para um dono de backbone que nunca ouviu falar da sua empresa, porque não há nenhum dono de backbone acima de nós para quem escalar.

A lição para a sua empresa

Às 3 da manhã a pergunta não é se o seu fornecedor é simpático. É se a pessoa que atende consegue alterar a rede, ou se está à espera de alguém a montante com uma fila, um comité de alterações e nenhuma ideia de quem a sua empresa é. Essa única capacidade, tida ou não tida, é a maior parte da diferença entre um incidente que dura minutos e um que dura uma noite.