Janelas de manutenção: o que se faz sob carga em vez delas

Dois tipos de trabalho planeado

O trabalho planeado divide-se em dois grupos. O primeiro é absorvido pelo desenho: um controlador de storage a receber firmware novo, um leaf switch a ser substituído, um host de hypervisor a ir abaixo para memória, um par de firewalls a aplicar uma atualização. O segundo altera algo que naquele momento não tem par: um cutover de plataforma, a sincronização final de uma migração de storage, uma alteração de esquema irreversível. O primeiro grupo faz-se sob carga. O segundo recebe uma janela, e a janela é desenhada em vez de meramente anunciada.

O que o desenho absorve

Um array HPE 3PAR tem dois nós controladores a servir os mesmos volumes, com cada host ligado através de dois fabrics Brocade independentes. O firmware entra num nó de cada vez. Enquanto esse reinicia, a camada de multipath dos hosts mantém o I/O a fluir pelos caminhos sobreviventes, e o nó volta a juntar-se antes de o segundo ser tocado. O mesmo padrão aplica-se em cada camada que foi construída em pares. Os leaves Cisco Nexus 9000 são instalados em pares, com cada host em bond para ambos, para que um switch possa receber um upgrade ou uma substituição enquanto o outro link transporta o tráfego. Os hosts de hypervisor são esvaziados por live migration antes de lhes ser feito o que quer que seja, e as máquinas virtuais voltam depois. Os edge routers mantêm sessões com mais do que um carrier, e uma sessão é drenada antes de o seu router ser tocado.

Nada disto é invulgar num datacenter sério. O que importa é se os pares são exercitados. Um par que existe no diagrama mas não transportou produção é uma suposição, e o momento para descobrir que era uma suposição não é durante a alteração.

Verifique o par antes de tocar no principal

A disciplina útil é a verificação que acontece antes da alteração. Antes de um controlador ir abaixo, pergunta-se a cada host ligado quantos caminhos ativos mantém para o array. Um host que reporte um único caminho é corrigido primeiro, porque para esse host a janela chegaria sem ser convidada. Antes de se tocar num switch, lê-se o bond em cada host para confirmar que ambos os membros estão up e a passar tráfego, e confirma-se que o segundo switch está a encaminhar e não apenas ligado à corrente. Antes de se drenar um host, confirma-se que o destino da migração tem margem para o que vem.

# on each attached host, before controller work: every LUN should show two or more active paths
$ multipath -ll | grep -c 'active ready'

# before switch work: both bond members up and passing traffic
$ grep -E 'Slave Interface|MII Status' /proc/net/bonding/bond0

Depois faz-se a alteração, e as mesmas leituras são feitas de novo à medida que o par se volta a juntar. O resultado é trabalho planeado que não o interrompe, o que é diferente de trabalho planeado que não é comunicado: a alteração está no nosso registo e, onde toca na sua plataforma, na sua caixa de entrada, com o mecanismo declarado.

As alterações que merecem uma janela

Uma janela é a resposta certa quando um passo é irreversível, quando o componente por natureza não tem par naquele momento, ou quando o procedimento do fabricante exige que o serviço seja parado. O cutover de plataforma é o caso comum: no momento em que o tráfego passa do ambiente antigo para o novo, há um intervalo, habitualmente delimitado pela propagação do DNS ou pela mudança de um VIP, em que o serviço está em trânsito.

Uma janela bem desenhada reconhece-se. Nomeia o componente e o mecanismo, para que saiba o que está a mudar e porque não pode ser feito sob carga. Declara o impacto visível para o cliente separadamente da duração da operação: uma operação de duas horas pode ter um impacto visível de minutos, e o aviso diz qual é qual. Tem um ponto de decisão e um rollback que foi ensaiado, não apenas descrito. É acordada consigo: se uma alteração pode tocar no seu tráfego, acordamos primeiro consigo o momento. E termina com um relatório que compara o real com o anunciado.

Como ler um aviso de manutenção

Três perguntas dizem-lhe a maior parte do que precisa sobre o desenho por baixo de qualquer plataforma, a nossa incluída: qual é o componente, porque não pode ser feito sob carga, e qual é o impacto visível esperado face à duração da operação. Um aviso que responde às três é um plano. Escrevemos os nossos para lhes responder.