Wartungsfenster: was stattdessen unter Last erledigt wird

Zwei Arten geplanter Arbeit

Geplante Arbeit fällt in zwei Gruppen. Die erste wird vom Design aufgefangen: ein Storage-Controller, der neue Firmware bekommt, ein Leaf-Switch, der ersetzt wird, ein Hypervisor-Host, der für Arbeitsspeicher heruntergefahren wird, ein Firewall-Paar, das ein Update einspielt. Die zweite ändert etwas, das in diesem Moment keinen Partner hat: ein Plattform-Cutover, die finale Synchronisation einer Storage-Migration, eine nicht umkehrbare Schemaänderung. Die erste Gruppe wird unter Last erledigt. Die zweite bekommt ein Fenster, und das Fenster wird geplant statt nur angekündigt.

Was das Design auffängt

Ein HPE 3PAR Array trägt zwei Controller-Knoten, die dieselben Volumes bedienen, mit jedem Host über zwei unabhängige Brocade-Fabrics angebunden. Firmware wird auf einen Knoten nach dem anderen gespielt. Während er neu startet, hält die Multipath-Schicht der Hosts die I/O über die verbleibenden Pfade am Laufen, und der Knoten kehrt zurück, bevor der zweite angefasst wird. Dasselbe Muster gilt auf jeder Ebene, die in Paaren gebaut wurde. Cisco Nexus 9000 Leaves werden paarweise eingesetzt, jeder Host per Bond über beide, sodass ein Switch ein Upgrade oder einen Austausch bekommen kann, während der andere Link den Traffic trägt. Hypervisor-Hosts werden per Live-Migration geleert, bevor etwas an ihnen getan wird, und die virtuellen Maschinen ziehen danach zurück. Edge-Router halten Sessions mit mehr als einem Carrier, und eine Session wird geleert, bevor ihr Router angefasst wird.

Nichts davon ist in einem ernsthaften Rechenzentrum ungewöhnlich. Was zählt, ist, ob die Paare geübt werden. Ein Partner, der auf dem Diagramm existiert, aber noch keine Produktion getragen hat, ist eine Vermutung, und der Moment, in dem man entdeckt, dass es eine Vermutung war, ist nicht während der Änderung.

Den Partner prüfen, bevor man das Primäre anfasst

Die nützliche Disziplin ist die Prüfung, die vor der Änderung stattfindet. Bevor ein Controller heruntergefahren wird, wird jeder angebundene Host gefragt, wie viele aktive Pfade er zum Array hält. Ein Host, der einen einzigen Pfad meldet, wird zuerst repariert, denn für diesen Host käme das Fenster sonst ungebeten. Bevor ein Switch angefasst wird, wird der Bond auf jedem Host gelesen, um zu bestätigen, dass beide Mitglieder up sind und Traffic durchlassen, und es wird bestätigt, dass der zweite Switch weiterleitet und nicht nur Strom hat. Bevor ein Host geleert wird, wird bestätigt, dass das Migrationsziel die Reserve für das hat, was kommt.

# on each attached host, before controller work: every LUN should show two or more active paths
$ multipath -ll | grep -c 'active ready'

# before switch work: both bond members up and passing traffic
$ grep -E 'Slave Interface|MII Status' /proc/net/bonding/bond0

Dann wird die Änderung durchgeführt, und dieselben Messwerte werden erneut genommen, während der Partner zurückkehrt. Das Ergebnis ist geplante Arbeit, die Sie nicht unterbricht, was etwas anderes ist als geplante Arbeit, die nicht kommuniziert wird: Die Änderung steht in unserem Log und, wo sie Ihre Plattform berührt, in Ihrem Posteingang, mit benanntem Mechanismus.

Die Änderungen, die ein Fenster verdienen

Ein Fenster ist die richtige Antwort, wenn ein Schritt nicht umkehrbar ist, wenn die Komponente ihrer Natur nach in diesem Moment keinen Partner hat, oder wenn das Verfahren des Herstellers verlangt, dass der Dienst stillgelegt wird. Ein Plattform-Cutover ist der häufige Fall: In dem Moment, in dem der Traffic von der alten Umgebung auf die neue wechselt, gibt es eine Spanne, meist begrenzt durch die DNS-Propagation oder den Umzug einer VIP, in der der Dienst unterwegs ist.

Ein gut geplantes Fenster ist erkennbar. Es nennt die Komponente und den Mechanismus, damit Sie wissen, was sich ändert und warum es nicht unter Last geht. Es gibt die erwartete kundensichtbare Auswirkung getrennt von der Dauer der Arbeit an: Eine zweistündige Arbeit kann eine sichtbare Auswirkung von Minuten haben, und die Mitteilung sagt, was was ist. Es hat einen Entscheidungspunkt und ein Rollback, das geprobt wurde, nicht nur beschrieben. Es wird mit Ihnen abgestimmt: Wenn eine Änderung Ihren Traffic berühren könnte, stimmen wir den Zeitpunkt zuerst mit Ihnen ab. Und es endet mit einem Bericht, der das Tatsächliche mit dem Angekündigten vergleicht.

Wie man eine Wartungsmitteilung liest

Drei Fragen sagen Ihnen das meiste von dem, was Sie über das Design unter jeder Plattform wissen müssen, unsere eingeschlossen: Was ist die Komponente, warum geht es nicht unter Last, und was ist die erwartete sichtbare Auswirkung im Verhältnis zur Dauer der Arbeit. Eine Mitteilung, die alle drei beantwortet, ist ein Plan. Wir schreiben unsere so, dass sie es tun.