Was Sie auf einem neuen Server prüfen sollten, bevor er Produktion trägt

Ein neuer dedizierter Server kommt üblicherweise mit einem Betriebssystem, einem Login und einer Annahme: dass alles, wofür Sie bezahlt haben, vorhanden, gesund und für den Einsatz konfiguriert ist. Meistens stimmt das fast. Die Lücke zwischen fast und vollständig ist der Ort, aus dem langsame Datenbanken, untätige Netzwerk-Links und überraschende Ausfälle kommen. Hier ist die Abnahmeprüfung, die unserer Meinung nach jeder Server verdient, bevor er Produktion trägt, mit den Befehlen, um sie selbst durchzuführen.

Warum die Abnahmeprüfung übersprungen wird

Ein Server, der bootet, sieht fertig aus. Das Betriebssystem beschwert sich nicht über ein Speichermodul, das es nicht sehen kann, einen RAID-Cache, der ohne seine Batterie läuft, oder einen Bond, der jedes Paket über einen Link schickt. Jedes davon ist im normalen Betrieb unsichtbar und später teuer, und jedes braucht am ersten Tag Minuten zum Prüfen. Nach dem Go-live brauchen dieselben Prüfungen ein Wartungsfenster.

Arbeitsspeicher: vollständig, ausgewogen, fehlerfrei

Bestätigen Sie, dass das System jedes bestellte Modul sieht und dass die Module in einer ausgewogenen Anordnung über die Speicherkanäle jedes Prozessors verteilt sind. Eine unausgewogene Anordnung läuft, aber langsamer, als sie sollte.

dmidecode -t memory | grep -E 'Size|Locator' | grep -v 'No Module'
free -h
ras-mc-ctl --errors

Korrigierte Speicherfehler in den ersten Tagen im Leben eines Servers sind ein Grund, ein Modul jetzt zu ersetzen, solange es einfach ist, keine Kuriosität zum Beobachten.

Laufwerke und der RAID-Controller

Lesen Sie den Zustand jedes Laufwerks, einschließlich derer, die hinter einem Hardware-RAID-Controller verborgen sind, und den Zustand des Schreib-Caches des Controllers:

smartctl -a /dev/sda
smartctl -a -d megaraid,0 /dev/sda    # a drive behind a MegaRAID-family controller
storcli64 /c0 show all                # Dell PERC and LSI family
ssacli ctrl all show config detail    # HPE Smart Array

Achten Sie auf Zähler für reallocated, pending oder media errors ungleich null auf irgendeinem Laufwerk. Ein neues Laufwerk mit einem korrigierten Fehler ist ein Laufwerk, dessen eigene Fehlerkorrektur bereits hart arbeitet. Bestätigen Sie am Controller, dass das logische Laufwerk das bestellte RAID-Level hat, dass der Cache im Write-Back-Modus ist und dass die Batterie oder das Flash-gestützte Cache-Modul gesund meldet. Ein Controller, der wegen seiner Batterie auf Write-Through zurückgefallen ist, kann ein SSD-Array wie rotierende Platten wirken lassen.

Messen Sie dann den Durchsatz auf dem leeren Volume, bevor es Daten hält, mit einem Werkzeug wie fio, damit Sie eine Referenz für spätere Vergleiche haben.

Wird der Flash als Flash behandelt?

Hardware-RAID-Controller reichen das Solid-State-Flag oft nicht an den Kernel durch, sodass ein aus SSDs gebautes Volume als rotierende Platte gemeldet wird und Einstellungen bekommt, die auf rotierende Medien abgestimmt sind:

lsblk -d -o NAME,ROTA,SCHED,MODEL
cat /sys/block/sda/queue/read_ahead_kb

Wenn ROTA bei einem Volume, von dem Sie wissen, dass es Flash ist, 1 sagt, bestätigen Sie zuerst den Medientyp am Controller und korrigieren Sie es dann mit einer udev-Regel, damit es Neustarts überlebt:

# /etc/udev/rules.d/60-ssd-tunings.rules
ACTION=="add|change", KERNEL=="sda", ATTR{queue/rotational}="0"
ACTION=="add|change", KERNEL=="sda", ATTR{queue/scheduler}="mq-deadline"
ACTION=="add|change", KERNEL=="sda", ATTR{queue/read_ahead_kb}="16"
ACTION=="add|change", KERNEL=="sda", ATTR{queue/nr_requests}="1024"

udevadm control --reload && udevadm trigger --action=change /sys/block/sda

Wenden Sie das nicht auf ein Volume auf Festplatten an. Ein kurzes Read-Ahead passt zu Flash und schadet sequenziellen Lesevorgängen von rotierenden Medien.

Netzwerk: zwei Links, beide in Betrieb

Ein Server mit zwei gebondeten Ports nutzt oft nur einen davon. Der Standard-Sende-Hash des Linux-Bonding-Treibers betrachtet nur MAC-Adressen, und in einem Rechenzentrum, wo ein Host mit einer Handvoll Gateway- und Peer-MACs spricht, kann das fast jeden Flow auf denselben Link legen.

cat /proc/net/bonding/bond0
ethtool -S <first port> | grep -E 'tx_packets|rx_packets'
ethtool -S <second port> | grep -E 'tx_packets|rx_packets'

Prüfen Sie, dass beide Mitglieder up sind, dass LACP sich mit dem Switch zusammengeschlossen hat und dass die Hash-Richtlinie die ist, die Sie beabsichtigt haben. Unter Last sollten die Zähler beider Mitglieder mit ähnlicher Rate wachsen. Für die meisten Server verteilt ein Hashing auf IP-Adressen und Ports den Traffic weit besser:

nmcli con mod bond0 bond.options "mode=802.3ad,miimon=100,lacp_rate=slow,xmit_hash_policy=layer3+4"

Passen Sie die Switch-Seite daran an, damit der Traffic in beide Richtungen gleich verteilt wird. Ziehen Sie dann ein Kabel, bestätigen Sie, dass der Server erreichbar bleibt, stecken Sie es wieder ein und wiederholen Sie es mit dem anderen.

Strom, Zeit und Fernzugriff

ipmitool sdr type "Power Supply"
chronyc tracking
getenforce

Beide Netzteile sollten vorhanden und versorgt sein, und sie sollten von verschiedenen Stromzuführungen gespeist werden. Ein Server mit zwei Netzteilen an derselben Zuführung hat einen Single Point of Failure mit zusätzlichen Schritten. Bestätigen Sie, dass der Out-of-Band-Controller (iLO, iDRAC oder IPMI) in seinem Management-Netzwerk erreichbar und für die Fernkonsole lizenziert ist, die Sie brauchen werden. Wenn SELinux Teil Ihres Standards ist, bestätigen Sie, dass es enforcing ist, bevor die erste Anwendung installiert wird, nicht danach.

Aufschreiben

Die letzte Prüfung ist die Dokumentation: Seriennummer, Rack-Position, jeder Port mit seiner MAC-Adresse und dem, womit er verbunden ist, jede IP-Adresse, beide Stromzuführungen und die Kabel-IDs.

Wie wir es machen

Unsere Dedicated servers sind HPE-ProLiant- und Dell-PowerEdge-Plattformen, mit Out-of-Band-Management in einem isolierten Netzwerk. Jeder RAID-Build bekommt vor der Auslieferung eine Zustandsprüfung der Laufwerke und einen Durchsatztest. Flash hinter einem RAID-Controller bekommt die Abstimmung oben, abhängig vom Medientyp, der von den Laufwerken gelesen wird. Jeder Bond hasht auf Adressen und Ports, passend auf dem Switch. Wir prüfen die Zähler pro Port, um zu beweisen, dass beide Links Traffic führen.

Wenn Sie einen Server bereits in Produktion haben, der diese Prüfung nie hatte, ist es nicht zu spät, und wir gehen sie gern mit Ihnen durch.

CTA

Mit einem Ingenieur sprechen

Related

Verwandt: Bare-Metal-Server auf HPE und Dell · Performance- und Kapazitäts-Engineering · Enterprise-SAN-Storage auf HPE 3PAR, All-Flash