Από το 2004: Χωρίς συμβιβασμούς

Out-of-band διαχείριση σε κάθε μηχάνημα

Κάθε server που λειτουργούμε είναι πραγματικός enterprise server με πραγματικό lights-out controller: iDRAC Enterprise με άδεια Datacenter στους Dell, iLO Advanced στους HPE, και τα δύο μέσω Redfish, και κάθε blade chassis μέσω του Onboard Administrator του. Όχι μια white-box μητρική που ως απομακρυσμένη διαχείριση εννοεί ένα κουμπί τροφοδοσίας και καμία κονσόλα.

Στα blade chassis ο Onboard Administrator φτάνει σε κάθε controller μέσα στο enclosure μέσω του backplane, και είναι ο ίδιος ένα πλεονάζον ζεύγος με αυτόματο failover.

Στην πράξη. Όταν ένα rack με blade chassis χρειάστηκε άδεια iLO Advanced, και έναν λογαριασμό διαχείρισης σε κάθε blade του, δεν συνδεθήκαμε σε ούτε ένα blade. Το περάσαμε μέσα από τον Onboard Administrator κάθε chassis και το rack τελείωσε σε λεπτά, μαζί με blades που είχαν μπει στο rack την ίδια εβδομάδα και δεν είχαν ακόμα δικά τους διαπιστευτήρια. Είναι runbook.

Το δίκτυο διαχείρισης δεν είναι το δίκτυο παραγωγής

Ο controller έχει δική του φυσική θύρα και δικό του καλώδιο προς δικό του switching. Δεν τεμαχίζουμε μια κάρτα δικτύου παραγωγής για να δανείσουμε στον controller μια φέτα της, που είναι η συνηθισμένη συντόμευση και ο συνηθισμένος λόγος που η διαχείριση καταλήγει ένα λάθος μακριά από το internet. Η διαχείριση ζει σε δικά της switches, ή σε δικά της VLANs πάνω σε fabrics που δεν μεταφέρουν τίποτα άλλο, σε ιδιωτικό χώρο διευθύνσεων που δεν δρομολογείται προς ή από κανένα δίκτυο πελάτη και δεν ανακοινώνεται ποτέ στο internet.

Το λέμε air gap επειδή έτσι συμπεριφέρεται. Μια εικονική μηχανή πελάτη, ακόμα και πλήρως παραβιασμένη, σαρώνοντας σε line rate για μια εβδομάδα, δεν μπορεί να δει καθόλου ένα iLO ή ένα iDRAC. Όχι απορριπτόμενο, όχι φιλτραρισμένο: απόν. Δεν υπάρχει πουθενά να πάνε τα πακέτα. Ισχύει και προς την άλλη κατεύθυνση, και αυτό μετράει εξίσου: καμία κίνηση διαχείρισης δεν ταξιδεύει σε VLAN πελάτη, οπότε οι συνεδρίες κονσόλας, η παρακολούθηση και τα backups μας δεν μπαίνουν ποτέ στο broadcast domain ενός πελάτη ούτε ανταγωνίζονται το bandwidth του. Η απομόνωση είναι τόσο πραγματική που μας είναι και άβολη, και αυτή είναι η απόδειξη ότι είναι πραγματική: ένας controller σε VLAN διαχείρισης δεν μπορεί να φτάσει πρόχειρα σε έναν εσωτερικό web server για να κατεβάσει ένα firmware, γιατί τίποτα δεν επιτρέπεται που δεν ζητήθηκε και δεν γράφτηκε. Ο μηχανικός κάνει το επιπλέον βήμα.

Τα backups ταξιδεύουν με τον ίδιο τρόπο. Λαμβάνονται πάνω από το out-of-band δίκτυο, ποτέ μέσα από τμήμα παραγωγής.

Στην πράξη. Μία κανονική λίστα πρόσβασης διαχείρισης είναι δεσμευμένη σε κάθε πλατφόρμα που λειτουργούμε, στις γραμμές login των Cisco Nexus, ανά routing instance στους routers, ανά διεπαφή για SSH και HTTPS στα firewalls, επιτρέποντας μόνο ονομαστικά υποδίκτυα διαχείρισης, με control plane policing που περιορίζει σε hardware ό,τι απομένει.

Το ίδιο το επίπεδο διαχείρισης

Το επίπεδο διαχείρισης είναι δίκτυο από μόνο του και το χτίσαμε ως τέτοιο. Τρέχει στο δικό μας κρυπτογραφημένο backbone πολλαπλών sites: Cisco DMVPN, IPsec σε AES-256, BGP πάνω από τα tunnels, ενώνοντας Αθήνα, Άμστερνταμ και Τορόντο με την εταιρική μας έδρα στην Κύπρο, που σκόπιμα δεν βρίσκεται σε κανένα από τα κτίρια που διαχειρίζεται. Τα hubs είναι πλεονάζοντα, με διαδρομές ίσου κόστους ανάμεσά τους και πάνω από διαφορετικά κυκλώματα, και με ανίχνευση αστοχίας που αντιλαμβάνεται μια νεκρή διαδρομή σε πολύ λιγότερο από ένα δευτερόλεπτο.

Το προσωπικό το φτάνει με έναν τρόπο: μέσα από VPN gateways και firewalls που κατέχουμε και λειτουργούμε οι ίδιοι, σε OPNsense και Cisco Firepower, και μετά μέσα από jump hosts εντός του επιπέδου και όχι κατευθείαν από το laptop ενός μηχανικού. Διαφορετικές βαθμίδες εμπιστοσύνης δεν μοιράζονται ποτέ ένα αντικείμενο firewall, οπότε το άνοιγμα της πρόσβασης μιας ομάδας δεν μπορεί να ανοίξει σιωπηλά την πρόσβαση μιας άλλης.

Προς τα επίπεδα backup και disaster recovery η πολιτική είναι άρνηση εξ ορισμού και τα δεδομένα ρέουν προς μία κατεύθυνση. Η παραγωγή δεν σπρώχνει ποτέ προς το backup. Η πλευρά του backup τραβάει. Αυτό επιβάλλεται με ρητούς κανόνες άρνησης στις συσκευές firewall, όχι με host firewall που ένας παραβιασμένος host θα μπορούσε να αλλάξει, και τα τμήματα backup δεν έχουν καμία διαδρομή προς το internet. Μόνο το εύρος διαχείρισης τα φτάνει. Αν μια μηχανή παραγωγής καταληφθεί ολοκληρωτικά, ο επιτιθέμενος δεν αποκτά καμία γνώση της υποδομής backup και καμία διαδρομή προς αυτήν. Από εκεί που στέκεται, δεν υπάρχει.

Οι αλλαγές στο backbone επαληθεύονται ζωντανά πάνω στο σύστημα που τρέχει, το ένα μισό ενός πλεονάζοντος ζεύγους τη φορά, και γι' αυτό μπορούμε να δουλεύουμε στο backbone στη μέση μιας εργάσιμης ημέρας.

Στην πράξη. Μεταφέραμε ολόκληρη την εγκατάσταση site-to-site VPN ενός πελάτη από μια χώρα σε άλλη σε μία συνεδρία, πριν από μια σταθερή προθεσμία. Το hub κλωνοποιήθηκε, μεταφέρθηκε και σηκώθηκε παράλληλα με το αρχικό, ώστε και τα δύο να είναι ζωντανά ταυτόχρονα και να υπάρχει πάντα κάπου για να βρίσκονται τα tunnels. Οι routers των υποκαταστημάτων μεταφέρθηκαν ένας ένας, καθένας επαληθευμένος σε λειτουργία πριν αγγιχτεί ο επόμενος, καθένας με καθαρό failover στην πορεία. Κανείς δεν ταξίδεψε σε υποκατάστημα.

Η βάση hardening σε κάθε host

Κάθε μηχανή που χτίζουμε ξεκινά από την ίδια βάση, και η βάση δεν είναι υπό διαπραγμάτευση. Το SELinux είναι σε enforcing, και δεν το απενεργοποιούμε για να συνεργαστεί μια εφαρμογή, γράφουμε την πολιτική. Τα συστήματα αρχείων είναι XFS.

Το patching δεν εξαρτάται από κανέναν άλλο. Λειτουργούμε δικό μας mirror πακέτων στο δικό μας datacenter, με τα repositories από τα οποία εγκαθιστά ο στόλος μας, με τις upstream υπογραφές ανέπαφες, προσβάσιμο μόνο από τα δικά μας εύρη διευθύνσεων. Ένα δημόσιο mirror που έχει μια κακή μέρα δεν είναι γεγονός εδώ, και ένας server που σκόπιμα δεν μπορεί να μιλήσει στο internet είναι ακόμα ένας server που μπορούμε να ενημερώσουμε πλήρως.

Στην πράξη. Όταν δημοσιεύτηκε μια κρίσιμη ευπάθεια σε ένα ευρέως χρησιμοποιούμενο runtime, τα διορθωμένα πακέτα ήταν σε παραγωγή σε κάθε επηρεαζόμενο server την ίδια μέρα, πριν τελειώσει η ίδια νύχτα. Όχι με το χέρι και όχι βιαστικά: η διανομή παίρνει backup, αναβαθμίζει έναν host τη φορά, δειγματίζει πραγματικά sites σε αυτόν τον host για υγιή απόκριση πριν και μετά, και σταματά αυτόματα ολόκληρη τη σάρωση αν ένα δεν επανέλθει σωστά. Το γρήγορο και το προσεκτικό δεν είναι αντίθετα, αν χτίσεις το πράγμα που το κάνει για σένα.

Τα logs των μηχανών μπαίνουν, και τίποτα δεν επιτρέπεται να σωπάσει

Οι σοβαρές σοβαρότητες πηγαίνουν κατευθείαν στο chat λειτουργιών όπου βρίσκεται ήδη ο μηχανικός σε ετοιμότητα, φτάνοντας σε άνθρωπο σε δευτερόλεπτα, και ξέρουμε ότι είναι δευτερόλεπτα επειδή το χρονομετρήσαμε με πραγματικό συναγερμό. Στο edge, αποκλειστικοί αισθητήρες διαβάζουν κατοπτρισμένη κίνηση από τους border routers και παρακολουθούν συνεχώς για ογκομετρικά μοτίβα και μοτίβα άρνησης υπηρεσίας.

Μια συσκευή μπορεί να φαίνεται απολύτως υγιής από τη δική της γραμμή εντολών ενώ σιωπηλά δεν στέλνει τίποτα στον collector, οπότε το «η καταγραφή είναι ρυθμισμένη» δεν είναι απόδειξη εδώ. Επιβεβαιώνουμε ότι το log φτάνει, στην άλλη άκρη, στη ροή που ανήκει, μετά από κάθε αλλαγή που θα μπορούσε να το έχει διαταράξει. Τα συστήματα παρακολούθησης έχουν δικούς τους watchdogs σε ξεχωριστές μηχανές, ώστε το «αυτό που παρακολουθούσε σταμάτησε να παρακολουθεί» να είναι από μόνο του συναγερμός. Η σιωπή δεν είναι ποτέ καλά νέα.

Στην πράξη. Ο τακτικός μας έλεγχος υγείας ελέγχει και δύο πράγματα που οι περισσότεροι έλεγχοι παραλείπουν: αν κάθε συσκευή εξακολουθεί πραγματικά να στέλνει τα logs της, και αν η διαμόρφωσή της εξακολουθεί πραγματικά να παίρνει backup. Αυτές οι δύο είναι οι αστοχίες που κρύβουν τις υπόλοιπες.

Ανάλυση σε πραγματικό χρόνο στις δικές μας NVIDIA A100

Οι περισσότεροι πάροχοι μαζεύουν logs σε έναν κουβά και ψάχνουν μέσα του αφού κάτι έχει ήδη χαλάσει. Εμείς βάζουμε τη ροή να δουλέψει. Βασικοί κανόνες αφαιρούν πρώτα τον γνωστό θόρυβο, και μετά ό,τι απομένει, από routers, switches, firewalls, συστοιχίες storage και servers, αναλύεται καθώς φτάνει από μοντέλα AI που τρέχουν σε μια συστοιχία από δικές μας NVIDIA A100 GPU, μέσα στο δικό μας datacenter.

Τα μοντέλα διαβάζουν εγκάρσια στις συσκευές, όχι μία γραμμή log τη φορά: ένα σφάλμα διαδρομής storage, μια διεπαφή που κάνει flap και μια θερμοκρασία που ανεβαίνει στο ίδιο rack γίνονται μία ιστορία αντί για τρία άσχετα μηνύματα. Πιάνουν τα μοτίβα που ένας στατικός κανόνας δεν θα πιάσει ποτέ, την αργή απόκλιση και τον ασυνήθιστο συνδυασμό που προηγείται μιας αστοχίας, και κάθε συναγερμός φτάνει στον μηχανικό με μια δεύτερη γνώμη ήδη επισυναπτόμενη. Τα δεδομένα των μηχανών παύουν να είναι ένας σωρός κειμένου για grep και γίνονται έγκαιρη προειδοποίηση.

Τίποτα από αυτά δεν φεύγει από το δίκτυό μας. Τα μοντέλα, οι GPU και τα δεδομένα είναι όλα δικά μας, και καμία γραμμή log δεν στέλνεται ποτέ σε εξωτερική υπηρεσία AI.

Ένας CTO που μας αξιολογεί είναι ευπρόσδεκτος να ζητήσει τη λίστα πρόσβασης, το runbook και τη δρομολόγηση των συναγερμών. Θα σας δείξουμε και τα τρία.