Η παρακολούθησή σας είναι κι αυτή σύστημα: δοκιμάστε τη διαδρομή, όχι το dashboard

Μια ήσυχη οθόνη παρακολούθησης έχει δύο πιθανές σημασίες: όλα είναι καλά, ή η παρακολούθηση δεν μπορεί να δει. Από την οθόνη και μόνο δεν μπορείτε να ξεχωρίσετε ποια από τις δύο. Κάθε monitoring stack είναι μια αλυσίδα από συσκευές, agents, collectors, κανόνες και κανάλια ειδοποίησης, και κάθε κρίκος μπορεί να αποτύχει χωρίς να σηκώσει δικό του συναγερμό. Αυτό το άρθρο είναι για το πώς αποδεικνύετε ότι η αλυσίδα δουλεύει, τακτικά, πριν από τη μέρα που θα τη χρειαστείτε.

Η σιωπή δεν είναι απόδειξη

Οι περισσότεροι σχεδιασμοί παρακολούθησης ελέγχουν προσεκτικά τα πράγματα που παρακολουθούνται και θεωρούν δεδομένη την ίδια την παρακολούθηση. Ένα switch είναι ρυθμισμένο να στέλνει syslog, άρα τα logs του θεωρούνται ότι φτάνουν. Ένας κανόνας συναγερμού υπάρχει, άρα μια ειδοποίηση θεωρείται ότι φτάνει σε κάποιον. Μια εργασία backup είναι προγραμματισμένη, άρα ένα αντίγραφο της διαμόρφωσης θεωρείται ότι υπάρχει. Καμία από αυτές τις υποθέσεις δεν είναι μέτρηση.

Τα σημεία όπου αυτή η αλυσίδα σπάει είναι συνήθως πεζά: ένα source interface ή routing instance για την καταγραφή που δεν φτάνει στον collector, ένας κανόνας firewall ανάμεσα, ένα input του collector που αναδιαμορφώθηκε, ένα integration ειδοποιήσεων του οποίου το token έληξε, ένα φίλτρο σοβαρότητας που σιωπηλά αποκλείει τον τύπο συμβάντος που σας ενδιαφέρει. Κανένα από αυτά δεν κάνει μια συσκευή να μοιάζει προβληματική από τη δική της γραμμή εντολών.

Έλεγχος πρώτος: ακούγεται πράγματι κάθε συσκευή;

Η άποψη της συσκευής (το show logging δείχνει έναν server και λέει ότι είναι ενεργός) είναι ισχυρισμός. Η άποψη του collector είναι η απόδειξη. Γυρίστε το ανάποδα και ρωτήστε τον collector: πότε έστειλε τελευταία φορά κάτι η κάθε συσκευή;

Στο Graylog, μια αναζήτηση ομαδοποιημένη ανά source για την τελευταία μέρα δείχνει κάθε συσκευή που μίλησε. Συγκρίνετε αυτή τη λίστα με την απογραφή σας, και ό,τι λείπει είναι το εύρημά σας. Μια απλή δοκιμή από άκρη σε άκρη από την ίδια τη συσκευή αφαιρεί κάθε αμφιβολία. Σε Cisco IOS και NX-OS, παράγετε ένα ακίνδυνο μήνυμα και ψάξτε το στον collector μέσα σε δευτερόλεπτα:

send log 6 "monitoring path test from this device"

Σε έναν Linux host:

logger -p user.notice "monitoring path test from $(hostname)"

Αν το μήνυμα δεν εμφανιστεί, ακολουθήστε τη διαδρομή με τη σειρά: διεύθυνση πηγής και routing instance που χρησιμοποιείται για την καταγραφή, προσβασιμότητα του collector από εκείνη την πηγή, τυχόν firewall ανάμεσα, μετά το input και οι stream rules του collector.

Κάντε την ίδια σύγκριση για τα backups διαμόρφωσης. Μια συσκευή της οποίας η τελευταία αποθηκευμένη διαμόρφωση είναι εβδομάδων έχει σπασμένη διαδρομή backup, ακόμα κι αν τίποτα δεν έβγαλε ποτέ σφάλμα.

Έλεγχος δεύτερος: φτάνει ένας συναγερμός σε άνθρωπο;

Πυροδοτήστε επίτηδες έναν πραγματικό συναγερμό μέσα από ολόκληρη την αλυσίδα: ένα δοκιμαστικό trigger, ένα εικονικό item που περνά ένα κατώφλι, ή μια υπογραφή log που εισάγετε. Επιβεβαιώστε ότι η ειδοποίηση φτάνει στο κανάλι που διαβάζουν πραγματικά οι μηχανικοί σας, με τη σωστή σοβαρότητα, μέσα στον χρόνο που περιμένετε. Κάντε το μετά από κάθε αλλαγή στην ίδια την πλατφόρμα παρακολούθησης, και σε τακτική βάση ακόμα κι όταν τίποτα δεν άλλαξε, γιατί τα tokens λήγουν και τα integrations ξεστρατίζουν.

Σε Zabbix, ένα test item σε έναν παρακολουθούμενο host συν ένα trigger στη σοβαρότητα με την οποία ειδοποιείτε αρκεί. Στείλτε μια τιμή και δείτε την να ταξιδεύει:

zabbix_sender -z <zabbix-server> -s "<host>" -k monitoring.selftest -o 1

Μετά επιβεβαιώστε τρία πράγματα: το πρόβλημα εμφανίστηκε, η ειδοποίηση παραδόθηκε, και η ανάκαμψη παραδόθηκε όταν επαναφέρατε την τιμή.

Έλεγχος τρίτος: είναι οι σοβαρότητες ειλικρινείς;

Εξετάστε ποια συμβάντα φτάνουν σε άνθρωπο και ποια όχι. Μια σύντομη, ρητή λίστα υπογραφών που ειδοποιούν πάντα (routing neighbour down, link down, BFD down, αποτυχίες crypto VPN, βλάβες τροφοδοσίας, ανεμιστήρων και θερμοκρασίας, σφάλματα δικτύου storage, πίνακες καταστάσεων firewall κοντά στο όριό τους) υπερασπίζεται ευκολότερα από ένα κατώφλι που όρισε κάποιος πριν από χρόνια.

Μια δεύτερη γνώμη βοηθά εδώ. Οι κανόνες φιλτράρουν πρώτα τον γνωστό θόρυβο, και μετά ό,τι απομένει αναλύεται σε πραγματικό χρόνο από μοντέλα AI στις δικές μας NVIDIA A100 GPU, μέσα στο datacenter μας. Η ανάλυση διαβάζει έναν συναγερμό μαζί με το πρόσφατο ιστορικό του και τα σχετικά συμβάντα και προσφέρει στους μηχανικούς μια δεύτερη γνώμη για το τι πιθανότατα συμβαίνει. Τα δεδομένα των συναγερμών δεν φεύγουν ποτέ από την υποδομή μας, και ο μηχανικός εξακολουθεί να παίρνει την απόφαση.

Έλεγχος τέταρτος: κοιτάξτε από έξω

Κάθε άποψη από μέσα από το δίκτυό σας μοιράζεται τα τυφλά σημεία του δικτύου σας. Μια παγκόσμια πλατφόρμα μετρήσεων όπως το RIPE Atlas, με anchor ή probes που μετρούν προς εσάς, δείχνει πώς σας φτάνουν πραγματικά σημεία του internet: latency, απώλειες και αλλαγές διαδρομής. Όταν ένας carrier κάνει συντήρηση, η εξωτερική άποψη σάς λέει πόσο κράτησε η επανασύγκλιση και αν θα μπορούσε να το προσέξει κανείς, κάτι που κανένας εσωτερικός μετρητής δεν μπορεί.

Για ιδιωτικά κυκλώματα, ένας αποκλειστικός probe σε κάθε άκρο που μετρά latency, jitter και throughput και προς τις δύο κατευθύνσεις κάθε λεπτό, αποθηκευμένα μόνιμα, μετατρέπει κάθε συζήτηση με έναν carrier από γνώμη σε δεδομένα. Εξαιρέστε την κίνηση του probe από τα στατιστικά του ίδιου του κυκλώματος ώστε η απόδειξη να μένει καθαρή.

Έλεγχος πέμπτος: σαρώστε όταν τίποτα δεν πάει στραβά

Τρέξτε read-only σαρώσεις υγείας σε τακτική βάση, όχι μόνο μετά από συναγερμό. Τα περιβαλλοντικά, η κατάσταση του routing και του overlay, η συνέπεια πλεονασμού ανάμεσα σε ζεύγη, τα επίπεδα των οπτικών και οι μετρητές σφαλμάτων των διεπαφών αλλάζουν αργά, και η αργή αλλαγή είναι ακριβώς αυτό που χάνουν οι συναγερμοί κατωφλίου. Ένα οπτικό που γλιστρά προς το κάτω όριο φωτός του είναι μια ήρεμη αντικατάσταση αυτή την εβδομάδα ή μια διακοπή τον επόμενο μήνα.

Η λίστα αυτοελέγχου της παρακολούθησής σας

• Μπορείτε να απαριθμήσετε κάθε συσκευή που δεν έστειλε log την τελευταία μέρα;
• Μπορείτε να απαριθμήσετε κάθε συσκευή της οποίας η αποθηκευμένη διαμόρφωση είναι παλαιότερη από την τελευταία της αλλαγή;
• Πότε πυροδοτήσατε τελευταία φορά έναν πραγματικό συναγερμό από άκρη σε άκρη, και έφτασε;
• Ταιριάζουν οι σοβαρότητες που ειδοποιούν έναν άνθρωπο με μια γραπτή λίστα;
• Βλέπετε το δίκτυό σας από έξω, συνεχώς;
• Σαρώνετε όταν τίποτα δεν είναι γνωστό ότι πάει στραβά;

Παρακολουθούμε το δίκτυό μας με Zabbix, Graylog, Observium και ένα anchor RIPE Atlas, και τρέχουμε αυτούς τους ελέγχους πάνω του σε τακτική βάση. Αν θέλετε έναν πάροχο που απαντά με μετρήσεις, ή βοήθεια να δοκιμάσετε τη δική σας αλυσίδα, μιλήστε μας.

Μιλήστε με έναν μηχανικό

Σχετικά: Παρακολούθηση δικτύου και τεκμήρια · Πώς αλλάζουμε πράγματα: πειθαρχία αλλαγών δικτύου · Δικό μας δίκτυο: δύο ASN, πολλοί carriers, peering