Ο συναγερμός είναι μήνυμα σε άνθρωπο, όχι γραμμή σε log

Κάθε πλατφόρμα παρακολούθησης μπορεί να ανιχνεύσει ένα πρόβλημα. Το δύσκολο κομμάτι είναι το τελευταίο μίλι: να φτάσει ο σωστός συναγερμός μπροστά σε έναν άνθρωπο που μπορεί να δράσει, μέσα σε δευτερόλεπτα, χωρίς να θάψει αυτόν τον άνθρωπο κάτω από συναγερμούς που δεν έχουν σημασία. Έτσι δρομολογούμε τους συναγερμούς στο Zabbix, και έτσι μπορείτε να ελέγξετε αν η δική σας αλυσίδα δουλεύει πραγματικά.

Η ανίχνευση είναι φθηνή, η προσοχή ακριβή

Οι περισσότερες εγκαταστάσεις παρακολούθησης δεν αποτυγχάνουν επειδή χάνουν ένα πρόβλημα. Αποτυγχάνουν επειδή κανείς δεν διαβάζει αυτά που παράγουν. Οι ειδοποιήσεις email προσγειώνονται σε έναν φάκελο που γεμίζει πιο γρήγορα απ' όσο μπορεί κανείς να τον αδειάσει. Οι πίνακες γίνονται κόκκινοι και μένουν κόκκινοι για εβδομάδες, μέχρι το κόκκινο να μη σημαίνει απολύτως τίποτα. Ο μηχανικός που τελικά το προσέχει συνήθως αντιδρά σε έναν πελάτη, όχι στο monitor.

Η προσθήκη περισσότερων ελέγχων δεν το διορθώνει. Αυτό που το διορθώνει είναι ένας σχεδιασμός δρομολόγησης που αντιμετωπίζει την προσοχή ενός μηχανικού ως τον σπανιότερο πόρο που διαθέτετε, και τη ξοδεύει μόνο σε πράγματα που χρειάζονται άνθρωπο τώρα.

Αποφασίστε τι επιτρέπεται να φτάσει σε άνθρωπο

Ξεκινήστε από τη σοβαρότητα, και να είστε αυστηροί. Κάθε trigger του Zabbix φέρει μια σοβαρότητα, από information μέχρι disaster. Εμείς δρομολογούμε μόνο τις δύο κορυφαίες, high και disaster, στον μηχανικό on-call, και κάθε trigger σε αυτό το επίπεδο πρέπει να περάσει ένα τεστ: αν αυτό πυροδοτηθεί τη νύχτα, χρειάζεται κάποιος να δράσει πριν το πρωί; Αν η ειλικρινής απάντηση είναι όχι, είναι warning. Τα warnings ανήκουν σε πίνακες και στην ημερήσια επισκόπηση, όχι στην τσέπη κάποιου.

Στο Zabbix αυτή η απόφαση ζει σε δύο σημεία: στις συνθήκες του action (η σοβαρότητα του trigger είναι μεγαλύτερη ή ίση με High) και στο φίλτρο σοβαρότητας στο media του χρήστη. Ορίστε και τα δύο, και κάντε τα να συμφωνούν. Ένα action που ταιριάζει με τα πάντα, σε συνδυασμό με ένα φίλτρο media που σιωπηλά πετάει τα μισά, είναι μια διαμόρφωση για την οποία κανείς δεν μπορεί να σκεφτεί καθαρά στις τρεις τα ξημερώματα.

Μετά καταστείλετε τις ηχώ. Όταν πέφτει ένα switch, κάθε host πίσω του γίνεται κι αυτός απρόσιτος. Οι εξαρτήσεις trigger λένε στο Zabbix ότι οι συναγερμοί των hosts εξαρτώνται από τον συναγερμό του switch, ώστε ο μηχανικός να λαμβάνει έναν συναγερμό που κατονομάζει την αιτία αντί για σαράντα που κατονομάζουν τα συμπτώματα.

Παραδώστε τον εκεί που βρίσκεται ήδη ο μηχανικός

Οι συναγερμοί μας φεύγουν από το Zabbix μέσα από ένα webhook σε ένα αποκλειστικό κανάλι λειτουργιών στο Mattermost, το chat στο οποίο οι μηχανικοί μας δουλεύουν όλη μέρα και κουβαλούν στα τηλέφωνά τους τη νύχτα. Το chat νικά το email για συναγερμούς για πρακτικούς λόγους. Είναι εκεί που κοιτάζουν ήδη οι άνθρωποι. Δείχνει ποιος έχει δει το μήνυμα. Και η συζήτηση για τη διόρθωση γίνεται στο thread κάτω από τον συναγερμό, οπότε το thread γίνεται το αρχείο του τι έγινε και πότε.

Ένα καλό μήνυμα συναγερμού κουβαλά αρκετά ώστε να δράσεις χωρίς να ανοίξεις τρία άλλα εργαλεία: τον host, το όνομα του trigger, τη σοβαρότητα, την τρέχουσα τιμή, πόση ώρα βρίσκεται σε αυτή την κατάσταση, και έναν σύνδεσμο κατευθείαν στο γράφημα. Γράψτε το template του μηνύματος μία φορά, προσεκτικά, και κάθε συναγερμός που θα στείλετε ποτέ επωφελείται.

Κάντε την ιδιοκτησία ορατή

Ένας συναγερμός που είδαν τρεις άνθρωποι και κανείς δεν ανέλαβε είναι εξίσου κακός με έναν που δεν είδε κανείς. Η επιβεβαίωση κλείνει αυτό το κενό. Όταν ο μηχανικός on-call επιβεβαιώνει ένα πρόβλημα στο Zabbix, με μια σύντομη σημείωση, όλοι οι άλλοι βλέπουν ότι έχει αναληφθεί, και η σημείωση είναι η πρώτη γραμμή του αρχείου. Αν η ομάδα σας έχει δεύτερη γραμμή, ένα βήμα escalation στο action (μια επιπλέον ειδοποίηση όταν ένα πρόβλημα υψηλής σοβαρότητας παραμένει χωρίς επιβεβαίωση μετά από ορισμένα λεπτά) μετατρέπει το «κάποιος μάλλον θα το κοιτάξει» σε κανόνα.

Η προγραμματισμένη εργασία αξίζει την αντίθετη μεταχείριση: μια ομάδα που δέχεται συναγερμούς από τη δική της συντήρηση μαθαίνει να αγνοεί συναγερμούς, και αυτή η συνήθεια δεν μένει μέσα στο παράθυρο συντήρησης.

Αποδείξτε ότι δουλεύει

Αποδείξτε την αλυσίδα μετά από κάθε αλλαγή

Τίποτα από αυτά δεν μετράει μέχρι να έχετε δει έναν πραγματικό συναγερμό να διανύει όλη τη διαδρομή. Μετά από κάθε αλλαγή στην πλατφόρμα παρακολούθησης πυροδοτούμε έναν γνήσιο συναγερμό και τον χρονομετρούμε από το trigger μέχρι το μήνυμα. Η ομάδα δικτύου μας έχει γράψει ακριβώς πώς να τρέξετε αυτό το τεστ, και πώς να επιβεβαιώσετε ότι κάθε συσκευή ακούγεται ακόμη, στο Δοκιμάστε τη διαδρομή του συναγερμού, όχι τον πίνακα. Κρατήστε τους χρόνους που καταγράφετε. Αν ο αριθμός ανεβαίνει σιγά σιγά ανάμεσα στα τεστ, κάτι στην αλυσίδα γίνεται πιο αργό, και το μάθατε από ένα τεστ αντί από μια διακοπή.

Ρυθμίστε ανά host, μη σιωπάτε στα τυφλά

Τα κοινά templates είναι εκεί που γεννιέται η κόπωση από συναγερμούς. Ένας database server νόμιμα δουλεύει ζεστός, κάποιος ανεβάζει το όριο CPU στο template για να τον ησυχάσει, και κάθε άλλος host στο στόλο μόλις έχασε έναν χρήσιμο συναγερμό. Δεν επεξεργαζόμαστε ποτέ ένα κοινό template για να ρυθμίσουμε ένα μηχάνημα. Τα όρια που πρέπει να διαφέρουν ορίζονται ως macro overrides σε επίπεδο host, για παράδειγμα η δική του τιμή του {$CPU.UTIL.CRIT}, ώστε η ρύθμιση ενός μηχανήματος να μην αλλάζει ποτέ τους συναγερμούς ενός άλλου.

Ο ίδιος κανόνας ισχύει και για την απενεργοποίηση triggers. Ένα trigger που πυροδοτείται συνεχώς σας λέει κάτι: είτε το όριο είναι λάθος για αυτόν τον host, είτε ο host έχει πραγματικό πρόβλημα. Το να το απενεργοποιήσεις για να γίνει ο πίνακας πράσινος αφαιρεί τον μόνο μάρτυρα. Διορθώστε το όριο σε αυτόν τον host, ή διορθώστε τον host.

Παρακολουθήστε τον παρατηρητή

Ένα monitor που έχει σταματήσει είναι χειρότερο από κανένα, επειδή εμπιστεύεστε τη σιωπή του. Δύο έλεγχοι καλύπτουν τον περισσότερο κίνδυνο. Μέσα στο Zabbix, ένα trigger nodata σε κάθε agent, όπως nodata(/<host>/agent.ping,5m)=1, πιάνει έναν host που σταμάτησε να αναφέρει, που είναι διαφορετική και πιο ήσυχη αποτυχία από έναν host που αναφέρει πρόβλημα. Έξω από το Zabbix, κάτι ανεξάρτητο πρέπει να προσέξει όταν η ίδια η πλατφόρμα σωπάσει: ένας παλμός που ο server στέλνει με πρόγραμμα σε ένα ξεχωριστό σύστημα, το οποίο σηκώνει δικό του συναγερμό όταν ο παλμός σταματήσει να φτάνει.

Αντιμετωπίζουμε επίσης την πλατφόρμα παρακολούθησης ως παραγωγή: επιβεβλημένη διατήρηση βάσης δεδομένων, και έλεγχος από το hardware μέχρι το λειτουργικό σύστημα, τη βάση δεδομένων, τον daemon και τη διαδρομή των ειδοποιήσεων.

Μια δεύτερη γνώμη πριν τον διαβάσει ο μηχανικός

Οι κανόνες φιλτράρουν πρώτα τον γνωστό θόρυβο, και μετά κάθε συναγερμός που απομένει αναλύεται σε πραγματικό χρόνο από μοντέλα AI που τρέχουν στις δικές μας NVIDIA A100 GPUs, μέσα στο δικό μας datacenter. Η ανάλυση κοιτάζει τον συναγερμό μαζί με πρόσφατα γεγονότα, σχετικούς hosts και γνωστά μοτίβα, και τοποθετεί δίπλα του μια σύντομη δεύτερη γνώμη: τι άλλο άλλαξε εκεί κοντά, και τι σήμαινε αυτό το μοτίβο στο παρελθόν. Δεν αποφασίζει τίποτα και δεν ειδοποιεί κανέναν. Γλιτώνει στον μηχανικό τα πρώτα λεπτά αναζήτησης. Επειδή τα μοντέλα τρέχουν στο δικό μας hardware, τα δεδομένα παρακολούθησης δεν φεύγουν ποτέ από το δίκτυό μας και δεν στέλνονται ποτέ σε δημόσια υπηρεσία AI.

Αν χτίσετε κάτι παρόμοιο, κρατήστε το ίδιο όριο. Το AI σχολιάζει τον συναγερμό. Ένας άνθρωπος έχει την απόφαση.

Ελέγξτε τη δική σας αλυσίδα

Ποιες σοβαρότητες φτάνουν σε άνθρωπο, και είναι αυτή η απόφαση γραμμένη κάπου;
Μπορούν όλοι να δουν ποιος έχει αναλάβει έναν ανοιχτό συναγερμό;
Πότε πυροδότησε κάποιος για τελευταία φορά έναν πραγματικό δοκιμαστικό συναγερμό και τον χρονομέτρησε από άκρη σε άκρη;
Μια αποτυχία switch φτάνει ως ένας συναγερμός ή ως σαράντα;
Έχει ρυθμίσει κανείς ένα όριο επεξεργαζόμενος κοινό template;
Πόσα triggers είναι απενεργοποιημένα αυτή τη στιγμή, και ξέρει κανείς γιατί;
Τι σας λέει ότι η ίδια η πλατφόρμα παρακολούθησης έχει σταματήσει;

Αν θέλετε ένα δεύτερο ζευγάρι μάτια στο πώς οι συναγερμοί σας φτάνουν στους ανθρώπους σας, ευχαρίστως να το δούμε. Μιλήστε με έναν μηχανικό

footer line: Δημοσιεύτηκε 22 Οκτωβρίου 2026. Όλες οι σημειώσεις από το πεδίο