Οι πρώτες ώρες μετά από ένα κρίσιμο CVE: μια λίστα ελέγχου που δουλεύει

Δημοσιεύεται μια ευπάθεια ανώτατης σοβαρότητας σε ένα βασικό συστατικό. Από εκείνη τη στιγμή το ρολόι τρέχει για όλους, και για τους επιτιθέμενους. Η διαφορά ανάμεσα σε μια ήρεμη μέρα και μια κακή εβδομάδα σπάνια είναι το ίδιο το patch. Είναι το τι κάνετε στις ώρες πριν και μετά από αυτό. Αυτή είναι η ακολουθία που ακολουθούμε, γραμμένη έτσι ώστε να την προσαρμόσετε στον δικό σας στόλο.

Ώρα μηδέν: διαβάστε την ανακοίνωση δύο φορές

Διαβάστε την ανακοίνωση μία φορά για να καταλάβετε το ελάττωμα και μία για να καταλάβετε τις συνθήκες. Οι περισσότερες σοβαρές ανακοινώσεις έρχονται με προϋποθέσεις: μόνο όταν είναι φορτωμένο ένα συγκεκριμένο module, μόνο σε μια συγκεκριμένη λειτουργία του server, μόνο όταν ένα χαρακτηριστικό είναι προσβάσιμο από το δίκτυο. Αυτές οι προϋποθέσεις κρίνουν ποιοι από τους hosts σας είναι επείγοντες, ποιοι απλώς επηρεάζονται, και ποιος μετριασμός ταιριάζει.

Γράψτε τρία πράγματα πριν αγγίξετε οτιδήποτε: τα ονόματα των επηρεαζόμενων πακέτων, τη διορθωμένη έκδοση upstream, και τις συνθήκες εκμετάλλευσης. Όλα όσα ακολουθούν ελέγχονται με βάση αυτή τη σημείωση.

Βρείτε κάθε host που το τρέχει

Ρωτήστε τη βάση πακέτων σε κάθε host αντί να βασίζεστε σε ό,τι πιστεύετε ότι είναι εγκατεστημένο:

for h in $(cat hosts.txt); do
  printf '%s: ' "$h"
  ssh -o BatchMode=yes "$h" 'rpm -q --qf "%{NAME}-%{VERSION}-%{RELEASE}\n" <package> 2>/dev/null || echo not-installed'
done | tee exposure-$(date +%F).txt

Μετά ελέγξτε τις συνθήκες. Αν το ελάττωμα ζει σε ένα module, δείτε τι είναι πραγματικά φορτωμένο. Αν χρειάζεται ένα χαρακτηριστικό να είναι προσβάσιμο, ελέγξτε αν είναι. Ταξινομήστε το αποτέλεσμα σε τρεις ομάδες: εκτεθειμένοι και προσβάσιμοι, εγκατεστημένο αλλά μη εκμεταλλεύσιμο όπως έχει ρυθμιστεί, και μη υπάρχον. Η πρώτη ομάδα μετριάζεται τώρα.

Μετριάστε πριν υπάρξει η διόρθωση

Σχεδόν πάντα υπάρχει κάτι που μπορείτε να κάνετε πριν γίνει διαθέσιμο ένα διορθωμένο πακέτο: να απενεργοποιήσετε το ευάλωτο χαρακτηριστικό, να αλλάξετε μια τιμή ρύθμισης, να βάλετε έναν κανόνα στο edge που μπλοκάρει τη μορφή request που χρειάζεται το exploit. Επιλέξτε τον λιγότερο ενοχλητικό μετριασμό που κλείνει τη διαδρομή, και εφαρμόστε τον με πειθαρχία:

• Κρατήστε λίστα με κάθε μετριασμό που βάλατε, ώστε να αφαιρέσετε όσους κοστίζουν σε επιδόσεις μόλις έρθει η πραγματική διόρθωση. Οι μετριασμοί που δεν κοστίζουν τίποτα μπορούν να μείνουν.

Χτίστε τη διόρθωση μόνοι σας αν χρειαστεί

Μερικές φορές το upstream έργο έχει κυκλοφορήσει διορθωμένο πηγαίο κώδικα και η διανομή δεν τον έχει πακετάρει ακόμα. Η αναμονή είναι μια επιλογή, αλλά όχι η μόνη. Όταν αποφασίζουμε να μην περιμένουμε, χτίζουμε το πακέτο μόνοι μας: από την προδιαγραφή του ίδιου του maintainer της διανομής, σε ένα καθαρό προσωρινό container, από πηγαίο κώδικα του οποίου το checksum επαληθεύεται με την επίσημη σελίδα λήψης του έργου, με release tag επιλεγμένο έτσι ώστε το build του ίδιου του κατασκευαστή να αντικαταστήσει το δικό μας αυτόματα όταν φτάσει. Τα πακέτα πηγαίνουν στο δικό μας mirror με τα checksums τους καταγεγραμμένα. Η πλήρης μέθοδος, με εντολές, βρίσκεται στο Το δικό σας RPM mirror, και χτίσιμο της διόρθωσης πριν την κυκλοφορήσει η διανομή.

Η απόφαση να χτίσετε είναι κρίση, όχι αντανακλαστικό. Χτίστε όταν το ελάττωμα γίνεται αντικείμενο εκμετάλλευσης ή εκμεταλλεύεται τετριμμένα, οι επηρεαζόμενοι hosts είναι προσβάσιμοι, και κανένας μετριασμός δεν κλείνει τη διαδρομή αρκετά καλά. Αλλιώς ένας στέρεος μετριασμός συν μια σύντομη αναμονή για το πακέτο του κατασκευαστή είναι συνήθως η πιο ήρεμη επιλογή.

Κρατήστε αρχείο, και ενημερώστε τους ανθρώπους

Κρατήστε χρονολόγιο καθώς προχωράτε

Ανοίξτε ένα απλό αρχείο κειμένου την ώρα μηδέν και γράψτε μία γραμμή ανά ενέργεια, με την ώρα: ανακοίνωση διαβάστηκε, απογραφή έγινε, μετριασμός τοποθετήθηκε σε ποιους hosts, πακέτο χτίστηκε, κάθε host που διορθώθηκε, έλεγχος logs ολοκληρώθηκε. Κοστίζει δευτερόλεπτα ανά γραμμή. Σας δίνει το ακριβές παράθυρο έκθεσης για κάθε host, που το χρειάζεται ο έλεγχος των logs, και μετατρέπει την αναφορά που χρωστάτε μετά σε επεξεργασία αντί για άσκηση μνήμης.

Ενημερώστε τους ανθρώπους πριν ρωτήσουν

Οι άνθρωποι που εξαρτώνται από τα επηρεαζόμενα συστήματα θα μάθουν για μια διάσημη ευπάθεια από τις ειδήσεις, συχνά μέσα σε ώρες. Πείτε τους εσείς πρώτοι. Ένα σύντομο μήνυμα που δηλώνει αν τα συστήματά τους επηρεάζονται, τι έχει ήδη γίνει και πότε θα έρθει η διόρθωση αξίζει περισσότερο από μια τέλεια αναφορά μία εβδομάδα αργότερα. Αν κάποιο βήμα χρειάζεται downtime, συμφωνήστε τον χρόνο μαζί τους πριν το πάρετε.

Rollout έναν host τη φορά, με απόδειξη

Κάθε host παίρνει έναν προέλεγχο και έναν μετέλεγχο, και τα δύο συγκρίνονται, όχι με το μάτι:

php -m | sort > pre-modules.txt      # or the equivalent for your component
curl -s -o /dev/null -w '%{http_code}\n' https://<site>/health
# install, then reload gracefully
systemctl reload php-fpm
php -m | sort > post-modules.txt && diff pre-modules.txt post-modules.txt

Σε μεγαλύτερο στόλο, αυτοματοποιήστε το προσεκτικό κομμάτι αντί να το παραλείψετε. Ένα rollout που αναβαθμίζει έναν server ανά εκτέλεση, δειγματίζει πραγματικά sites πριν και μετά, και σταματά ολόκληρο το πέρασμα και καλεί έναν μηχανικό τη στιγμή που ένα μόνο site δεν επανέρχεται, είναι και ταχύτερο και ασφαλέστερο από έναν άνθρωπο που διατρέχει μια λίστα τη νύχτα.

Μετά ρωτήστε αν το παράθυρο χρησιμοποιήθηκε

Το patching κλείνει την πόρτα. Δεν σας λέει αν κάποιος πέρασε από μέσα όσο ήταν ανοιχτή. Μόλις τελειώσει το rollout, ψάξτε τα logs web και authentication για την περίοδο ανάμεσα στη δημοσίευση και το patch σε κάθε εκτεθειμένο host. Ψάξτε για τις μορφές request που χρειάζεται το exploit, για απροσδόκητες διεργασίες ή αρχεία που δημιουργήθηκαν σε εκείνο το παράθυρο, και για logins που δεν ταιριάζουν στο συνηθισμένο μοτίβο. Γράψτε τι βρήκατε, ακόμα και «τίποτα», γιατί οι άνθρωποι που εξαρτώνται από αυτά τα συστήματα θα ρωτήσουν.

Η σύντομη εκδοχή

• Διαβάστε τις συνθήκες, όχι μόνο τη σοβαρότητα.
• Απογραφή από τη βάση πακέτων, όχι από μνήμης.
• Μετριασμός μέσα σε ώρες.
• Χτίστε τη διόρθωση μόνοι σας μόνο όταν δικαιολογείται, και κάντε το με τον καθαρό τρόπο.
• Κρατήστε χρονολόγιο και ενημερώστε νωρίς τους ανθρώπους που επηρεάζονται.
• Rollout έναν host τη φορά με συγκρίσιμους ελέγχους πριν και μετά, και αυτόματο σταμάτημα.
• Ελέγξτε το παράθυρο έκθεσης στα logs, και αναφέρετέ το.

Αν δημοσιευτεί μια ευπάθεια και θέλετε βοήθεια να τη διαχειριστείτε στη δική σας πλατφόρμα, είμαστε εδώ. Μιλήστε με έναν μηχανικό

Σχετικά: Άμεση απόκριση σε ευπάθειες, την ίδια μέρα · Το hardening baseline σε κάθε host · Επικαιρότητα πλατφορμών και πειθαρχία αναβαθμίσεων