Τι κάνουμε · Λειτουργίες: Έλεγχος κίνησης στο edge για crawlers και scrapers
Μέρος από τη βαρύτερη κίνηση που δέχεται το site σας είναι τεχνικά έγκυρο HTTP από μηχανές αναζήτησης, AI crawlers, link previewers και scrapers. Την ελέγχουμε στον load balancer, πριν φτάσει στην PHP ή στη βάση δεδομένων, ώστε οι διαδρομές που κοστίζουν πραγματική δουλειά να μένουν γρήγορες για τους πραγματικούς επισκέπτες.
Τι είναι
- h2: Τι είναι
Rate limiting, ταξινόμηση και φιλτράρισμα στο edge για κίνηση που δεν είναι επίθεση με την κλασική έννοια, αλλά συμπεριφέρεται σαν επίθεση λειτουργικά:
- AI crawlers και crawlers μηχανών αναζήτησης που διατρέχουν κάθε σελίδα ενός σελιδοποιημένου sitemap ταυτόχρονα.
- Link preview bots που ζητούν το ίδιο μη cached URL εκατοντάδες φορές παράλληλα.
- Scrapers που σφυροκοπούν την faceted πλοήγηση, όπου κάθε συνδυασμός φίλτρων είναι ένα νέο query στη βάση.
- Crawlers που παράγουν ολοένα μακρύτερα, ξανά κωδικοποιημένα URLs σε κάθε πέρασμα.
Αυτά τα αιτήματα χτυπούν τις μη cached, ακριβές διαδρομές, και εκεί βάζουμε τους ελέγχους.
Πώς το χτίζουμε
- h2: Πώς το χτίζουμε
Όρια ρυθμού εκεί όπου είναι το κόστος. Stick tables στον HAProxy παρακολουθούν τον ρυθμό αιτημάτων ανά client και ανά agent σε συγκεκριμένες ακριβές διαδρομές, όπως sitemaps, αναζήτηση και φιλτραρισμένες λίστες. Ένας crawler που ξεπερνά τον συμφωνημένο ρυθμό παίρνει απάντηση 429, και το υπόλοιπο site δεν επηρεάζεται.
Αντιστοίχιση που αντέχει στις αλλαγές. Η αναγνώριση των crawlers χρησιμοποιεί κανόνες substring που συνεχίζουν να δουλεύουν όταν ένα bot αλλάζει τη μορφή του user agent string του.
Κακοσχηματισμένα μοτίβα απορρίπτονται αμέσως. Επαναλαμβανόμενα διπλά κωδικοποιημένα URLs, αδύνατα query strings και παρόμοια σχήματα απορρίπτονται στο edge με έναν και μόνο κανόνα.
Η PHP προστατευμένη από τα αιτήματα που περνούν. Το PHP-FPM παίρνει timeouts τερματισμού αιτημάτων και ανώτατα όρια μνήμης ανά worker, ώστε ένα παθολογικό αίτημα να μην μπορεί να τρέχει για λεπτά, να μεγαλώνει χωρίς όριο ή να ρίξει μαζί του το worker pool.
Η cache συνεχίζει να σερβίρει. Μέσα σε όλα αυτά, το Varnish συνεχίζει να σερβίρει cached σελίδες, ώστε το δημόσιο site να μένει γρήγορο ενώ οι μη cached διαδρομές προστατεύονται.
Εγκατεστημένο παντού, καταγεγραμμένο μία φορά. Κάθε προστασία μπαίνει σε κάθε edge του property, και εσείς λαμβάνετε μια σύντομη αναφορά με τους αριθμούς της κίνησης, τον κανόνα και το αποτέλεσμα.
Από τι σας προστατεύει
-
h2: Από τι σας προστατεύει
-
Έναν AI crawler ή έναν link previewer που ρίχνει εκατοντάδες παράλληλα αιτήματα στο βαρύτερο query σας.
- Scrapers που βγάζουν εκτός λειτουργίας την faceted πλοήγηση ενός e-shop, και μαζί της τη βάση δεδομένων, στη μέση μιας καμπάνιας.
- PHP workers που ξεφεύγουν και μεγαλώνουν μέχρι να χρειαστεί να τους σταματήσει το λειτουργικό σύστημα.
- Κανόνες προστασίας που αθόρυβα σταμάτησαν να ταιριάζουν πριν από μήνες.
- Χονδροειδές μπλοκάρισμα που κλείνει έξω τις μηχανές αναζήτησης και σας κοστίζει σε κατάταξη.
Στην πράξη
- h2: Στην πράξη
Στάνταρ μέρος κάθε edge που χτίζουμε. Σε ειδησεογραφικά και e-commerce properties, οι διαδρομές sitemap, αναζήτησης και φιλτραρισμένων λιστών παίρνουν προστασίες ρυθμού από την πρώτη μέρα, διαστασιολογημένες σε ό,τι μπορεί να σερβίρει το site χωρίς cache.
Κανόνες που ακολουθούν την κίνηση, όχι μια λίστα προμηθευτή. Διαβάζουμε τα access logs σας για να δούμε ποιοι agents και ποια σχήματα αιτημάτων κοστίζουν τον περισσότερο χρόνο PHP και βάσης δεδομένων, μετά γράφουμε τον κανόνα για αυτό το μοτίβο, τον εγκαθιστούμε σε κάθε edge του property, και καταγράφουμε για εσάς τους αριθμούς πριν και μετά.
Γιατί EuroVPS
-
h2: Γιατί EuroVPS
-
Έλεγχοι στον load balancer, όχι ένα plugin μέσα στην εφαρμογή.
- Κανόνες στοχευμένοι στις ακριβές διαδρομές, ώστε οι μηχανές αναζήτησης να συνεχίζουν να κάνουν crawl και οι επισκέπτες να συνεχίζουν να περιηγούνται.
- Διαβάζουμε τα access logs και μετράμε, και μετά γράφουμε τον κανόνα.
- Όρια PHP-FPM και κανόνες edge σχεδιασμένα μαζί.
- Προστασίες που εγκαθίστανται σε κάθε edge ενός property, με τους αριθμούς καταγεγραμμένους.
Συχνές ερωτήσεις
- h2: Συχνές ερωτήσεις
Θα βλάψει αυτό την κατάταξή μας στις μηχανές αναζήτησης; Όχι. Περιορίζουμε τον ρυθμό στις ακριβές διαδρομές αντί να μπλοκάρουμε crawlers, και ένα 429 λέει στους νόμιμους crawlers να ξανάρθουν αργότερα.
Μπορείτε να μπλοκάρετε εντελώς τους AI crawlers; Ναι, αν αυτή είναι η πολιτική σας. Πολλοί πελάτες προτιμούν να περιορίζουν τον ρυθμό τους αντί γι' αυτό.
Είναι αυτό WAF; Το συμπληρώνει. Ένα WAF ψάχνει για επιθέσεις. Ο έλεγχος κίνησης στο edge διαχειρίζεται το φορτίο από κίνηση που είναι νόμιμη αλλά ακριβή.
Χρειάζεται να αλλάξουμε την εφαρμογή μας; Όχι. Οι έλεγχοι ζουν στον load balancer και στη διαμόρφωση του PHP-FPM.
Πόσο γρήγορα μπορείτε να αντιδράσετε σε έναν νέο crawler; Ένας στοχευμένος κανόνας συνήθως μπορεί να γραφτεί και να εγκατασταθεί σε κάθε edge μέσα σε λίγα λεπτά από τον εντοπισμό του μοτίβου.
Τα bots τρώνε τη χωρητικότητά σας; Μιλήστε με έναν μηχανικό.
Ο επόμενος συνεργάτης σας στην υποδομή
Ας δούμε την υποδομή σας.
Πείτε μας τι τρέχετε σήμερα και τι χρειάζεται βελτίωση. Ένας μηχανικός θα εξετάσει το αίτημά σας και θα σας βοηθήσει να σχεδιάσετε το επόμενο βήμα.
+357 222 32280
Ας ξεκινήσουμε από την υποδομή σας.
Λίγο πλαίσιο μάς βοηθά να ξεκινήσουμε τη σωστή συζήτηση.