Was wir tun · Betrieb: Traffic-Steuerung am Edge für Crawler und Scraper
Ein Teil des schwersten Traffics, den Ihre Website empfängt, ist technisch gültiges HTTP von Suchmaschinen, KI-Crawlern, Link-Preview-Diensten und Scrapern. Wir steuern ihn am Load Balancer, bevor er PHP oder die Datenbank erreicht, damit die Pfade, die echte Arbeit kosten, für echte Besucher schnell bleiben.
Was es ist
Rate Limiting, Klassifizierung und Filterung am Edge für Traffic, der kein Angriff im klassischen Sinn ist, sich betrieblich aber wie einer verhält:
- KI- und Suchmaschinen-Crawler, die jede Seite einer paginierten Sitemap auf einmal abgehen.
- Link-Preview-Bots, die dieselbe ungecachte URL hunderte Male gleichzeitig abrufen.
- Scraper, die auf die facettierte Navigation einhämmern, wo jede Filterkombination eine neue Datenbankabfrage ist.
- Crawler, die bei jedem Durchlauf immer längere, neu kodierte URLs erzeugen.
Diese Anfragen treffen die ungecachten, teuren Pfade, und genau dort setzen wir die Kontrollen an.
Wie wir es bauen
Ratenlimits dort, wo die Kosten entstehen. HAProxy Stick Tables verfolgen die Anfrageraten pro Client und pro Agent auf bestimmten teuren Pfaden wie Sitemaps, Suche und gefilterten Listen. Ein Crawler, der die vereinbarte Rate überschreitet, bekommt eine 429, und der Rest der Website bleibt unberührt.
Erkennung, die Änderungen übersteht. Die Crawler-Identifizierung nutzt Substring-Regeln, die weiter funktionieren, wenn ein Bot das Format seines User-Agent-Strings ändert.
Fehlgeformte Muster rundweg abgewiesen. Wiederholt doppelt kodierte URLs, unmögliche Query-Strings und ähnliche Formen werden am Edge mit einer einzigen Regel verworfen.
PHP geschützt vor den Anfragen, die durchkommen. PHP-FPM bekommt Timeouts zum Abbruch von Anfragen und Speicherobergrenzen pro Worker, sodass eine einzelne pathologische Anfrage nicht minutenlang laufen, unbegrenzt wachsen oder den Worker-Pool mit sich reißen kann.
Der Cache liefert weiter. Währenddessen liefert Varnish weiter gecachte Seiten aus, sodass die öffentliche Website schnell bleibt, während die ungecachten Pfade geschützt sind.
Überall ausgerollt, einmal dokumentiert. Jeder Schutz kommt auf jeden Edge der Website, und Sie erhalten einen kurzen Bericht mit den Traffic-Zahlen, der Regel und der Wirkung.
Wovor es Sie schützt
- Vor einem KI-Crawler oder einem Link-Preview-Dienst, der hunderte gleichzeitige Anfragen auf Ihre schwerste Abfrage feuert.
- Vor Scrapern, die die facettierte Navigation eines Onlineshops, und mit ihr die Datenbank, mitten in einer Kampagne lahmlegen.
- Vor außer Kontrolle geratenen PHP-Workern, die wachsen, bis das Betriebssystem sie stoppen muss.
- Vor Schutzregeln, die vor Monaten stillschweigend aufgehört haben zu greifen.
- Vor plumpem Blockieren, das Suchmaschinen aussperrt und Sie Rankings kostet.
In der Praxis
Standardbestandteil jedes Edge, den wir bauen. Auf News- und E-Commerce-Websites bekommen die Pfade für Sitemap, Suche und gefilterte Listen vom ersten Tag an Ratenschutz, bemessen an dem, was die Website ungecacht ausliefern kann.
Regeln, die dem Traffic folgen, nicht einer Herstellerliste. Wir lesen Ihre Access-Logs, um zu sehen, welche Agents und Anfrageformen die meiste PHP- und Datenbankzeit kosten, schreiben dann die Regel für dieses Muster, rollen sie auf jeden Edge der Website aus und halten die Zahlen vorher und nachher für Sie fest.
Warum EuroVPS
- Kontrollen am Load Balancer, kein Plugin in der Anwendung.
- Regeln, gezielt auf die teuren Pfade, damit Suchmaschinen weiter crawlen und Besucher weiter browsen.
- Wir lesen die Access-Logs und messen, dann schreiben wir die Regel.
- PHP-FPM-Limits und Edge-Regeln gemeinsam entworfen.
- Schutzregeln, auf jeden Edge einer Website ausgerollt, mit festgehaltenen Zahlen.
Häufige Fragen
Schadet das unseren Suchmaschinen-Rankings? Nein. Wir begrenzen die Rate auf teuren Pfaden, statt Crawler zu blockieren, und eine 429 sagt legitimen Crawlern, dass sie später wiederkommen sollen.
Können Sie KI-Crawler komplett blockieren? Ja, wenn das Ihre Richtlinie ist. Viele Kunden ziehen es vor, sie stattdessen in der Rate zu begrenzen.
Ist das eine WAF? Es ergänzt eine. Eine WAF sucht nach Angriffen. Die Traffic-Steuerung am Edge bewältigt die Last durch Traffic, der legitim, aber teuer ist.
Müssen wir unsere Anwendung ändern? Nein. Die Kontrollen liegen am Load Balancer und in der PHP-FPM-Konfiguration.
Wie schnell können Sie auf einen neuen Crawler reagieren? Eine gezielte Regel kann in der Regel innerhalb von Minuten nach Erkennen des Musters geschrieben und auf jedem Edge ausgerollt werden.
Fressen Bots Ihre Kapazität? Sprechen Sie mit einem Ingenieur.
Ihr nächster Infrastrukturpartner
Sehen wir uns Ihre Umgebung an.
Erzählen Sie uns, was Sie heute betreiben und was besser werden muss. Ein Ingenieur sieht Ihre Anfrage durch und hilft Ihnen, den nächsten Schritt zu planen.
+357 222 32280
Beginnen wir mit Ihrer Umgebung.
Ein wenig Kontext hilft uns, das richtige Gespräch zu beginnen.