Cosa facciamo · Operations: Controllo del traffico all'edge per crawler e scraper
Parte del traffico più pesante che il vostro sito riceve è HTTP tecnicamente valido proveniente da motori di ricerca, crawler AI, generatori di anteprime dei link e scraper. Noi lo controlliamo al load balancer, prima che raggiunga PHP o il database, così i percorsi che costano lavoro vero restano veloci per i visitatori veri.
Cos'è
- h2: Cos'è
Rate limiting, classificazione e filtraggio all'edge per il traffico che non è un attacco in senso classico, ma che dal punto di vista operativo si comporta come tale:
- Crawler AI e di ricerca che percorrono in una volta ogni pagina di una sitemap paginata.
- Bot di anteprima dei link che richiedono lo stesso URL non in cache centinaia di volte in contemporanea.
- Scraper che martellano la navigazione a faccette, dove ogni combinazione di filtri è una nuova query al database.
- Crawler che a ogni passaggio generano URL sempre più lunghi e ricodificati.
Queste richieste colpiscono i percorsi costosi e non in cache, ed è lì che mettiamo i controlli.
Come lo costruiamo
- h2: Come lo costruiamo
Rate limit dove sta il costo. Le stick table di HAProxy tracciano la frequenza delle richieste per client e per agent su specifici percorsi costosi, come sitemap, ricerca ed elenchi filtrati. Un crawler che supera la frequenza concordata riceve un 429, e il resto del sito non ne risente.
Un riconoscimento che resiste ai cambiamenti. L'identificazione dei crawler usa regole per sottostringa che continuano a funzionare quando un bot cambia il formato della propria stringa user agent.
Pattern malformati respinti subito. URL doppiamente codificati e ripetuti, query string impossibili e forme simili vengono rifiutati all'edge con una sola regola.
PHP protetto dalle richieste che passano. PHP-FPM riceve timeout di terminazione delle richieste e tetti di memoria per worker, così una singola richiesta patologica non può girare per minuti, crescere senza limite o trascinare con sé il pool di worker.
La cache continua a servire. Nel frattempo Varnish continua a servire le pagine in cache, così il sito pubblico resta veloce mentre i percorsi non in cache sono protetti.
Distribuito ovunque, registrato una volta. Ogni protezione va su ogni edge della proprietà, e voi ricevete un breve report con i numeri del traffico, la regola e l'effetto.
Da cosa vi protegge
-
h2: Da cosa vi protegge
-
Un crawler AI o un generatore di anteprime che spara centinaia di richieste concorrenti sulla vostra query più pesante.
- Scraper che mettono fuori uso la navigazione a faccette di un e-commerce, e con essa il database, nel pieno di una campagna.
- Worker PHP fuori controllo che crescono finché il sistema operativo deve fermarli.
- Regole di protezione che hanno smesso di corrispondere mesi fa, in silenzio.
- Blocchi indiscriminati che escludono i motori di ricerca e vi costano posizionamento.
In pratica
- h2: In pratica
Una parte standard di ogni edge che costruiamo. Sulle proprietà editoriali e di e-commerce i percorsi di sitemap, ricerca ed elenchi filtrati ricevono protezioni di frequenza dal primo giorno, dimensionate su ciò che il sito può servire senza cache.
Regole che seguono il traffico, non l'elenco di un vendor. Leggiamo i vostri log di accesso per vedere quali agent e quali forme di richiesta costano più tempo di PHP e di database, poi scriviamo la regola per quel pattern, la distribuiamo su ogni edge della proprietà e registriamo per voi i numeri prima e dopo.
Perché EuroVPS
-
h2: Perché EuroVPS
-
Controlli al load balancer, non un plugin dentro l'applicazione.
- Regole mirate ai percorsi costosi, così i motori di ricerca continuano a indicizzare e i visitatori a navigare.
- Leggiamo i log di accesso e misuriamo, poi scriviamo la regola.
- Limiti PHP-FPM e regole all'edge progettati insieme.
- Protezioni distribuite su ogni edge di una proprietà, con i numeri registrati.
Domande frequenti
- h2: Domande frequenti
Danneggerà il nostro posizionamento sui motori di ricerca? No. Limitiamo la frequenza sui percorsi costosi invece di bloccare i crawler, e un 429 dice ai crawler legittimi di tornare più tardi.
Potete bloccare completamente i crawler AI? Sì, se questa è la vostra policy. Molti clienti preferiscono limitarne la frequenza.
È un WAF? Lo integra. Un WAF cerca attacchi; il controllo del traffico all'edge gestisce il carico generato da traffico legittimo ma costoso.
Dobbiamo modificare la nostra applicazione? No. I controlli vivono al load balancer e nella configurazione di PHP-FPM.
Quanto in fretta potete reagire a un nuovo crawler? Una regola mirata può di norma essere scritta e distribuita su ogni edge entro pochi minuti dall'identificazione del pattern.
I bot vi mangiano la capacità? Parla con un ingegnere.
Il vostro prossimo partner per l'infrastruttura
Guardiamo la vostra infrastruttura.
Raccontateci cosa fate girare oggi e cosa deve migliorare. Un ingegnere esaminerà la vostra richiesta e vi aiuterà a pianificare il passo successivo.
+357 222 32280
Partiamo dalla vostra infrastruttura.
Un po' di contesto ci aiuta a iniziare la conversazione giusta.