O que fazemos · Operações: Controlo de tráfego no edge para crawlers e scrapers
Parte do tráfego mais pesado que o seu website recebe é HTTP tecnicamente válido, vindo de motores de busca, crawlers de IA, bots de pré-visualização de links e scrapers. Controlamo-lo no load balancer, antes de chegar ao PHP ou à base de dados, para que os caminhos que custam trabalho a sério continuem rápidos para os visitantes a sério.
O que é
- h2: O que é
Rate limiting, classificação e filtragem no edge para tráfego que não é um ataque no sentido clássico, mas que se comporta como um do ponto de vista operacional:
- Crawlers de IA e de motores de busca a percorrer todas as páginas de um sitemap paginado ao mesmo tempo.
- Bots de pré-visualização de links a pedir o mesmo URL sem cache centenas de vezes em simultâneo.
- Scrapers a martelar a navegação facetada, em que cada combinação de filtros é uma nova consulta à base de dados.
- Crawlers que geram URLs cada vez mais longos e recodificados a cada passagem.
Estes pedidos atingem os caminhos caros, sem cache, e é aí que pomos os controlos.
Como o construímos
- h2: Como o construímos
Limites de ritmo onde está o custo. Stick tables no HAProxy seguem o ritmo de pedidos por cliente e por agente em caminhos caros específicos, como sitemaps, pesquisa e listagens filtradas. Um crawler que ultrapassa o ritmo acordado recebe um 429, e o resto do website não é afetado.
Correspondência que sobrevive à mudança. A identificação de crawlers usa regras por substring que continuam a funcionar quando um bot muda o formato da string do seu user agent.
Padrões malformados recusados à partida. URLs repetidamente codificados duas vezes, query strings impossíveis e formas semelhantes são rejeitados no edge com uma única regra.
O PHP protegido dos pedidos que passam. O PHP-FPM recebe timeouts de terminação de pedidos e tetos de memória por worker, para que um pedido patológico não possa correr durante minutos, crescer sem limite ou levar a pool de workers consigo.
A cache continua a servir. No meio de tudo isto, o Varnish continua a servir páginas em cache, para que o website público se mantenha rápido enquanto os caminhos sem cache são protegidos.
Instalado em todo o lado, registado uma vez. Cada proteção vai para cada edge da propriedade, e a sua empresa recebe um relatório curto com os números de tráfego, a regra e o efeito.
Do que o protege
-
h2: Do que o protege
-
Um crawler de IA ou um bot de pré-visualização a disparar centenas de pedidos simultâneos contra a sua consulta mais pesada.
- Scrapers a deitar abaixo a navegação facetada de uma loja online, e com ela a base de dados, a meio de uma campanha.
- Workers PHP descontrolados a crescer até o sistema operativo ter de os parar.
- Regras de proteção que deixaram de corresponder em silêncio há meses.
- Bloqueios grosseiros que fecham a porta aos motores de busca e custam posições nos resultados.
Na prática
- h2: Na prática
Parte normal de cada edge que construímos. Em propriedades de notícias e de e-commerce, os caminhos de sitemap, pesquisa e listagens filtradas recebem proteções de ritmo desde o primeiro dia, dimensionadas para o que o website consegue servir sem cache.
Regras que seguem o tráfego, não uma lista de fornecedor. Lemos os seus access logs para ver que agentes e que formas de pedido custam mais tempo de PHP e de base de dados, depois escrevemos a regra para esse padrão, instalamo-la em cada edge da propriedade, e registamos para si os números de antes e de depois.
Porquê a EuroVPS
-
h2: Porquê a EuroVPS
-
Controlos no load balancer, não um plugin dentro da aplicação.
- Regras dirigidas aos caminhos caros, para que os motores de busca continuem a indexar e os visitantes a navegar.
- Lemos os access logs e medimos, e só depois escrevemos a regra.
- Limites de PHP-FPM e regras de edge desenhados em conjunto.
- Proteções instaladas em cada edge de uma propriedade, com os números registados.
Perguntas frequentes
- h2: Perguntas frequentes
Isto vai prejudicar o nosso posicionamento nos motores de busca? Não. Limitamos o ritmo nos caminhos caros em vez de bloquear crawlers, e um 429 diz aos crawlers legítimos para voltarem mais tarde.
Conseguem bloquear completamente os crawlers de IA? Sim, se essa for a sua política. Muitos clientes preferem limitar-lhes o ritmo.
Isto é uma WAF? Complementa uma. Uma WAF procura ataques; o controlo de tráfego no edge gere a carga de tráfego que é legítimo mas caro.
Precisamos de alterar a nossa aplicação? Não. Os controlos vivem no load balancer e na configuração do PHP-FPM.
Com que rapidez reagem a um crawler novo? Uma regra dirigida pode normalmente ser escrita e instalada em todos os edges poucos minutos depois de identificado o padrão.
Os bots estão a comer a sua capacidade? Fale com um engenheiro.
O seu próximo parceiro de infraestrutura
Vamos analisar a sua infraestrutura.
Diga-nos o que executa hoje e o que precisa de melhorar. Um engenheiro vai analisar o seu pedido e ajudar a planear o passo seguinte.
+357 222 32280
Comecemos pela sua infraestrutura.
Um pouco de contexto ajuda-nos a começar a conversa certa.