Qué hacemos · Operaciones: Control de tráfico en el edge para crawlers y scrapers
Parte del tráfico más pesado que recibe su sitio es HTTP técnicamente válido procedente de buscadores, crawlers de IA, previsualizadores de enlaces y scrapers. Lo controlamos en el balanceador de carga, antes de que llegue a PHP o a la base de datos, para que las rutas que cuestan trabajo real sigan siendo rápidas para los visitantes reales.
Qué es
- h2: Qué es
Limitación de tasa, clasificación y filtrado en el edge para un tráfico que no es un ataque en el sentido clásico, pero que operativamente se comporta como tal:
- Crawlers de IA y de buscadores recorriendo a la vez todas las páginas de un sitemap paginado.
- Bots de previsualización de enlaces descargando la misma URL sin caché cientos de veces de forma concurrente.
- Scrapers machacando la navegación por facetas, donde cada combinación de filtros es una consulta nueva a la base de datos.
- Crawlers que generan URLs cada vez más largas y recodificadas en cada pasada.
Estas peticiones golpean las rutas caras y sin caché, y ahí es donde ponemos los controles.
Cómo lo construimos
- h2: Cómo lo construimos
Límites de tasa donde está el coste. Las stick tables de HAProxy siguen la tasa de peticiones por cliente y por agente en rutas caras concretas, como los sitemaps, la búsqueda y los listados filtrados. Un crawler que supera la tasa acordada recibe un 429, y el resto del sitio no se ve afectado.
Coincidencias que sobreviven a los cambios. La identificación de crawlers usa reglas de subcadena que siguen funcionando cuando un bot cambia el formato de su cadena de user agent.
Patrones malformados denegados de plano. URLs con doble codificación repetida, cadenas de consulta imposibles y formas similares se rechazan en el edge con una sola regla.
PHP protegido de las peticiones que pasan. PHP-FPM recibe tiempos máximos de terminación de petición y techos de memoria por worker, de modo que una petición patológica no puede ejecutarse durante minutos, crecer sin límite ni llevarse por delante el pool de workers.
La caché sigue sirviendo. Durante todo ello, Varnish sigue sirviendo páginas cacheadas, de modo que el sitio público sigue rápido mientras las rutas sin caché están protegidas.
Desplegado en todas partes, registrado una vez. Cada protección se aplica en cada edge de la propiedad, y usted recibe un breve informe con las cifras de tráfico, la regla y su efecto.
De qué le protege
-
h2: De qué le protege
-
De un crawler de IA o un previsualizador de enlaces lanzando cientos de peticiones concurrentes contra su consulta más pesada.
- De scrapers que dejan fuera de servicio la navegación por facetas de una tienda online, y con ella la base de datos, en plena campaña.
- De workers de PHP desbocados que crecen hasta que el sistema operativo tiene que detenerlos.
- De reglas de protección que dejaron de coincidir en silencio hace meses.
- De bloqueos a ciegas que dejan fuera a los buscadores y le cuestan posiciones.
En la práctica
- h2: En la práctica
Una parte estándar de cada edge que construimos. En propiedades de noticias y de e-commerce, las rutas del sitemap, la búsqueda y los listados filtrados reciben protecciones de tasa desde el primer día, dimensionadas a lo que el sitio puede servir sin caché.
Reglas que siguen al tráfico, no a una lista de proveedor. Leemos sus logs de acceso para ver qué agentes y qué formas de petición cuestan más tiempo de PHP y de base de datos, escribimos la regla para ese patrón, la desplegamos en cada edge de la propiedad y registramos para usted las cifras de antes y después.
Por qué EuroVPS
-
h2: Por qué EuroVPS
-
Controles en el balanceador de carga, no un plugin dentro de la aplicación.
- Reglas dirigidas a las rutas caras, de modo que los buscadores siguen rastreando y los visitantes siguen navegando.
- Leemos los logs de acceso y medimos, y después escribimos la regla.
- Límites de PHP-FPM y reglas de edge diseñados a la vez.
- Protecciones desplegadas en cada edge de una propiedad, con las cifras registradas.
Preguntas frecuentes
- h2: Preguntas frecuentes
¿Perjudicará esto nuestro posicionamiento en buscadores? No. Limitamos la tasa en las rutas caras en lugar de bloquear crawlers, y un 429 indica a los crawlers legítimos que vuelvan más tarde.
¿Pueden bloquear por completo los crawlers de IA? Sí, si esa es su política. Muchos clientes prefieren limitarles la tasa.
¿Es esto un WAF? Lo complementa. Un WAF busca ataques; el control de tráfico en el edge gestiona la carga de un tráfico que es legítimo pero caro.
¿Tenemos que cambiar nuestra aplicación? No. Los controles viven en el balanceador de carga y en la configuración de PHP-FPM.
¿Con qué rapidez pueden reaccionar ante un crawler nuevo? Normalmente, una regla dirigida puede escribirse y desplegarse en cada edge en cuestión de minutos desde que se identifica el patrón.
¿Los bots se comen su capacidad? Hable con un ingeniero.
Su próximo socio de infraestructura
Veamos su infraestructura.
Cuéntenos qué ejecuta hoy y qué necesita mejorar. Un ingeniero revisará su solicitud y le ayudará a planificar el siguiente paso.
+357 222 32280
Empecemos por su infraestructura.
Un poco de contexto nos ayuda a empezar la conversación adecuada.