Що ми робимо · Експлуатація: Контроль трафіку на edge для краулерів і скраперів
Частина найважчого трафіку, який отримує ваш сайт, це технічно коректний HTTP від пошукових систем, AI-краулерів, сервісів попереднього перегляду посилань і скраперів. Ми контролюємо його на балансувальнику, перш ніж він дістанеться PHP чи бази даних, щоб шляхи, які коштують реальної роботи, залишалися швидкими для реальних відвідувачів.
Що це
- h2: Що це
Обмеження швидкості, класифікація та фільтрація на edge для трафіку, який не є атакою в класичному сенсі, але поводиться як атака з погляду експлуатації:
- AI- та пошукові краулери, які обходять кожну сторінку посторінкового sitemap одночасно.
- Боти попереднього перегляду посилань, які сотні разів паралельно запитують ту саму некешовану URL-адресу.
- Скрапери, які молотять фасетну навігацію, де кожна комбінація фільтрів є новим запитом до бази даних.
- Краулери, які з кожним проходом генерують дедалі довші, повторно закодовані URL-адреси.
Ці запити влучають у некешовані, дорогі шляхи, і саме там ми ставимо контроль.
Як ми це будуємо
- h2: Як ми це будуємо
Обмеження швидкості там, де є вартість. Stick tables HAProxy відстежують частоту запитів на клієнта і на агента на конкретних дорогих шляхах, таких як sitemap, пошук і відфільтровані списки. Краулер, який перевищує погоджену частоту, отримує 429, а решта сайту не зачіпається.
Зіставлення, яке переживає зміни. Ідентифікація краулерів використовує правила за підрядками, які продовжують працювати, коли бот змінює формат свого рядка user agent.
Некоректні шаблони відхиляються одразу. Повторно двічі закодовані URL-адреси, неможливі рядки запитів і подібні форми відхиляються на edge одним правилом.
PHP захищено від запитів, які проходять. PHP-FPM отримує тайм-аути завершення запитів і стелі пам’яті на worker, тож один патологічний запит не може виконуватися хвилинами, рости без обмежень чи забрати з собою пул worker.
Кеш продовжує віддавати. Увесь цей час Varnish продовжує віддавати кешовані сторінки, тож публічний сайт залишається швидким, поки некешовані шляхи захищені.
Розгорнуто всюди, зафіксовано один раз. Кожен захист встановлюється на кожен edge ресурсу, а ви отримуєте короткий звіт із цифрами трафіку, правилом і ефектом.
Від чого це вас захищає
-
h2: Від чого це вас захищає
-
AI-краулер або сервіс попереднього перегляду посилань, який випускає сотні паралельних запитів у ваш найважчий запит до бази.
- Скрапери, які виводять з ладу фасетну навігацію інтернет-магазину, а з нею і базу даних, під час кампанії.
- Некеровані worker PHP, які ростуть, доки операційна система не змушена їх зупинити.
- Правила захисту, які тихо перестали спрацьовувати кілька місяців тому.
- Грубе блокування, яке відрізає пошукові системи і коштує вам позицій.
На практиці
- h2: На практиці
Стандартна частина кожного edge, який ми будуємо. На новинних ресурсах та інтернет-магазинах шляхи sitemap, пошуку та відфільтрованих списків отримують обмежувачі частоти з першого дня, розраховані на те, що сайт може віддати без кешу.
Правила, які слідують за трафіком, а не за списком постачальника. Ми читаємо ваші журнали доступу, щоб побачити, які агенти та форми запитів коштують найбільше часу PHP і бази даних, потім пишемо правило під цей шаблон, розгортаємо його на кожному edge ресурсу і фіксуємо для вас цифри до і після.
Чому EuroVPS
-
h2: Чому EuroVPS
-
Контроль на балансувальнику, а не плагін усередині застосунку.
- Правила, націлені на дорогі шляхи, тож пошукові системи далі індексують, а відвідувачі далі переглядають.
- Ми читаємо журнали доступу і вимірюємо, потім пишемо правило.
- Обмеження PHP-FPM і правила на edge, спроєктовані разом.
- Захисти, розгорнуті на кожному edge ресурсу, з зафіксованими цифрами.
Часті запитання
- h2: Часті запитання
Чи зашкодить це нашим позиціям у пошуку? Ні. Ми обмежуємо частоту на дорогих шляхах замість блокування краулерів, а 429 каже легітимним краулерам повернутися пізніше.
Чи можете ви повністю заблокувати AI-краулери? Так, якщо така ваша політика. Багато клієнтів воліють натомість обмежувати їм частоту.
Це WAF? Це доповнення до нього. WAF шукає атаки; контроль трафіку на edge керує навантаженням від трафіку, який легітимний, але дорогий.
Чи потрібно нам змінювати застосунок? Ні. Контроль живе на балансувальнику та в конфігурації PHP-FPM.
Як швидко ви можете відреагувати на новий краулер? Цільове правило зазвичай можна написати і розгорнути на кожному edge протягом хвилин після виявлення шаблону.
Боти з’їдають вашу потужність? Поговоріть з інженером.
Ваш наступний партнер з інфраструктури
Погляньмо на вашу інфраструктуру.
Розкажіть, що ви запускаєте сьогодні і що потребує покращення. Інженер розгляне ваш запит і допоможе спланувати наступний крок.
+357 222 32280
Почнімо з вашої інфраструктури.
Трохи контексту допомагає нам почати правильну розмову.