Cloudflare a AI boti: záznam z webináře

Na většině webů dnes neklikají jen lidé. Boti si ukrojí velkou část provozu, aniž by cokoli koupili, a zaplatí to váš server i skuteční zákazníci. Na webináři si Martin Michálek a Tomáš Svoboda vzali botí provoz na paškál a probrali, co s ním zvládne Cloudflare.

Záznam webináře#

Rozsah problému#

• Automatizované návštěvy můžou tvořit přes 60 % provozu. AI boti jdou po obsahu: čím víc podstránek a hodnotnějších informací web má, tím raději ho procházejí. Proto mají větší problém e-shopy a velké blogy než malé prezentační weby. Podobně je to s filtry: čím víc kombinací filtrů web nabízí, tím víc ho boti zatíží.
• AI boti nic nenakoupí, ale každý jejich požadavek zatěžuje váš server i hosting a zpomaluje web skutečným zákazníkům. Dobu, za kterou server začne odpovídat (TTFB), dokážou prodloužit až o polovinu.
• Cloudflare filtruje přes 20 % celosvětového provozu na webu. Bezplatný tarif stačí na základní ochranu a přehled o botech, silnější ochrana je až v placených tarifech.

Jeden z projevů náporu botů: vytížení procesoru serveru během chvíle vyskočí z 15 % skoro na 100 % a zhruba půl hodiny se drží na maximu.

Úskalí plošného zákazu botů#

• Boti nejsou jedna skupina. Jsou mezi nimi roboti vyhledávačů, sběrači dat pro trénink AI i boti AI chatů, kteří web načtou kvůli odpovědi uživateli. Každého chcete řešit jinak.
• Oficiální AI boti velkých firem se identifikují. Zahraniční a škodliví boti se ale vydávají za obyčejný prohlížeč (falšují takzvaného user-agenta), takže je nestačí filtrovat podle toho.
• Přes 95 % AI botů ignoruje robots.txt.
• AI boti stahují hlavně HTML a JavaScript spouštějí jen částečně, takže projdou i klasickou ochranou postavenou na JavaScriptu.

Účinná ochrana#

• Posílat botům uloženou statickou verzi stránek z mezipaměti (cache), aby nezatěžovali váš server.
• Proti sítím botů, které chodí z běžných domácích připojení (rezidenční proxy botnety), pomáhá ověřovací výzva (managed challenge) a CAPTCHA. V bezplatném tarifu ji zapnete ručně v pravidlech. Tarif Pro (od zhruba 25 USD měsíčně) přidává Super Bot Fight Mode, který sám rozpozná, komu výzvu zobrazit. V tarifu Enterprise přibývá rozpoznávání botů podle technického otisku spojení (TLS fingerprinting) a podrobnější správa botů, řádově od 2 000 USD.
• Ohlídat nastavení zabezpečení webu, pokud jde provoz přes proxy Cloudflare (v administraci oranžový obláček). Bez seznamu povolených adres a služeb (whitelistu) přestanou fungovat platby, feedy i monitoring.

Časté chyby#

• Chybí seznam povolených služeb (whitelist).
• Pravidla jsou příliš volná.
• Příliš přísná pravidla omylem zablokují i boty, které na webu chcete, třeba Googlebota.
• Soubor robots.txt je špatně spravovaný.
• Pravidla nikdo nehlídá, takže je Cloudflare může přepsat.
• Cloudflare je zapnutý, ale pravidla nikdo nenastavil. Samotné zapnutí web neochrání.

Checklist: co zkontrolovat#

1. Server odpovídá čím dál pomaleji (roste TTFB), i když se na webu nic neměnilo.
2. Server je chvílemi přetížený (výkyvy ve vytížení procesoru nebo paměti), ale v Google Analytics žádný nárůst návštěvnosti nevidíte.
3. Hosting vás tlačí do vyššího tarifu nebo hlásí překročení limitů.
4. V Google Analytics jsou nesmyslné skoky: návštěvy z nečekaných zemí, návštěvy dlouhé 0 sekund nebo 100% míra okamžitého opuštění.
5. V záznamech serveru (logu) je spousta požadavků na filtry, parametry v URL, vyhledávání a stránkování.
6. Web občas spadne nebo zpomalí, i když zrovna nemáte vyšší návštěvnost ani větší kampaň.
7. V logu se objevují podivné identifikace prohlížečů (user-agenti) nebo „Googlebot“ z IP adres, které Googlu nepatří.
8. Rostou pokusy o přihlášení, spam ve formulářích a falešné objednávky.
9. Konkurence kopíruje ceny nebo obsah dřív, než byste čekali.
10. Nevíte, kolik provozu tvoří boti. Bez dat se nedá rozhodnout.

Tagy:CloudflareCDNRychlost webuTTFB