Cloudflare und KI-Bots: Webinaraufzeichnung

Auf den meisten Webseiten klicken heute nicht nur Menschen. Bots beanspruchen einen großen Teil des Traffics, ohne etwas zu kaufen, und das bezahlen Ihr Server und die echten Kunden. Im Webinar nahmen sich Martin Michálek und Tomáš Svoboda den Bot-Traffic vor und diskutierten, was Cloudflare dagegen tun kann.

Webinaraufzeichnung#

Umfang des Problems#

• Automatisierte Besuche können über 60 % des Traffics ausmachen. KI-Bots sind auf Inhalte aus: Je mehr Unterseiten und wertvolle Informationen eine Website hat, desto lieber durchsuchen sie sie. Deshalb haben E-Shops und große Blogs häufiger ein Problem als kleine Präsentationswebsites. Ähnlich ist es bei Filtern: Je mehr Filterkombinationen eine Website bietet, desto stärker belasten sie die Bots.
• KI-Bots kaufen nichts, aber jede ihrer Anfragen belastet Ihren Server und Hosting und verlangsamt die Website für echte Kunden. Die Zeit bis zur Serverantwort (TTFB) kann sich dadurch um bis zur Hälfte verlängern.
• Cloudflare filtert über 20 % des weltweiten Webverkehrs. Der kostenlose Tarif reicht für grundlegenden Schutz und einen Überblick über Bots; stärkerer Schutz ist nur in den kostenpflichtigen Tarifen enthalten.

Eines der Anzeichen eines Bot-Ansturms: Die CPU-Auslastung des Servers springt plötzlich von 15 % auf fast 100 % und bleibt etwa eine halbe Stunde am Maximum.

Tücken eines generellen Bot-Verbots#

• Bots sind keine homogene Gruppe. Darunter befinden sich Suchmaschinen-Roboter, Datensammler für KI-Training und KI-Chat-Bots, die Websites für Nutzerantworten laden. Jede Art erfordert eine andere Behandlung.
• Offizielle KI-Bots großer Unternehmen geben sich zu erkennen. Ausländische und bösartige Bots geben sich dagegen als normale Browser aus (fälschen den sogenannten User-Agent), daher reicht es nicht, sie danach zu filtern.
• Über 95 % der KI-Bots ignorieren robots.txt.
• KI-Bots laden hauptsächlich HTML und führen JavaScript nur teilweise aus, wodurch sie auch an klassischer, auf JavaScript basierter Abwehr vorbeikommen.

Effektiver Schutz#

• Bots eine zwischengespeicherte statische Version der Seiten senden, um den Server nicht zu belasten.
• Gegen Botnetze, die aus normalen Heimanschlüssen operieren (Residential-Proxy-Botnetze), helfen Managed Challenges und CAPTCHA. Im kostenlosen Tarif schalten Sie sie manuell in den Regeln ein. Der Pro-Tarif (ab etwa 25 USD pro Monat) bietet zusätzlich den Super Bot Fight Mode, der selbst erkennt, wem die Challenge angezeigt wird. Im Enterprise-Tarif kommen Bot-Erkennung per TLS-Fingerprinting und eine detailliertere Bot-Verwaltung hinzu, der Preis beginnt bei etwa 2.000 USD.
• Behalten Sie die Sicherheitseinstellungen der Website im Blick, wenn der Traffic über den Cloudflare-Proxy läuft (in der Verwaltung durch ein orangefarbenes Wolkensymbol gekennzeichnet). Ohne eine Whitelist von erlaubten Adressen und Diensten funktionieren Zahlungen, Feeds und Monitoring nicht mehr.

Häufige Fehler#

• Die Whitelist erlaubter Dienste fehlt.
• Die Regeln sind zu locker.
• Zu strenge Regeln sperren versehentlich auch Bots, die Sie auf der Website haben wollen, zum Beispiel den Googlebot.
• Die Datei robots.txt ist schlecht verwaltet.
• Niemand überwacht die Regeln, deshalb kann Cloudflare sie überschreiben.
• Cloudflare ist eingeschaltet, aber niemand hat die Regeln konfiguriert. Das Einschalten allein schützt die Website nicht.

Checkliste: Was zu überprüfen ist#

1. Der Server antwortet immer langsamer (TTFB steigt), obwohl sich an der Website nichts geändert hat.
2. Der Server ist zeitweise überlastet (Spitzen in der CPU- oder Speicherauslastung), aber in Google Analytics sehen Sie keinen Anstieg der Besucherzahlen.
3. Ihr Hosting-Anbieter drängt Sie zu einem höheren Tarif oder meldet überschrittene Limits.
4. In Google Analytics gibt es absurde Sprünge: Besuche aus unerwarteten Ländern, Besuche von 0 Sekunden Dauer oder eine Absprungrate von 100 %.
5. In den Serverprotokollen (Logs) gibt es viele Anfragen zu Filtern, URL-Parametern, Suchanfragen und Paginierungen.
6. Die Website stürzt gelegentlich ab oder wird langsamer, auch wenn Sie gerade keinen Besucheranstieg oder größere Kampagne haben.
7. In den Logs tauchen seltsame Browser-Identifikationen (User-Agents) auf oder „Googlebot“ von IP-Adressen, die nicht zu Google gehören.
8. Anmeldeversuche, Spam in Formularen und gefälschte Bestellungen nehmen zu.
9. Die Konkurrenz kopiert Preise oder Inhalte schneller als erwartet.
10. Sie wissen nicht, wie viel Traffic von Bots stammt. Ohne Daten kann man keine fundierte Entscheidung treffen.

Tags:CloudflareCDNWeb PerformanceTTFB