Cloudflare y bots de IA: resumen del seminario web

Hoy en día, no solo las personas hacen clic en los sitios web. Los bots se llevan una gran parte del tráfico sin comprar nada, y el coste lo asumen tanto su servidor como sus verdaderos clientes. En el seminario web, Martin Michálek y Tomáš Svoboda se adentraron en el tráfico generado por bots y discutieron cómo Cloudflare puede manejarlo.

Grabación del seminario web#

Alcance del problema#

• Las visitas automatizadas pueden representar más del 60% del tráfico. Los bots de IA buscan contenido: cuantas más subpáginas e información valiosa tiene un sitio, más les gusta rastrearlo. Por eso las tiendas online y los blogs grandes tienen más problemas que los sitios corporativos pequeños. Lo mismo ocurre con los filtros: cuantas más combinaciones de filtros ofrece un sitio, más lo sobrecargan los bots.
• Los bots de IA no compran nada, pero cada solicitud que hacen sobrecarga su servidor y alojamiento, ralentizando el sitio para los clientes reales. El tiempo que tarda el servidor en comenzar a responder (TTFB) puede aumentar hasta en un 50%.
• Cloudflare filtra más del 20% del tráfico web mundial. El plan gratuito es suficiente para una protección básica y para obtener información sobre los bots, pero la protección más fuerte está en los planes de pago.

Una de las señales de una avalancha de bots: el uso de CPU del servidor salta de repente del 15% a casi el 100% y se mantiene al máximo durante una media hora.

Dificultades de prohibir bots de manera general#

• Los bots no son un grupo homogéneo. Incluyen robots de motores de búsqueda, recolectores de datos para entrenar IA y bots de chats de IA que cargan sitios para responder a usuarios. Cada uno requiere un enfoque diferente.
• Los bots de IA oficiales de grandes empresas se identifican. En cambio, los bots extranjeros y maliciosos se hacen pasar por navegadores comunes (falsifican el llamado user-agent), por lo que filtrarlos de esa manera no es suficiente.
• Más del 95% de los bots de IA ignoran el robots.txt.
• Los bots de IA descargan principalmente HTML y ejecutan JavaScript solo parcialmente, por lo que pueden eludir la protección clásica basada en JavaScript.

Protección efectiva#

• Enviar a los bots una versión estática almacenada en caché de las páginas, para que no sobrecarguen su servidor.
• Contra las redes de bots que operan desde conexiones domésticas comunes (botnets de proxies residenciales) ayudan los desafíos de verificación (managed challenge) y CAPTCHA. En el plan gratuito se activan manualmente en las reglas. El plan Pro (desde unos 25 USD al mes) añade Super Bot Fight Mode, que decide por sí mismo a quién mostrar el desafío. En el plan Enterprise, se añade la identificación de bots mediante la huella técnica de la conexión (TLS fingerprinting) y una gestión más detallada de los bots, a partir de unos 2,000 USD.
• Vigilar la configuración de seguridad del sitio si el tráfico pasa por el proxy de Cloudflare (en la administración, un icono de nube naranja). Sin una lista blanca de direcciones y servicios permitidos, dejarán de funcionar los pagos, feeds y monitoreo.

Errores comunes#

• Falta la lista blanca de servicios permitidos.
• Las reglas son demasiado laxas.
• Unas reglas demasiado estrictas bloquean por error también los bots que sí quiere en su sitio, como Googlebot.
• El archivo robots.txt está mal gestionado.
• Nadie supervisa las reglas, así que Cloudflare puede reescribirlas.
• Cloudflare está activado, pero nadie ha configurado las reglas. Activarlo sin más no protege el sitio.

Lista de verificación: qué revisar#

1. El servidor responde cada vez más lentamente (aumenta el TTFB), incluso si no ha habido cambios en el sitio.
2. A veces el servidor está sobrecargado (variaciones en el uso de CPU o memoria), pero en Google Analytics no se refleja un aumento de visitas.
3. Su proveedor de hosting le presiona para un plan superior o reporta límites excedidos.
4. En Google Analytics hay picos extraños: visitas desde países inesperados, visitas de 0 segundos o una tasa de rebote del 100%.
5. En los registros del servidor (logs) hay muchas solicitudes para filtros, parámetros en la URL, búsquedas y paginación.
6. El sitio ocasionalmente se cae o se ralentiza, incluso cuando no tiene un aumento de tráfico o una campaña mayor.
7. En los logs aparecen identificaciones de navegadores (user-agents) extrañas o “Googlebot” desde IPs que no pertenecen a Google.
8. Aumentan los intentos de inicio de sesión, spam en formularios y pedidos falsos.
9. La competencia copia precios o contenido antes de lo esperado.
10. No sabe cuánto del tráfico está compuesto por bots. Sin datos, no se puede tomar una decisión.

Etiquetas:CloudflareCDNWeb PerformanceTTFB