Cómo detectar bots y picos de 404 en logs de Nginx/Apache (y mitigarlo sin bloquear tráfico útil)

¿Por qué es crucial detectar bots y picos de 404?

Detectar y gestionar eficazmente los bots y los errores 404 es esencial para la salud de tu sitio web. Aquí te explicamos por qué:

• Rendimiento del servidor: Los bots agresivos pueden consumir recursos del servidor, ralentizando tu sitio para los usuarios reales e incluso provocando caídas.
• Experiencia del usuario: Los errores 404, especialmente si son frecuentes, frustran a los visitantes y pueden dañar la reputación de tu sitio.
• SEO: Los errores 404 pueden afectar negativamente el posicionamiento en buscadores. Google penaliza los sitios con muchos errores.
• Análisis de datos: Si no filtras los bots y los errores irrelevantes, tus análisis de tráfico y comportamiento del usuario serán inexactos.

Paso a paso: Detectando y Mitigando Bots y 404 en Nginx y Apache

Este proceso te ayudará a identificar y solucionar los problemas causados por bots y errores 404, sin afectar a tus usuarios legítimos. Sigue estos pasos:

1. Analiza tus Logs

El primer paso es examinar tus logs de acceso de Nginx o Apache. Necesitarás acceso SSH a tu servidor y permisos para leer los logs. Normalmente, los logs de Nginx se encuentran en /var/log/nginx/access.log y los de Apache en /var/log/apache2/access.log.

Herramientas esenciales:

• grep y awk: Para filtrar y extraer datos específicos de los logs.
• sort y uniq: Para ordenar y contar las ocurrencias.
• head y tail: Para ver las primeras o últimas líneas de los logs.

Ejemplos prácticos:

• Top 10 URLs que generan errores 404:

  grep " 404 " /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -10

  Este comando te mostrará las URLs que más errores 404 generan. Analiza estas URLs para identificar patrones y posibles problemas (links rotos, bots que buscan vulnerabilidades, etc.).

• Top 10 IPs que generan errores 404:

  grep " 404 " /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10

  Identifica las IPs que generan más errores 404. Si ves una IP que genera muchos errores en poco tiempo, es probable que sea un bot.

• Top 10 User-Agents que generan errores 404:

  grep " 404 " /var/log/nginx/access.log | awk '{print $6}' | sort | uniq -c | sort -nr | head -10

  Analiza los User-Agents. Muchos bots se identifican a sí mismos a través del User-Agent. Investiga los User-Agents sospechosos.

2. Identifica el Origen de los Errores 404

Una vez que hayas identificado las URLs, IPs y User-Agents que generan errores 404, es hora de investigar el origen de estos errores:

• Links rotos internos: Verifica si los errores 404 se deben a links rotos dentro de tu sitio web. Utiliza herramientas como Google Search Console o Screaming Frog para identificar links rotos. Corrige los enlaces rotos o redirige las URLs a páginas relevantes.
• Links rotos externos: Si los errores 404 provienen de enlaces externos, puedes intentar contactar a los sitios web que enlazan a tus páginas y pedirles que corrijan los enlaces. Si no es posible, puedes redirigir la URL a una página relevante.
• Bots maliciosos: Si los errores 404 son causados por bots que buscan vulnerabilidades (por ejemplo, escaneando archivos sensibles como .env, o URLs comunes de WordPress como wp-admin), deberás tomar medidas para bloquear o mitigar su actividad (ver paso 3).
• Errores de usuario: A veces, los errores 404 son causados por errores tipográficos en las URLs o por usuarios que acceden a páginas que ya no existen. En estos casos, puedes considerar redirigir la URL a una página relevante o mostrar un mensaje de error claro y útil.

3. Mitiga los Problemas sin Bloquear Tráfico Útil

Una vez que has identificado el origen de los errores 404, es hora de tomar medidas para mitigar los problemas:

• Bloqueo de bots sospechosos: Puedes bloquear IPs o User-Agents específicos utilizando reglas en Nginx o Apache. Ten cuidado de no bloquear bots legítimos (como Googlebot).
• Limitación de la tasa de solicitudes (Rate Limiting): Implementa rate limiting para proteger endpoints específicos contra el abuso. Por ejemplo, limita la cantidad de solicitudes por minuto para la búsqueda en tu sitio, o para la consulta de información sensible.
• Redirecciones 301: Redirige las URLs que generan errores 404 a páginas relevantes utilizando redirecciones 301. Esto ayuda a mantener el SEO y a mejorar la experiencia del usuario. Presta atención a no crear bucles de redirección.
• Bloqueo de patrones maliciosos: Utiliza reglas para bloquear el acceso a patrones de URL sospechosos (por ejemplo, intentos de acceso a archivos sensibles como .env, o a URLs comunes de WordPress como wp-admin).
• Implementa un Web Application Firewall (WAF): Un WAF puede ayudarte a detectar y bloquear ataques maliciosos y a proteger tu sitio web contra bots agresivos.

4. Monitoriza y Ajusta

La detección y mitigación de bots y errores 404 es un proceso continuo. Es importante monitorizar tus logs de forma regular y ajustar tus reglas según sea necesario.

• Configura alertas: Configura alertas para recibir notificaciones cuando se produzcan picos inusuales de errores 404 o cuando se detecten actividades sospechosas.
• Revisa tus logs regularmente: Analiza tus logs de acceso y de error de forma regular para identificar nuevos patrones y problemas.
• Ajusta tus reglas: Ajusta tus reglas de bloqueo y rate limiting según sea necesario para optimizar la protección de tu sitio web sin afectar a los usuarios legítimos.

Ejemplos Prácticos de Código

Estos ejemplos te ayudarán a implementar las estrategias mencionadas anteriormente. Adapta estos códigos a tu configuración específica de Nginx o Apache.

Nginx

Bloqueo básico de rutas sospechosas:

location ~* /(wp-admin|wp-login\.php|xmlrpc\.php|\.env) {
    return 444; # Cierra la conexión sin respuesta.
}

Este código bloquea el acceso a rutas comunes de WordPress y a archivos potencialmente sensibles. El código de estado 444 cierra la conexión sin enviar una respuesta, lo cual es más eficiente que enviar un error 404 o 403.

Rate limiting para proteger la búsqueda:

location /search/ {
    limit_req zone=busqueda burst=5 nodelay;
    # ... otras directivas ...
}

limit_req_zone $binary_remote_addr zone=busqueda:10m rate=10r/m;

Este código limita la cantidad de solicitudes a la ruta /search/ a 10 por minuto por dirección IP. El parámetro burst permite que se procesen hasta 5 solicitudes adicionales de forma inmediata antes de empezar a retrasar las solicitudes. Ajusta estos valores según las necesidades de tu sitio web.

Apache

Bloqueo básico de rutas sospechosas usando .htaccess:

RewriteEngine On
RewriteRule ^(wp-admin|wp-login\.php|xmlrpc\.php|\.env) - [F,L]

Este código bloquea el acceso a las mismas rutas sospechosas que el ejemplo de Nginx.

Rate limiting (requiere el módulo mod_ratelimit):

    SetOutputFilter RATE_LIMIT
    RateLimit 10/m

Este código limita la cantidad de solicitudes a la ruta /search/ a 10 por minuto. El módulo mod_ratelimit debe estar instalado y habilitado en tu servidor Apache.

Errores Comunes y Cómo Evitarlos

Aquí hay algunos errores comunes que debes evitar al detectar y mitigar bots y errores 404:

• Bloquear demasiado: Evita bloquear rangos de IPs o User-Agents completos sin una investigación exhaustiva. Esto podría afectar a usuarios legítimos. Utiliza allowlists para bots de confianza, como Googlebot.
• Redirecciones 301 masivas sin control: No redirijas todas las URLs 404 a la página principal. Esto puede confundir a los usuarios y afectar negativamente el SEO. Redirige solo a páginas relevantes.
• Ignorar los logs de error: Presta atención a los errores 500 (errores internos del servidor). Un aumento repentino de errores 500 indica un problema grave en tu sitio web.
• No diferenciar entre errores 404 de assets y páginas: Algunos errores 404 son causados por la falta de recursos (imágenes, archivos CSS, etc.) y no afectan a la experiencia del usuario de la misma manera que los errores 404 en las páginas principales. Prioriza la corrección de los errores 404 más importantes.
• No ajustar el formato del log: Asegúrate de que tus logs de acceso incluyan información relevante, como el tiempo de respuesta (request_time para Nginx) y el tiempo de upstream (upstream_time para Nginx). Esta información te ayudará a identificar cuellos de botella y problemas de rendimiento.

Checklist Final para la Mitigación de Bots y Errores 404

Utiliza esta lista de verificación para asegurarte de que estás cubriendo todos los aspectos importantes:

• [ ] Analiza tus logs de acceso: Identifica las URLs, IPs y User-Agents que generan más errores 404.
• [ ] Investiga el origen de los errores 404: Determina si los errores son causados por links rotos, bots maliciosos o errores de usuario.
• [ ] Corrige los links rotos internos y externos: Utiliza herramientas para identificar y corregir los enlaces rotos.
• [ ] Implementa redirecciones 301: Redirige las URLs a páginas relevantes.
• [ ] Bloquea o mitiga la actividad de bots sospechosos: Utiliza reglas en Nginx o Apache para bloquear IPs o User-Agents sospechosos.
• [ ] Implementa rate limiting en endpoints críticos: Protege las páginas de búsqueda, formularios y otras áreas vulnerables.
• [ ] Considera el uso de un WAF: Para una protección más robusta contra ataques y bots.
• [ ] Monitoriza tus logs de forma regular: Configura alertas y revisa tus logs para identificar nuevos patrones y problemas.
• [ ] Ajusta tus reglas según sea necesario: Optimiza tus reglas de bloqueo y rate limiting para mejorar la seguridad y el rendimiento de tu sitio web.

Recomendaciones Finales Según el Caso de Uso

La mejor estrategia para detectar y mitigar bots y errores 404 depende del tipo de sitio web y sus necesidades:

• Sitios web pequeños y medianos: Comienza con el análisis de logs, la corrección de enlaces rotos y el bloqueo de rutas comunes. Implementa rate limiting en endpoints críticos. Considera un WAF si detectas actividad sospechosa.
• Sitios web con mucho tráfico o con contenido dinámico: Prioriza el análisis y la monitorización de logs. Implementa un sistema de rate limiting más robusto y un WAF. Considera el uso de herramientas de análisis de logs más avanzadas.
• Sitios web de comercio electrónico: Presta especial atención a la seguridad y a la protección de datos sensibles. Implementa un WAF y un sistema de detección de fraudes. Monitoriza los logs en busca de intentos de acceso no autorizados y de ataques de fuerza bruta.

En resumen, la detección y mitigación de bots y errores 404 es un proceso continuo que requiere un enfoque proactivo y la adaptación a las necesidades específicas de tu sitio web. Al implementar las estrategias y herramientas descritas en este artículo, podrás mejorar el rendimiento, la seguridad y la experiencia del usuario en tu sitio web.