Bots en repositorios digitales: impacto y protección

Los bots de búsqueda, cosechadores y agentes de inteligencia artificial pueden mejorar la visibilidad de un repositorio, pero también afectar su rendimiento y disponibilidad.

Bots en repositorios digitales

Los repositorios digitales facilitan acceso, preservación y difusión de documentos, publicaciones, datos y otros contenidos institucionales.

Parte de esa visibilidad depende de procesos automatizados. Motores de búsqueda, agregadores académicos, servicios de cosecha y plataformas de inteligencia artificial recorren periódicamente repositorios para descubrir, indexar o reutilizar contenidos.

El problema no es la existencia de bots. Un rastreo automatizado puede favorecer visibilidad e interoperabilidad. Pero una actividad demasiado intensa puede consumir recursos, ralentizar búsquedas, saturar infraestructura y distorsionar estadísticas.

El desafío es distinguir entre bots útiles, rastreadores innecesarios y tráfico automatizado que genera carga desproporcionada.

¿Qué es un bot o crawler?

Un bot es un programa que realiza solicitudes automatizadas a un sitio web. Cuando su objetivo es recorrer páginas, enlaces y documentos, suele llamarse crawler, spider o rastreador.

En un repositorio institucional pueden aparecer:

Motores de búsqueda como Googlebot o Bingbot.
Cosechadores de metadatos.
Agregadores científicos.
Servicios de preservación y archivado.
Herramientas de monitoreo.
Plataformas de análisis.
Bots de inteligencia artificial.
Descargadores automatizados.
Rastreadores mal configurados o maliciosos.

La actividad automatizada no es necesariamente negativa. Motores de búsqueda ayudan a descubrir publicaciones desde Internet. Cosechadores académicos permiten integrar el repositorio con redes nacionales e internacionales.

El problema aparece cuando volumen, frecuencia o tipo de solicitudes supera capacidad razonable de la plataforma.

¿Por qué los repositorios atraen tanto tráfico automatizado?

Repositorios institucionales contienen información pública, estructurada y de alto valor:

Artículos científicos.
Tesis y trabajos académicos.
Informes técnicos.
Documentos históricos.
Conjuntos de datos.
Metadatos descriptivos.
Archivos PDF y otros formatos.
Identificadores persistentes.
Información sobre autores, instituciones y proyectos.

Además, suelen ofrecer varias vías de acceso:

Páginas públicas de cada registro.
Resultados de búsqueda.
Navegación por comunidades y colecciones.
Filtros y facetas.
Sitemaps.
API REST.
Interfaces OAI-PMH.
Descargas directas de archivos.

Estas capacidades favorecen interoperabilidad, pero también amplían superficie recorrible por sistemas automatizados.

Cómo afectan los bots a un repositorio

Consumo de CPU y memoria

Cada solicitud puede activar renderizado de páginas, consultas a base de datos, consultas al índice de búsqueda, validaciones de permisos, respuestas desde API REST, acceso a archivos y procesamiento frontend.

Cuando un bot solicita cientos o miles de páginas en poco tiempo, esas operaciones compiten por recursos con usuarios reales.

Sobrecarga de Solr o del motor de búsqueda

Repositorios suelen usar Apache Solr o Elasticsearch para búsquedas, filtros y facetas.

Un crawler que recorre combinaciones de consultas, páginas, filtros y ordenamientos puede generar más carga que otro que visita solo páginas de registros.

La navegación facetada puede producir muchas URLs similares o repetidas. Google advierte que este tipo de navegación puede crear espacios de URL muy grandes y consumir recursos de rastreo y servidor.

Saturación de conexiones

Muchas solicitudes concurrentes pueden agotar hilos de Tomcat, procesos del servidor web, conexiones disponibles en PostgreSQL, conexiones del pool de aplicación, capacidad del proxy inverso, memoria disponible o límites de transferencia.

Cuando esto ocurre, el repositorio puede responder lentamente, devolver errores 429, 502, 503 o 504, o dejar de atender temporalmente nuevas solicitudes.

Descarga masiva de archivos

Algunos bots no consultan solo metadatos. También descargan sistemáticamente archivos asociados a cada registro.

En repositorios con PDF de gran tamaño, imágenes digitalizadas o archivos audiovisuales, esto puede aumentar ancho de banda, operaciones de lectura, transferencia desde almacenamiento externo, costos de infraestructura y tiempos de respuesta.

Distorsión de estadísticas

Bots pueden inflar artificialmente visitas a registros, visualizaciones de comunidades y colecciones, descargas de archivos, sesiones, países de origen y páginas más consultadas.

Si la actividad automatizada no se identifica o filtra correctamente, las estadísticas pueden dejar de representar comportamiento real de usuarios.

Problemas de disponibilidad

Un bot no necesita ser malicioso para provocar dificultades. Un crawler legítimo, pero mal configurado, puede realizar solicitudes demasiado rápidas o recorrer combinaciones innecesarias de URLs.

Algunos buscadores reducen su frecuencia cuando detectan problemas de disponibilidad. No todos los bots implementan autorregulación ni respetan indicaciones del sitio.

Bots de inteligencia artificial

A buscadores tradicionales se han sumado crawlers y agentes relacionados con inteligencia artificial.

Estos sistemas pueden acceder a contenido con distintos propósitos:

Entrenamiento de modelos.
Indexación para buscadores con IA.
Recuperación de información.
Generación de respuestas.
Navegación solicitada por una persona.
Análisis y extracción automatizada.

No conviene asumir que todos los bots de IA tienen el mismo propósito. Tampoco conviene aplicar una política única sin analizar contexto.

La institución debe decidir qué tipos de acceso desea permitir considerando políticas de acceso abierto, licencias, derechos de autor, protección de datos personales, capacidad de infraestructura, objetivos de visibilidad, condiciones de uso y comportamiento real del bot.

No todos los bots deben bloquearse

Bloquear indiscriminadamente tráfico automatizado puede perjudicar visibilidad e interoperabilidad.

Normalmente deben mantenerse accesibles, bajo condiciones controladas:

Buscadores relevantes.
Cosechadores OAI-PMH autorizados.
Agregadores científicos.
Redes de ciencia abierta.
Servicios de preservación.
Sistemas de monitoreo.
Validadores técnicos.
Integraciones institucionales autorizadas.

OpenAIRE, por ejemplo, utiliza mecanismos estructurados para recolectar metadatos desde repositorios compatibles. Esto es distinto del rastreo indiscriminado de páginas HTML y debe tratarse como una integración esperada.

La estrategia debe permitir servicios beneficiosos y controlar aquellos que generan solicitudes excesivas o no aportan valor institucional.

El papel de robots.txt

El archivo robots.txt permite indicar a crawlers qué rutas pueden o no recorrer. También puede incluir ubicación del sitemap para facilitar descubrimiento de páginas relevantes.

Ejemplo únicamente referencial:

User-agent: *
Allow: /

Disallow: /search
Disallow: /server/api/
Disallow: /*?*

Sitemap: https://repositorio.ejemplo.cl/sitemap.xml

Las rutas correctas dependen de la versión de DSpace, arquitectura del sitio y necesidades de indexación. Bloquear todos los parámetros o endpoints sin revisión previa puede afectar páginas válidas, buscadores académicos e integraciones.

robots.txt es una directriz para crawlers que deciden respetarla. No constituye barrera de seguridad, no reemplaza controles en servidor, CDN o WAF, no evita que una URL sea conocida por otras vías y debe probarse antes de aplicarse en producción.

Medidas para controlar el impacto

1. Analizar registros de acceso

Revisar logs de Apache, Nginx, Tomcat, CDN o proxy permite conocer direcciones IP con más solicitudes, User-Agents frecuentes, URLs recorridas, errores, frecuencia de acceso, descargas repetitivas, horarios de mayor actividad y solicitudes concurrentes.

No conviene asumir que cualquier User-Agent que contiene palabra “bot” es legítimo.

2. Verificar identidad de bots conocidos

No basta confiar en encabezado User-Agent. Cuando sea necesario, conviene validar mediante rangos de IP publicados, resolución DNS directa e inversa, listas de bots verificados del proveedor de CDN, firmas oficiales o comportamiento observado.

Un bot puede falsificar el nombre de Googlebot, Bingbot u otro servicio.

3. Aplicar límites de solicitudes

Rate limiting debe aplicarse de forma diferenciada por dirección IP, rutas de búsqueda, filtros, facetas, API públicas, descargas repetidas, bots no verificados y endpoints de alto costo.

No conviene aplicar límites agresivos indiscriminados a buscadores verificados, porque puede afectar posicionamiento e indexación.

4. Utilizar WAF, CDN o controles de servidor

Un firewall de aplicaciones web, CDN, proxy o control de servidor puede ayudar a detectar tráfico automatizado, permitir bots verificados, aplicar desafíos, bloquear patrones abusivos, restringir rutas de alto costo y controlar bots de inteligencia artificial.

Cloudflare es una alternativa posible, pero no la única. La decisión depende de arquitectura, presupuesto, equipo operativo y políticas institucionales.

5. Configurar caché

La caché puede reducir solicitudes hacia la aplicación en recursos estáticos, imágenes, CSS, JavaScript, páginas públicas de baja variabilidad, archivos descargables y respuestas públicas que puedan almacenarse de forma segura.

No deben almacenarse indiscriminadamente respuestas privadas, autenticadas o dependientes de permisos.

6. Reducir URLs innecesarias

Conviene revisar parámetros de ordenamiento, combinaciones de filtros, paginaciones extremas, búsquedas vacías, resultados sin contenido, URLs duplicadas, rutas administrativas, endpoints internos, páginas de autenticación y consultas costosas.

Sitemaps, enlaces canónicos y reglas de rastreo ayudan a destacar URLs de mayor valor.

7. Separar interoperabilidad y rastreo web

Cuando exista un mecanismo formal, suele ser mejor usar OAI-PMH, API documentadas, sitemaps, exportaciones estructuradas, procesos de cosecha identificados, credenciales específicas o ventanas controladas de sincronización.

Esto reduce necesidad de recorrer cada página como si fuera un navegador.

8. Filtrar estadísticas

Cuando sea posible, conviene separar tráfico humano, buscadores, cosechadores institucionales, monitoreo, bots de IA, descargadores masivos y tráfico malicioso.

También es importante documentar criterios utilizados para excluir bots de estadísticas.

Señales de que existe un problema

Algunos indicadores habituales:

Aumento repentino de solicitudes.
Carga elevada sin crecimiento equivalente de usuarios.
Consultas repetidas a las mismas rutas.
Miles de accesos desde pocas direcciones IP.
Descargas secuenciales de archivos.
Errores frecuentes en Tomcat o proxy.
Saturación del pool de conexiones.
Consultas lentas en PostgreSQL.
Mayor carga en Solr.
Respuestas 429, 502, 503 o 504.
Caídas durante horarios sin actividad humana.
Estadísticas difíciles de explicar.

Estos síntomas también pueden deberse a errores de configuración, integraciones internas, consultas defectuosas o tareas programadas. El diagnóstico debe mirar evidencia, no solo intuición.

Equilibrio necesario

Los bots forman parte del ecosistema de repositorios digitales.

Gracias a ellos, contenidos pueden aparecer en buscadores, incorporarse a agregadores, integrarse con redes de ciencia abierta, encontrarse desde otras plataformas y validarse mediante servicios externos.

Pero acceso abierto no implica aceptar cualquier volumen o comportamiento automatizado sin control.

Una estrategia equilibrada debe:

Identificar tráfico automatizado.
Clasificarlo según finalidad.
Permitir buscadores y cosechadores beneficiosos.
Restringir rutas de alto costo o bajo valor.
Aplicar límites razonables.
Usar caché y protección perimetral cuando corresponda.
Separar estadísticas humanas y automatizadas.
Monitorear impacto sobre infraestructura.
Revisar reglas periódicamente.
Documentar excepciones institucionales.

Conclusión

El crecimiento del rastreo automatizado está cambiando la forma en que deben administrarse repositorios digitales.

Ya no basta con publicar robots.txt y asumir que todos los crawlers actuarán correctamente. Los repositorios necesitan observabilidad, análisis de logs, límites de solicitudes, protección perimetral y reglas diferenciadas para buscadores, cosechadores académicos, bots de inteligencia artificial y tráfico abusivo.

El objetivo no debe ser cerrar el repositorio, sino proteger su disponibilidad mientras se conserva visibilidad, interoperabilidad y acceso público a sus contenidos.

Revisión de continuidad

Podemos revisar la arquitectura, logs, reglas de acceso, caché y medidas de continuidad de tu repositorio para distinguir tráfico útil, bots abusivos y riesgos operacionales.