Cloudflare le da a cualquier sitio el control total sobre qué robots de IA pueden rastrear su contenido — y lo hace gratis, para todos los planes
Cloudflare lanzó una suite de herramientas que llama “Your site, your rules” (Tu sitio, tus reglas), diseñada para que cualquier propietario de sitio web pueda decidir con precisión qué crawlers de IA tienen acceso a su contenido. La novedad tiene un detalle importante: está disponible para todos los planes de Cloudflare, incluyendo el plan gratuito.
Qué permite hacer exactamente
Hasta ahora, controlar el acceso de los crawlers de IA requería editar manualmente el archivo robots.txt, conocer exactamente los user agents de cada bot (que cambian frecuentemente), y actualizar el archivo cada vez que aparecía un crawler nuevo. El resultado era que muchos sitios — especialmente medios con equipos técnicos pequeños — terminaban con una política de rastreo desactualizada o directamente sin ninguna.
Con las nuevas herramientas de Cloudflare, el control se vuelve visual y centralizado. Desde el dashboard se puede:
- Ver en tiempo real qué bots de IA están rastreando el sitio y con qué frecuencia.
- Bloquear crawlers específicos (por ejemplo, GPTBot de OpenAI, ClaudeBot de Anthropic, o los crawlers de Perplexity) con un toggle, sin tocar robots.txt.
- Permitir crawlers selectivos — por ejemplo, seguir permitiendo el acceso a Googlebot pero bloquear todos los crawlers de IA generativa.
- Recibir alertas cuando un nuevo crawler de IA no identificado accede al sitio.
Por qué esto es relevante para medios digitales
Los medios digitales están en una posición particular: su contenido es exactamente el tipo de material que los sistemas de IA quieren rastrear y usar para entrenar modelos o generar respuestas. Al mismo tiempo, ese contenido tiene un costo de producción real — periodistas, editores, infraestructura — que no se recupera si el lector obtiene la respuesta de una IA sin visitar el sitio.
La pregunta que cada medio tiene que responder es si quiere que su contenido sea usado por sistemas de IA, y bajo qué condiciones. Hasta ahora esa decisión era técnicamente complicada. Con las herramientas de Cloudflare, se vuelve accesible para cualquier equipo.
Una advertencia importante sobre bloquear crawlers de IA
Bloquear todos los crawlers de IA no es necesariamente la decisión correcta para todos los medios. Algunos crawlers de IA, como los de Google para AI Overviews, están vinculados a la visibilidad en búsqueda. Bloquear el crawler equivocado puede reducir la aparición del contenido en las respuestas de Google, que sigue siendo una fuente de tráfico relevante. La clave está en entender qué crawler hace qué, y tomar decisiones informadas caso por caso.
Si tu medio está evaluando una política de acceso para crawlers de IA y necesitás ayuda para entender qué bloquear y qué no sin afectar tu visibilidad en Google, desde la consultoría SEO para medios digitales trabajamos este tipo de configuración técnica. Más información en servicios SEO.
