Comprobador de
Crawlers de IA.

La mayoría de los "comprobadores de robots.txt" que encuentras online rastrean un dominio en vivo, lo que significa enviar tu URL al servidor de otro y confiar en su parser. Esta herramienta se salta ese paso por completo: tú pegas el texto, todo se ejecuta en un script de tu propio navegador, y nada de tu sitio —ni el dominio, ni el archivo, ni la ruta que te interesa— va a ningún otro sitio. Eso importa para un archivo que a menudo refleja justo las partes de un negocio que preferirías no rastrear: secciones sin publicar, rutas de staging, áreas de administración.

También significa que la herramienta funciona igual de bien con un robots.txt que todavía no está en producción: un borrador que vas a desplegar, el archivo de un cliente que estás revisando antes de una migración, o el archivo de un competidor que copiaste a un editor de texto para estudiarlo. Pégalo, elige una ruta, y comprueba cómo lo leería hoy cada crawler de IA relevante, con las reglas reales del estándar IETF RFC 9309 en vez de una suposición.

Estos tres se confunden constantemente, y la confusión lleva a malas decisiones. El robots.txt es el único de los tres que controla de verdad el acceso de rastreo —ruta a ruta, bot a bot— y es el único que esta herramienta evalúa para dar un resultado de permitido o bloqueado. El llms.txt es una convención distinta y mucho más reciente: una lista cuidada de las páginas clave de un sitio, pensada para que un modelo navegue de forma eficiente. No tiene ningún efecto de control de acceso —publicar uno no bloquea ni permite nada, y ningún proveedor de IA importante lo trata como una barrera.

Content-Signal es aún más reciente y resuelve un tercer problema: una vez que un bot ya ha descargado una página, ¿cuál es la preferencia declarada del propietario del sitio sobre cómo se usa ese contenido —indexarlo para búsqueda, usarlo para entrenar un modelo, o usarlo como entrada en vivo para responder una pregunta—? Se declara por grupo, normalmente junto a las mismas líneas Allow/Disallow, con valores como ai-train=no o ai-input=yes. Este comprobador la muestra cuando existe, pero solo como referencia junto al resultado de acceso —es una preferencia declarada, no un mecanismo de aplicación, así que nunca cambia si esta herramienta marca una ruta como "Permitido" o "Bloqueado".

El error más habitual en un robots.txt es añadir un Disallow: / general al grupo * —para frenar scrapers genéricos, o durante una fase de staging que nunca se limpió— sin comprobar si algún grupo con nombre propio ya tenía una excepción. Si GPTBot tiene su propio grupo con Allow: /, sigue permitido sin importar lo que diga el grupo *, porque el grupo más específico siempre gana. Pero cualquier crawler de IA sin grupo propio —que, en la mayoría de sitios, son casi todos— hereda en silencio el nuevo bloqueo en el momento en que se publica.

La segunda versión del mismo error va al revés: un sitio añade grupos Allow con nombre para el puñado de crawlers de IA que conoce, asume que eso cubre "los bots de IA" como categoría, y nunca se da cuenta de que otra docena de crawlers con nombre propio sigue cayendo en un grupo * restrictivo por debajo. Pegar el archivo real en esta herramienta y probar un puñado de rutas contra la lista completa de bots detecta las dos versiones en una sola pasada —más rápido que leer las directivas a ojo y resolver mentalmente qué grupo gana en cada caso.