Robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores de los buscadores qué URLs pueden y no pueden solicitar. Configurar bien robots.txt para SEO importa porque una sola línea descuidada puede bloquear todo tu sitio en Google, y una regla mal entendida puede dejar URLs privadas en los resultados de búsqueda. Controla el rastreo, no la indexación, y confundir esas dos cosas es el error más caro de todo este tema.
La mayoría de los robots.txt que veo en auditorías están o peligrosamente abiertos o rotos sin que nadie se entere. El archivo parece trivial, así que nadie lo revisa, y de repente un Disallow: / de staging sobrevive a una migración o un comodín bloquea medio catálogo de producto. Esta guía cubre exactamente cómo funciona el archivo, la sintaxis que importa y una auditoría repetible que puedes hacer en diez minutos.
Qué controla realmente robots.txt (y qué no)
Robots.txt implementa el Robots Exclusion Protocol, que Google formalizó como estándar de internet en 2022. Cuando un rastreador que lo respeta, como Googlebot, llega a tu dominio, lo primero que solicita es /robots.txt. Las reglas que encuentra ahí deciden qué URLs tiene permitido rastrear.
La distinción crítica es rastreo frente a indexación. Una regla Disallow le dice a un rastreador que no solicite una URL. No le dice a Google que mantenga esa URL fuera del índice. Si otras páginas enlazan a una URL con Disallow, Google puede listarla igualmente en los resultados, mostrando la URL desnuda con el mensaje “No hay información disponible sobre esta página”. He visto páginas de login de clientes y resultados de búsqueda internos posicionando así durante años porque alguien asumió que Disallow significaba “oculta esto”.
Así que robots.txt es una herramienta de control de rastreo, punto. Si tu objetivo es mantener una página fuera de los resultados, robots.txt es el instrumento equivocado. Necesitas una etiqueta meta robots noindex o una cabecera X-Robots-Tag en una página que Google tenga permitido rastrear. Esta diferencia separa a quien entiende el SEO técnico de quien solo ha leído sobre él.
Hay algo más que robots.txt no hace: no es una barrera de seguridad. El archivo es público, cualquiera puede leerlo, y bloquear /admin/ solo anuncia dónde está tu panel de administración. No confíes nunca en él para proteger contenido sensible. Para eso está la autenticación.
Sintaxis de robots.txt: las reglas que importan
La sintaxis es pequeña. Un archivo robots.txt es una serie de grupos, cada uno empezando por una o más líneas User-agent seguidas de reglas Allow y Disallow. Una línea en blanco separa grupos.
User-agent: *
Disallow: /carrito/
Disallow: /buscar
Allow: /buscar/ayuda
User-agent: Googlebot
Disallow: /interno/
Sitemap: https://ejemplo.com/sitemap.xmlUser-agent nombra al rastreador al que aplica el grupo. * coincide con cualquier rastreador que no tenga su propio grupo. Aquí está la trampa que pilla a mucha gente: un rastreador obedece solo el grupo más específico que le coincide. Si tienes un grupo * y un grupo Googlebot, Googlebot ignora por completo el grupo * y sigue solo el suyo. No fusiona los dos.
Disallow especifica un prefijo de ruta que el rastreador no debe solicitar. Disallow: /carrito/ bloquea todo lo que cuelga de /carrito/. Un Disallow: vacío significa “no hay nada bloqueado”, que es como das acceso total. Allow recorta excepciones dentro de un Disallow más amplio, y es esencial para patrones como bloquear una carpeta pero permitir un archivo dentro.
Dos comodines te dan coincidencia de patrones. El asterisco * coincide con cualquier secuencia de caracteres, y el signo de dólar $ ancla una regla al final de una URL. Así, Disallow: /*.pdf$ bloquea cualquier URL que acabe en .pdf, mientras que Disallow: /*?sort= bloquea cualquier URL que contenga ese parámetro. Cuando una URL coincide con un Allow y un Disallow a la vez, Google sigue la regla más específica, medida por longitud de ruta; en empate exacto, gana Allow.
La directiva Sitemap es independiente de cualquier grupo de user-agent y puede aparecer en cualquier parte del archivo. Debe listar la URL absoluta completa de tu sitemap XML. Merece la pena aunque también lo envíes en Search Console, porque otros rastreadores lo descubren aquí. Si quieres el detalle completo sobre archivos sitemap, escribí una guía dedicada de sitemaps XML.
Robots.txt para SEO: las directivas que conviene conocer
Dos directivas antes habituales están muertas, y deberías borrarlas. Google dejó de soportar noindex dentro de robots.txt el 1 de septiembre de 2019, cuando retiró el soporte a las reglas no publicadas ni documentadas del Robots Exclusion Protocol. Si tu archivo sigue teniendo líneas Noindex:, no hacen nada. Google también ignora Crawl-delay; para gestionar el ritmo de rastreo de Googlebot usas la configuración de frecuencia de rastreo y, sobre todo, arreglas los problemas de servidor y de sitio que hacen que un rastreo agresivo sea un problema.
Para lo que sí debes usar robots.txt es algo disciplinado. Bloquea trampas de rastreo: combinaciones de parámetros de navegación facetada, resultados de búsqueda internos, IDs de sesión y páginas de calendario que generan URLs infinitas. Desperdician crawl budget y no aportan nada al índice. Gestionar esto bien se solapa mucho con la optimización del crawl budget, que importa sobre todo en sitios grandes.
No lo uses para esconder contenido pobre o duplicado que en realidad quieres quitar del índice, porque, de nuevo, una página con Disallow no se puede rastrear para leer una señal canonical o noindex. Para la duplicación, las etiquetas canonical y noindex son las herramientas correctas. Robots.txt sirve para cortar rutas de rastreo que nunca quieres que se toquen.
Un robots.txt mínimo y correcto para la mayoría de los sitios se parece a esto:
User-agent: *
Disallow: /carrito/
Disallow: /checkout/
Disallow: /*?*add-to-cart=
Allow: /
Sitemap: https://ejemplo.com/sitemap.xmlEso es todo. Si tu archivo es mucho más largo, cuestiona cada línea.
La auditoría de robots.txt en 7 pasos
Por mi experiencia auditando sitios, la revisión de robots.txt lleva diez minutos y detecta problemas que valen miles en tráfico perdido. Esta es la secuencia exacta que sigo.
-
Descarga el archivo en vivo. Carga
https://tudominio.com/robots.txten el navegador. Confirma que devuelve HTTP 200 y se muestra como texto plano, no como HTML. Un robots.txt que devuelve un 404 o un soft-404 en HTML se interpreta como “permitir todo”, que puede ser o no lo que quieres. -
Busca la línea catastrófica. Busca en el archivo
Disallow: /con nada después de la barra. En un sitio en vivo eso lo bloquea todo. Es el desastre número uno de robots.txt, normalmente heredado de un entorno de staging. Si está y el sitio está en producción, es una emergencia. -
Verifica que los recursos de renderizado están permitidos. Asegúrate de no estar bloqueando
/wp-content/,/assets/, CSS, JS o directorios de imágenes que Google necesita para renderizar. Bloquear eso degrada cómo Google entiende tu contenido y tu usabilidad móvil. -
Confirma la línea del sitemap. Comprueba que una directiva
Sitemap:apunta a tu URL de sitemap actual, correcta y absoluta. Las referencias obsoletas o ausentes son habituales. -
Prueba las URLs de valor. Coge tus páginas de dinero, categorías clave y mejores posts y prueba cada una contra el archivo con el informe de robots.txt de Google Search Console o un parser. Ninguna debería estar bloqueada.
-
Busca reglas redundantes y en conflicto.
AllowyDisallowque se solapan, grupos duplicados y miles de líneas hiperespecíficas suelen indicar que el archivo ha crecido por acumulación. Consolida con comodines. -
Revisa cada subdominio y protocolo. Recuerda que cada host necesita su propio archivo. Verifica robots.txt en
wwwy sinwww, en cualquier subdominio, y confirma que https y http coinciden. Una migración a https que deja un robots.txt antiguo y restrictivo en http provoca rastreos raros y difíciles de diagnosticar.
Haz esto cada vez que lances, migres o cambies de plataforma. Una revisión de robots.txt para SEO forma parte de cualquier auditoría de SEO técnico como primer control estándar, no como algo secundario.
Errores de robots.txt que hunden el SEO
El peor error, con diferencia, es el Disallow: / heredado de staging. Desindexa el sitio entero en las semanas siguientes, y como nada se rompe visualmente, los equipos suelen no verlo hasta que el tráfico se desploma. Toda checklist de lanzamiento debería verificar que esa línea ya no está.
El segundo es bloquear una URL para quitarla del índice. Como ya vimos, es contraproducente: la página sigue indexada como una URL desnuda y has destruido tu capacidad de servir un noindex correcto. Si una página ya está indexada y la quieres fuera, mantenla rastreable, añade noindex, espera un nuevo rastreo y solo entonces plantéate bloquearla.
El tercero es sobrebloquear con un comodín descuidado. Una regla como Disallow: /*? pensada para pillar parámetros de tracking puede bloquear también páginas paginadas, categorías filtradas y contenido legítimo con query string. Prueba cada comodín contra URLs reales antes de publicarlo. Según la investigación de Ahrefs sobre datos de rastreo a gran escala, las directivas de rastreo mal configuradas están entre los problemas técnicos más comunes que aparecen en los sitios auditados, precisamente porque son fáciles de escribir y rara vez se prueban.
El cuarto es tratar robots.txt como algo privado. Es un archivo público, así que nunca documentes rutas sensibles en él. El quinto es olvidar los subdominios y dejar que un robots.txt permisivo o ausente en un subdominio deshaga el trabajo cuidadoso del dominio principal.
Cómo probar y monitorizar tu robots.txt
Nunca edites robots.txt en vivo y cruces los dedos. Usa el informe de robots.txt de Google Search Console, que muestra el archivo que Google descargó por última vez, marca avisos de parseo y te deja probar si una URL concreta está permitida para Googlebot. Es la fuente de verdad sobre cómo lee Google tu archivo, que puede diferir de cómo crees que lo lee.
Monta monitorización para enterarte si el archivo cambia de forma inesperada. Un robots.txt que de repente devuelve un 503, un 404 o un Disallow inesperado debería avisar a alguien. La documentación de Google señala que si robots.txt devuelve un error de servidor (5xx) durante un periodo prolongado, Google puede dejar de rastrear el sitio por completo, tratando el archivo inaccesible como señal para frenar. Es un fallo silencioso y grave en sitios que no lo vigilan.
Tras cualquier cambio, vuelve a probar las URLs de valor del paso 5 de la auditoría y confirma en el informe de Search Console que Google ha descargado la nueva versión. Las señales de rastreo tardan en propagarse, así que verifica en lugar de asumir. Si el rastreo y la indexación se comportan raro tras un cambio, robots.txt es lo primero que miro, y una consultoría de SEO técnico más amplia casi siempre empieza aquí, porque es barato de comprobar y caro de equivocar.
Robots.txt para SEO es un archivo pequeño con un radio de impacto enorme. Trátalo como infraestructura de producción: mantenlo mínimo, entiende que gobierna el rastreo y nunca la indexación, prueba cada regla contra URLs reales y monitorízalo como cualquier otro endpoint crítico. Hazlo, y hará su trabajo en silencio durante años. Ignóralo, y estará a un solo deploy de llevarse tu posicionamiento por delante.
Preguntas frecuentes
¿El robots.txt impide que una página se indexe?
No. Una regla Disallow bloquea el rastreo, no la indexación. Si una URL bloqueada tiene enlaces entrantes, Google puede indexarla igualmente y mostrarla sin snippet, con el aviso “No hay información disponible sobre esta página”. Para mantenerla fuera del índice, deja que Google la rastree y sirve una etiqueta meta robots noindex o una cabecera X-Robots-Tag. Bloquearla en robots.txt impide que Google llegue a leer ese noindex.
¿Dónde tiene que estar el archivo robots.txt?
En la raíz del host: https://ejemplo.com/robots.txt. Solo afecta al protocolo, host y puerto desde el que se sirve, así que https y http, y www y sin www, son orígenes distintos que necesitan su propio archivo. Un robots.txt en una subcarpeta como /blog/robots.txt se ignora por completo, y los subdominios no heredan las reglas del dominio principal.
¿Debo bloquear CSS y JavaScript en robots.txt?
No. Google renderiza las páginas como un navegador y necesita el CSS y el JS para entender el layout, el contenido y la compatibilidad móvil. Bloquear esos recursos es un error técnico que puede dañar tu posicionamiento, y la documentación de Google pide explícitamente permitir el rastreo de los recursos necesarios para renderizar la página.
¿Qué diferencia hay entre Disallow y una etiqueta noindex?
Disallow controla si un rastreador puede solicitar una URL; noindex controla si una URL rastreable puede entrar en el índice. Usa Disallow para ahorrar crawl budget y mantener a los bots fuera de espacios de URL infinitos o de bajo valor. Usa noindex para sacar de los resultados una página concreta ya rastreable. No apliques ambos a la misma URL, porque una página con Disallow no se puede rastrear para leer su noindex.
¿Cómo de grande puede ser un archivo robots.txt?
Google aplica un tamaño máximo de 500 kibibytes; lo que supere eso se ignora, lo que puede cambiar de forma silenciosa cómo se interpretan las reglas. En la práctica, un robots.txt correcto es corto. Si el tuyo se acerca al límite, casi seguro tienes reglas redundantes que deberías consolidar con comodines.
