# Robots.txt para SEO: sintaxis, reglas y buenas prácticas > Guía práctica de robots.txt para SEO: sintaxis, directivas de rastreo, los errores que desindexan sitios y una auditoría en 7 pasos para revisarlo. **Autor:** Ben Montejo — Consultor SEO Freelance, Valencia, España **Publicado:** 2026-07-18 **Categoría:** technical-seo **Canónica:** https://seobeni.com/es/blog/robots-txt-guia-seo-2026/ **English version:** https://seobeni.com/blog/robots-txt-seo-guide-2026/ --- Robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores de los buscadores qué URLs pueden y no pueden solicitar. Configurar bien robots.txt para SEO importa porque una sola línea descuidada puede bloquear todo tu sitio en Google, y una regla mal entendida puede dejar URLs privadas en los resultados de búsqueda. Controla el rastreo, no la indexación, y confundir esas dos cosas es el error más caro de todo este tema. La mayoría de los robots.txt que veo en auditorías están o peligrosamente abiertos o rotos sin que nadie se entere. El archivo parece trivial, así que nadie lo revisa, y de repente un `Disallow: /` de staging sobrevive a una migración o un comodín bloquea medio catálogo de producto. Esta guía cubre exactamente cómo funciona el archivo, la sintaxis que importa y una auditoría repetible que puedes hacer en diez minutos. ## Qué controla realmente robots.txt (y qué no) Robots.txt implementa el Robots Exclusion Protocol, que Google formalizó como estándar de internet en 2022. Cuando un rastreador que lo respeta, como Googlebot, llega a tu dominio, lo primero que solicita es `/robots.txt`. Las reglas que encuentra ahí deciden qué URLs tiene permitido rastrear. La distinción crítica es rastreo frente a indexación. Una regla `Disallow` le dice a un rastreador que no solicite una URL. No le dice a Google que mantenga esa URL fuera del índice. Si otras páginas enlazan a una URL con Disallow, Google puede listarla igualmente en los resultados, mostrando la URL desnuda con el mensaje "No hay información disponible sobre esta página". He visto páginas de login de clientes y resultados de búsqueda internos posicionando así durante años porque alguien asumió que `Disallow` significaba "oculta esto". Así que robots.txt es una herramienta de control de rastreo, punto. Si tu objetivo es mantener una página fuera de los resultados, robots.txt es el instrumento equivocado. Necesitas una etiqueta meta robots `noindex` o una cabecera `X-Robots-Tag` en una página que Google *tenga permitido* rastrear. Esta diferencia separa a quien entiende el SEO técnico de quien solo ha leído sobre él. Hay algo más que robots.txt no hace: no es una barrera de seguridad. El archivo es público, cualquiera puede leerlo, y bloquear `/admin/` solo anuncia dónde está tu panel de administración. No confíes nunca en él para proteger contenido sensible. Para eso está la autenticación. ## Sintaxis de robots.txt: las reglas que importan La sintaxis es pequeña. Un archivo robots.txt es una serie de grupos, cada uno empezando por una o más líneas `User-agent` seguidas de reglas `Allow` y `Disallow`. Una línea en blanco separa grupos. ``` User-agent: * Disallow: /carrito/ Disallow: /buscar Allow: /buscar/ayuda User-agent: Googlebot Disallow: /interno/ Sitemap: https://ejemplo.com/sitemap.xml ``` `User-agent` nombra al rastreador al que aplica el grupo. `*` coincide con cualquier rastreador que no tenga su propio grupo. Aquí está la trampa que pilla a mucha gente: un rastreador obedece solo el grupo *más específico* que le coincide. Si tienes un grupo `*` y un grupo `Googlebot`, Googlebot ignora por completo el grupo `*` y sigue solo el suyo. No fusiona los dos. `Disallow` especifica un prefijo de ruta que el rastreador no debe solicitar. `Disallow: /carrito/` bloquea todo lo que cuelga de `/carrito/`. Un `Disallow:` vacío significa "no hay nada bloqueado", que es como das acceso total. `Allow` recorta excepciones dentro de un `Disallow` más amplio, y es esencial para patrones como bloquear una carpeta pero permitir un archivo dentro. Dos comodines te dan coincidencia de patrones. El asterisco `*` coincide con cualquier secuencia de caracteres, y el signo de dólar `$` ancla una regla al final de una URL. Así, `Disallow: /*.pdf$` bloquea cualquier URL que acabe en `.pdf`, mientras que `Disallow: /*?sort=` bloquea cualquier URL que contenga ese parámetro. Cuando una URL coincide con un `Allow` y un `Disallow` a la vez, Google sigue la regla más específica, medida por longitud de ruta; en empate exacto, gana `Allow`. La directiva `Sitemap` es independiente de cualquier grupo de user-agent y puede aparecer en cualquier parte del archivo. Debe listar la URL absoluta completa de tu sitemap XML. Merece la pena aunque también lo envíes en Search Console, porque otros rastreadores lo descubren aquí. Si quieres el detalle completo sobre archivos sitemap, escribí una [guía dedicada de sitemaps XML](https://seobeni.com/es/blog/xml-sitemaps-seo-guia-2026/). ## Robots.txt para SEO: las directivas que conviene conocer Dos directivas antes habituales están muertas, y deberías borrarlas. Google dejó de soportar `noindex` dentro de robots.txt el 1 de septiembre de 2019, cuando retiró el soporte a las reglas no publicadas ni documentadas del Robots Exclusion Protocol. Si tu archivo sigue teniendo líneas `Noindex:`, no hacen nada. Google también ignora `Crawl-delay`; para gestionar el ritmo de rastreo de Googlebot usas la configuración de frecuencia de rastreo y, sobre todo, arreglas los problemas de servidor y de sitio que hacen que un rastreo agresivo sea un problema. Para lo que *sí* debes usar robots.txt es algo disciplinado. Bloquea trampas de rastreo: combinaciones de parámetros de navegación facetada, resultados de búsqueda internos, IDs de sesión y páginas de calendario que generan URLs infinitas. Desperdician crawl budget y no aportan nada al índice. Gestionar esto bien se solapa mucho con la [optimización del crawl budget](https://seobeni.com/es/blog/optimizacion-crawl-budget-guia-2026/), que importa sobre todo en sitios grandes. *No* lo uses para esconder contenido pobre o duplicado que en realidad quieres quitar del índice, porque, de nuevo, una página con Disallow no se puede rastrear para leer una señal canonical o noindex. Para la duplicación, las etiquetas canonical y noindex son las herramientas correctas. Robots.txt sirve para cortar rutas de rastreo que nunca quieres que se toquen. Un robots.txt mínimo y correcto para la mayoría de los sitios se parece a esto: ``` User-agent: * Disallow: /carrito/ Disallow: /checkout/ Disallow: /*?*add-to-cart= Allow: / Sitemap: https://ejemplo.com/sitemap.xml ``` Eso es todo. Si tu archivo es mucho más largo, cuestiona cada línea. ## La auditoría de robots.txt en 7 pasos Por mi experiencia auditando sitios, la revisión de robots.txt lleva diez minutos y detecta problemas que valen miles en tráfico perdido. Esta es la secuencia exacta que sigo. 1. **Descarga el archivo en vivo.** Carga `https://tudominio.com/robots.txt` en el navegador. Confirma que devuelve HTTP 200 y se muestra como texto plano, no como HTML. Un robots.txt que devuelve un 404 o un soft-404 en HTML se interpreta como "permitir todo", que puede ser o no lo que quieres. 2. **Busca la línea catastrófica.** Busca en el archivo `Disallow: /` con nada después de la barra. En un sitio en vivo eso lo bloquea todo. Es el desastre número uno de robots.txt, normalmente heredado de un entorno de staging. Si está y el sitio está en producción, es una emergencia. 3. **Verifica que los recursos de renderizado están permitidos.** Asegúrate de no estar bloqueando `/wp-content/`, `/assets/`, CSS, JS o directorios de imágenes que Google necesita para renderizar. Bloquear eso degrada cómo Google entiende tu contenido y tu usabilidad móvil. 4. **Confirma la línea del sitemap.** Comprueba que una directiva `Sitemap:` apunta a tu URL de sitemap actual, correcta y absoluta. Las referencias obsoletas o ausentes son habituales. 5. **Prueba las URLs de valor.** Coge tus páginas de dinero, categorías clave y mejores posts y prueba cada una contra el archivo con el informe de robots.txt de Google Search Console o un parser. Ninguna debería estar bloqueada. 6. **Busca reglas redundantes y en conflicto.** `Allow` y `Disallow` que se solapan, grupos duplicados y miles de líneas hiperespecíficas suelen indicar que el archivo ha crecido por acumulación. Consolida con comodines. 7. **Revisa cada subdominio y protocolo.** Recuerda que cada host necesita su propio archivo. Verifica robots.txt en `www` y sin `www`, en cualquier subdominio, y confirma que https y http coinciden. Una migración a https que deja un robots.txt antiguo y restrictivo en http provoca rastreos raros y difíciles de diagnosticar. Haz esto cada vez que lances, migres o cambies de plataforma. Una revisión de robots.txt para SEO forma parte de cualquier [auditoría de SEO técnico](https://seobeni.com/es/servicios/seo-tecnico/) como primer control estándar, no como algo secundario. ## Errores de robots.txt que hunden el SEO El peor error, con diferencia, es el `Disallow: /` heredado de staging. Desindexa el sitio entero en las semanas siguientes, y como nada se rompe visualmente, los equipos suelen no verlo hasta que el tráfico se desploma. Toda checklist de lanzamiento debería verificar que esa línea ya no está. El segundo es bloquear una URL para quitarla del índice. Como ya vimos, es contraproducente: la página sigue indexada como una URL desnuda y has destruido tu capacidad de servir un noindex correcto. Si una página ya está indexada y la quieres fuera, mantenla rastreable, añade noindex, espera un nuevo rastreo y solo entonces plantéate bloquearla. El tercero es sobrebloquear con un comodín descuidado. Una regla como `Disallow: /*?` pensada para pillar parámetros de tracking puede bloquear también páginas paginadas, categorías filtradas y contenido legítimo con query string. Prueba cada comodín contra URLs reales antes de publicarlo. Según la investigación de Ahrefs sobre datos de rastreo a gran escala, las directivas de rastreo mal configuradas están entre los problemas técnicos más comunes que aparecen en los sitios auditados, precisamente porque son fáciles de escribir y rara vez se prueban. El cuarto es tratar robots.txt como algo privado. Es un archivo público, así que nunca documentes rutas sensibles en él. El quinto es olvidar los subdominios y dejar que un robots.txt permisivo o ausente en un subdominio deshaga el trabajo cuidadoso del dominio principal. ## Cómo probar y monitorizar tu robots.txt Nunca edites robots.txt en vivo y cruces los dedos. Usa el informe de robots.txt de Google Search Console, que muestra el archivo que Google descargó por última vez, marca avisos de parseo y te deja probar si una URL concreta está permitida para Googlebot. Es la fuente de verdad sobre cómo lee Google tu archivo, que puede diferir de cómo crees que lo lee. Monta monitorización para enterarte si el archivo cambia de forma inesperada. Un robots.txt que de repente devuelve un 503, un 404 o un `Disallow` inesperado debería avisar a alguien. La documentación de Google señala que si robots.txt devuelve un error de servidor (5xx) durante un periodo prolongado, Google puede dejar de rastrear el sitio por completo, tratando el archivo inaccesible como señal para frenar. Es un fallo silencioso y grave en sitios que no lo vigilan. Tras cualquier cambio, vuelve a probar las URLs de valor del paso 5 de la auditoría y confirma en el informe de Search Console que Google ha descargado la nueva versión. Las señales de rastreo tardan en propagarse, así que verifica en lugar de asumir. Si el rastreo y la indexación se comportan raro tras un cambio, robots.txt es lo primero que miro, y una [consultoría de SEO técnico](https://seobeni.com/es/servicios/consultoria-seo/) más amplia casi siempre empieza aquí, porque es barato de comprobar y caro de equivocar. Robots.txt para SEO es un archivo pequeño con un radio de impacto enorme. Trátalo como infraestructura de producción: mantenlo mínimo, entiende que gobierna el rastreo y nunca la indexación, prueba cada regla contra URLs reales y monitorízalo como cualquier otro endpoint crítico. Hazlo, y hará su trabajo en silencio durante años. Ignóralo, y estará a un solo deploy de llevarse tu posicionamiento por delante. ## Preguntas frecuentes ### ¿El robots.txt impide que una página se indexe? No. Una regla `Disallow` bloquea el rastreo, no la indexación. Si una URL bloqueada tiene enlaces entrantes, Google puede indexarla igualmente y mostrarla sin snippet, con el aviso "No hay información disponible sobre esta página". Para mantenerla fuera del índice, deja que Google la rastree y sirve una etiqueta meta robots `noindex` o una cabecera `X-Robots-Tag`. Bloquearla en robots.txt impide que Google llegue a leer ese noindex. ### ¿Dónde tiene que estar el archivo robots.txt? En la raíz del host: `https://ejemplo.com/robots.txt`. Solo afecta al protocolo, host y puerto desde el que se sirve, así que https y http, y www y sin www, son orígenes distintos que necesitan su propio archivo. Un robots.txt en una subcarpeta como `/blog/robots.txt` se ignora por completo, y los subdominios no heredan las reglas del dominio principal. ### ¿Debo bloquear CSS y JavaScript en robots.txt? No. Google renderiza las páginas como un navegador y necesita el CSS y el JS para entender el layout, el contenido y la compatibilidad móvil. Bloquear esos recursos es un error técnico que puede dañar tu posicionamiento, y la documentación de Google pide explícitamente permitir el rastreo de los recursos necesarios para renderizar la página. ### ¿Qué diferencia hay entre Disallow y una etiqueta noindex? `Disallow` controla si un rastreador puede solicitar una URL; `noindex` controla si una URL rastreable puede entrar en el índice. Usa `Disallow` para ahorrar crawl budget y mantener a los bots fuera de espacios de URL infinitos o de bajo valor. Usa `noindex` para sacar de los resultados una página concreta ya rastreable. No apliques ambos a la misma URL, porque una página con Disallow no se puede rastrear para leer su noindex. ### ¿Cómo de grande puede ser un archivo robots.txt? Google aplica un tamaño máximo de 500 kibibytes; lo que supere eso se ignora, lo que puede cambiar de forma silenciosa cómo se interpretan las reglas. En la práctica, un robots.txt correcto es corto. Si el tuyo se acerca al límite, casi seguro tienes reglas redundantes que deberías consolidar con comodines. ## Preguntas Frecuentes **¿El robots.txt impide que una página se indexe?** No. Es el malentendido más caro sobre robots.txt. Una regla Disallow bloquea el rastreo, no la indexación. Si una URL bloqueada tiene enlaces entrantes, Google puede indexarla igualmente y mostrarla sin snippet, normalmente con el aviso 'No hay información disponible sobre esta página'. Para mantener una página fuera del índice tienes que dejar que Google la rastree y servir una etiqueta meta robots noindex o una cabecera X-Robots-Tag. Bloquearla en robots.txt impide que Google llegue a leer ese noindex. **¿Dónde tiene que estar el archivo robots.txt?** En la raíz del host: https://ejemplo.com/robots.txt. Solo afecta al protocolo, host y puerto desde el que se sirve, así que https y http, y www y sin www, se tratan como orígenes distintos y cada uno necesita su propio archivo. Un robots.txt en una subcarpeta como /blog/robots.txt se ignora por completo. Los subdominios también necesitan el suyo: blog.ejemplo.com no hereda las reglas de ejemplo.com. **¿Debo bloquear CSS y JavaScript en robots.txt?** No. Google renderiza las páginas como un navegador y necesita tu CSS y JS para entender el layout, el contenido y la compatibilidad móvil. Bloquear estos recursos era habitual hace una década y hoy es un error técnico claro que puede dañar tu posicionamiento. La documentación de Google pide explícitamente permitir el rastreo de los recursos necesarios para renderizar la página. Solo tiene sentido bloquear recursos que no afecten al renderizado o endpoints privados. **¿Qué diferencia hay entre Disallow y una etiqueta noindex?** Disallow controla si un rastreador puede solicitar una URL. Noindex controla si una URL rastreable puede entrar en el índice. Actúan en fases distintas y resuelven problemas distintos. Usa Disallow para ahorrar crawl budget y mantener a los bots fuera de espacios de URL infinitos o de bajo valor. Usa noindex para sacar una página concreta ya rastreable de los resultados. No deberían aplicarse nunca a la misma URL, porque una página con Disallow no se puede rastrear para leer su noindex. **¿Cómo de grande puede ser un archivo robots.txt?** Google aplica un tamaño máximo de 500 kibibytes (unos 512.000 bytes). Todo lo que supere ese límite se ignora, lo que puede cambiar de forma silenciosa cómo se interpretan tus reglas en archivos muy grandes. En la práctica, un robots.txt bien escrito es corto. Si el tuyo se acerca al límite, casi seguro tienes reglas redundantes o demasiado granulares que deberías consolidar con comodines. --- Fuente: https://seobeni.com/es/blog/robots-txt-guia-seo-2026/ · Autor: Ben Montejo (https://seobeni.com/es/consultor-seo-freelance/)