Probador y validador de robots.txt
Un solo comodín en el robots.txt puede bloquear por error toda una sección. Prueba las URLs importantes antes de publicar un cambio.
En las comprobaciones en línea solo se envía la dirección al servidor de IndexFix Tools, que descarga esa página pública y devuelve la respuesta. No se guarda nada.
Tus datos no salen de tu navegador. No se sube ni se guarda nada.
Datos clave
- Google admite los campos user-agent, allow, disallow y sitemap; otros campos, como crawl-delay, no se admiten.
- Google aplica la regla más específica según la longitud de su ruta; si hay reglas en conflicto, usa la menos restrictiva.
- Las rutas de las reglas distinguen entre mayúsculas y minúsculas, y Google ignora el contenido que supere los primeros 500 KiB del archivo.
- El robots.txt no sirve para mantener una página fuera de Google: una URL bloqueada puede indexarse igualmente si otras páginas la enlazan.
Descarga la checklist: diagnóstico de problemas de indexación
Paso a paso: estado en Search Console, accesibilidad de la página, robots.txt, noindex, URL canónica, redirecciones, sitemap y backlinks, con qué hacer en cada caso.
Descargar PDF PDF · 3 páginasCómo usarla
- Abre tu-sitio/robots.txt en el navegador y copia el archivo completo (o pega un borrador que pienses publicar).
- Pégalo en el primer cuadro.
- Escribe el token de user-agent que quieres probar, por ejemplo Googlebot.
- Pega las URLs o rutas que quieres probar, una por línea.
- Haz clic en Probar URLs y revisa el resultado y la línea determinante de cada URL.
De dónde sacar los datos
El robots.txt publicado
Siempre está en la raíz del host: https://tu-sitio/robots.txt. Cada host y cada protocolo tienen su propio archivo.
Search Console
El informe robots.txt, en la configuración de Search Console, muestra si Google puede procesar tus archivos robots.txt. Úsalo para confirmar el estado real después de un cambio.
URLs que probar
Las plantillas importantes: la página de inicio, las páginas de categoría y de producto, las URLs con parámetros, los archivos CSS y JavaScript, y todo lo que pienses bloquear.
Cómo elige Google un grupo
Un rastreador sigue un único grupo: aquel cuyo user-agent coincide de forma más específica con el suyo. Los grupos con el mismo user-agent se combinan. Si ningún grupo menciona al rastreador, se aplica el grupo *; si no existe, todo está permitido.
Cómo se comparan las reglas
Las reglas se comparan con la ruta de la URL, incluida la cadena de consulta. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL. Gana la regla coincidente más larga y, si una regla allow y otra disallow tienen la misma longitud, gana la allow.
Qué hace un bloqueo y qué no
Una URL bloqueada con disallow no se rastrea, así que Google no puede leer su contenido ni sus metaetiquetas, incluido el noindex. Aun así, puede aparecer en los resultados sin descripción si otras páginas la enlazan. Para mantener una página fuera de la búsqueda, permite el rastreo y usa noindex.
Siguiente paso
Las páginas bloqueadas son solo la mitad del problema; además, detecta noindex accidentales de forma masiva.
Preguntas frecuentes
¿Por qué el probador no descarga mi robots.txt por sí mismo?
Los navegadores no permiten que un sitio lea archivos de otro sin permiso, así que hay que pegar el archivo. Así, además, puedes probar un borrador antes de publicarlo.
¿Tiene en cuenta Googlebot-Image u otros rastreadores?
Escribe cualquier token de user-agent. El probador usa el grupo que menciona ese token o, si no hay ninguno, el grupo *.
¿Se comprueban líneas como Crawl-delay?
Se cuentan como no admitidas y se ignoran, igual que hace Google.
¿Disallow elimina una página de Google?
No. Detiene el rastreo. Para retirar una página de la búsqueda, permite el rastreo y añade noindex o, en casos urgentes, usa la herramienta Removals.
Fuentes
- How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
- Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro