Fonctionne dans votre navigateur

Testeur et validateur robots.txt

Un seul caractère générique dans le robots.txt peut bloquer toute une section par mégarde. Testez les URL importantes avant de publier une modification.

Charger le robots.txt d’un site

Contenu du robots.txtToken user-agentURL ou chemins à tester (un par ligne)

Ouvrir aussi les URL en ligne : statut HTTP, redirections, noindex et canonical (jusqu’à 20 URL)

Pour les vérifications en ligne, seule l’adresse est envoyée au serveur de IndexFix Tools, qui télécharge cette page publique et renvoie la réponse. Rien n’est conservé.

Vos données restent dans votre navigateur. Rien n’est envoyé ni conservé.

Points clés

Google prend en charge les champs user-agent, allow, disallow et sitemap ; les autres champs, comme crawl-delay, ne sont pas pris en charge.
Google applique la règle la plus spécifique, selon la longueur de son chemin ; en cas de règles contradictoires, il retient la moins restrictive.
Les chemins des règles sont sensibles à la casse, et Google ignore le contenu situé au-delà des 500 premiers Kio du fichier.
Le robots.txt ne permet pas d’exclure une page de Google : une URL bloquée peut tout de même être indexée si d’autres pages pointent vers elle.

PDF gratuit

Téléchargez la checklist : diagnostic des problèmes d’indexation

Pas à pas : statut dans la Search Console, accessibilité de la page, robots.txt, noindex, URL canonique, redirections, sitemap et backlinks, avec la marche à suivre dans chaque cas.

Télécharger le PDF PDF · 3 pages

Mode d’emploi

Ouvrez votre-site/robots.txt dans le navigateur et copiez tout le fichier (ou collez un brouillon que vous comptez publier).
Collez-le dans le premier champ.
Saisissez le token user-agent à tester, par exemple Googlebot.
Collez les URL ou les chemins à tester, un par ligne.
Cliquez sur Tester les URL et lisez le résultat ainsi que la ligne déterminante pour chaque URL.

Où trouver les données

Le robots.txt en ligne

Toujours à la racine de l’hôte : https://votre-site/robots.txt. Chaque hôte et chaque protocole a son propre fichier.

Search Console

Le rapport robots.txt, dans les paramètres de Search Console, indique si Google parvient à traiter vos fichiers robots.txt. Servez-vous-en pour confirmer l’état en ligne après une modification.

URL à tester

Les modèles importants : page d’accueil, pages catégories et produits, URL à paramètres, fichiers CSS et JavaScript, et tout ce que vous prévoyez de bloquer.

Comment Google choisit un groupe

Un robot d’exploration ne suit qu’un seul groupe : celui dont le user-agent correspond le plus précisément au sien. Les groupes ayant le même user-agent sont fusionnés. Si aucun groupe ne nomme le robot, le groupe * s’applique ; s’il n’y en a pas, tout est autorisé.

Comment les règles sont appliquées

Les règles sont comparées au chemin de l’URL, chaîne de requête comprise. * correspond à n’importe quelle suite de caractères et $ marque la fin de l’URL. La règle correspondante la plus longue l’emporte ; si une règle allow et une règle disallow ont la même longueur, c’est allow qui l’emporte.

Ce que fait un blocage, et ce qu’il ne fait pas

Une URL interdite (disallow) n’est pas explorée : Google ne peut donc lire ni son contenu ni ses balises meta, noindex compris. Elle peut malgré tout apparaître dans les résultats, sans description, si d’autres pages pointent vers elle. Pour exclure une page des résultats, autorisez l’exploration et utilisez noindex.

Étape suivante

Les pages bloquées ne sont qu’une partie du problème : pensez aussi à repérer en masse les balises noindex oubliées.

Questions fréquentes

Pourquoi le testeur ne récupère-t-il pas lui-même mon robots.txt ?

Les navigateurs n’autorisent pas un site à lire les fichiers d’un autre site sans permission : le fichier doit donc être collé. Cela permet aussi de tester un brouillon avant de le publier.

Gère-t-il Googlebot-Image ou d’autres robots ?

Saisissez n’importe quel token user-agent. Le testeur utilise le groupe qui nomme ce token, ou le groupe * si aucun ne le fait.

Les lignes comme Crawl-delay sont-elles vérifiées ?

Elles sont comptées comme non prises en charge et ignorées, comme le fait Google.

Disallow retire-t-il une page de Google ?

Non. Cette directive arrête l’exploration. Pour retirer une page des résultats, autorisez l’exploration et ajoutez noindex, ou utilisez l’outil Removals en cas d’urgence.

Sources

How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Autres outils gratuits

Décodeur URL InspectionCollez un rapport URL Inspection : chaque champ est expliqué, avec ce qu’il faut corriger en premier.Analyseur du rapport Page indexingRegroupez les URL exportées « non indexées » par motif, dossier et schéma d’URL, et obtenez une liste d’URL à revérifier.Nettoyeur de liste d’URLSupprimez les doublons et les paramètres de suivi, et normalisez une liste de liens en désordre.Priorisation de backlinksGardez le meilleur lien de chaque domaine référent et repérez les liens qui méritent un second regard.Planificateur drip-feedRépartissez de nouveaux liens sur plusieurs jours à un rythme régulier et exportez le planning.Analyseur de logs GooglebotRepérez les vraies visites de Googlebot dans les logs serveur, voyez ce qu’il explore et quelles URL échouent.Générateur de sitemapTransformez une liste d’URL en fichiers sitemap XML valides, découpés selon les limites de Google.Générateur de plan de redirectionsTransformez des paires ancienne→nouvelle URL en règles de redirection Apache ou Nginx, chaînes corrigées.