Fonctionne dans votre navigateur

Analyseur de logs Googlebot : repérer les vraies visites

Search Console montre un résumé de l’exploration ; vos logs serveur montrent chaque requête. L’analyseur isole les robots d’exploration de Google et distingue les vrais des faux.

Fichiers de logsChoisir des fichiersAucun fichier sélectionnéou déposez-le ici

Ou collez des lignes de logs

Vos données restent dans votre navigateur. Rien n’est envoyé ni conservé.

Points clés

Google recommande de vérifier Googlebot par une recherche DNS inverse (le nom d’hôte doit appartenir à googlebot.com, google.com ou googleusercontent.com) suivie d’une recherche DNS directe qui renvoie la même IP, ou en comparant l’IP aux plages d’adresses IP publiées par Google.
Googlebot pour smartphone et Googlebot pour ordinateur obéissent au même token user-agent dans le robots.txt, et la plupart des requêtes de Googlebot proviennent du robot mobile.
Sur la plupart des sites, Googlebot ne devrait pas accéder aux pages plus d’une fois toutes les quelques secondes en moyenne.
Une chaîne user-agent seule peut être falsifiée, d’où l’importance de vérifier l’IP.

PDF gratuit

Téléchargez la checklist : diagnostic des problèmes d’indexation

Pas à pas : statut dans la Search Console, accessibilité de la page, robots.txt, noindex, URL canonique, redirections, sitemap et backlinks, avec la marche à suivre dans chaque cas.

Télécharger le PDF PDF · 3 pages

Mode d’emploi

Téléchargez les logs d’accès depuis votre serveur ou votre panneau d’hébergement (Apache ou Nginx, format common ou combined).
Choisissez un ou plusieurs fichiers de logs, ou collez des lignes de logs.
Cliquez sur Analyser les logs.
Regardez d’abord le tableau des erreurs : il liste les URL pour lesquelles Google a reçu des réponses 4xx ou 5xx.
Consultez le tableau « IP hors des plages Google » pour repérer les robots qui se font passer pour Googlebot, et téléchargez le CSV pour le détail.

Où trouver les données

Logs d’accès Apache ou Nginx

En général access.log, au format combined : IP, date, requête, statut, taille, référent et user-agent.

Panneaux d’hébergement

La plupart des panneaux permettent de télécharger les logs d’accès bruts. Utilisez les logs bruts, pas les résumés statistiques.

Logs de CDN

Si votre CDN peut exporter ses logs au format common ou combined, ils fonctionnent aussi. Les formats de logs JSON ne sont pas pris en charge.

Pourquoi vérifier l’IP

N’importe qui peut envoyer des requêtes avec un user-agent Googlebot. Une requête n’est authentique que si son IP fait partie des plages publiées par Google, ou si son nom DNS inverse appartient aux domaines de Google et qu’une recherche DNS directe sur ce nom renvoie la même IP. L’outil compare les IP à la liste que Google publie pour ses robots courants.

Ce qu’il faut regarder

Les erreurs sur des URL importantes, les nombreux hits sur des URL à paramètres ou des redirections, et les jours sans aucune visite de Google. Comparez les URL les plus explorées avec les pages que vous voulez réellement voir indexées.

Smartphone et ordinateur

Le type de robot est déduit du user-agent : Googlebot/2.1 accompagné d’une chaîne de navigateur mobile correspond à Googlebot pour smartphone, sans elle à Googlebot pour ordinateur. Les autres tokens, comme Googlebot-Image ou Google-InspectionTool, sont affichés à part.

Étape suivante

Erreurs corrigées ? Pensez à faire réexplorer les pages mises à jour pour que Google voie les modifications plus tôt.

Questions fréquentes

Mon fichier de logs est-il envoyé ?

Non. Le fichier est lu dans votre navigateur ; seule la liste publique des IP de Google est chargée depuis ce site.

Quels formats de logs sont acceptés ?

Les formats common et combined d’Apache et de Nginx, utilisés par défaut sur la plupart des serveurs.

La liste des IP est-elle à jour ?

Elle est copiée depuis le fichier publié par Google à chaque mise à jour de ce site. Si elle ne peut pas être chargée, l’outil le signale et saute la vérification.

Quelle taille de fichier de logs est acceptée ?

Cela dépend de la mémoire de votre appareil. Pour de très gros logs, analysez un jour ou un fichier à la fois.

Sources

Verifying Googlebot and other Google crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Googlebot — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/googlebot
Google's common crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

Autres outils gratuits

Décodeur URL InspectionCollez un rapport URL Inspection : chaque champ est expliqué, avec ce qu’il faut corriger en premier.Analyseur du rapport Page indexingRegroupez les URL exportées « non indexées » par motif, dossier et schéma d’URL, et obtenez une liste d’URL à revérifier.Nettoyeur de liste d’URLSupprimez les doublons et les paramètres de suivi, et normalisez une liste de liens en désordre.Priorisation de backlinksGardez le meilleur lien de chaque domaine référent et repérez les liens qui méritent un second regard.Planificateur drip-feedRépartissez de nouveaux liens sur plusieurs jours à un rythme régulier et exportez le planning.Testeur robots.txtVérifiez quelles URL un fichier robots.txt bloque pour Googlebot et quelle ligne en décide.Générateur de sitemapTransformez une liste d’URL en fichiers sitemap XML valides, découpés selon les limites de Google.Générateur de plan de redirectionsTransformez des paires ancienne→nouvelle URL en règles de redirection Apache ou Nginx, chaînes corrigées.