Работает в вашем браузере

Анализ логов сервера: настоящие визиты Googlebot

Search Console показывает сводку по сканированию, а журналы сервера — каждый запрос. Анализатор выбирает из них запросы роботов Google и отличает настоящих от поддельных.

Файлы логовВыберите файлыФайл не выбранили перетащите сюда

Или вставьте строки лога

Ваши данные остаются в браузере. Ничего не передаётся на сервер и не сохраняется.

Главное

Google рекомендует проверять Googlebot обратным DNS-запросом (имя хоста должно относиться к домену googlebot.com, google.com или googleusercontent.com) с последующим прямым DNS-запросом, который должен вернуть тот же IP-адрес, либо сверять IP-адрес с опубликованными диапазонами IP-адресов Google.
Для Googlebot Smartphone и Googlebot Desktop в robots.txt действует один и тот же токен user-agent, а большую часть запросов Googlebot отправляет робот для мобильных устройств.
Для большинства сайтов Googlebot в среднем не должен запрашивать страницы чаще, чем раз в несколько секунд.
Строку user-agent саму по себе легко подделать, поэтому проверка IP так важна.

Бесплатный PDF

Скачайте чек-лист «Диагностика проблем с индексацией»

Пошаговая проверка: статус в Search Console, доступность страницы, robots.txt, noindex, канонический URL, переадресации, файл Sitemap и обратные ссылки — и что делать в каждом случае.

Скачать PDF PDF · страниц: 3

Как пользоваться

Скачайте журналы доступа с сервера или из панели хостинга (Apache или Nginx, формат common или combined).
Выберите один или несколько файлов логов либо вставьте строки лога.
Нажмите Проанализировать лог.
Сначала посмотрите таблицу ошибок: это URL, на которых Google получил ответы 4xx или 5xx.
В таблице «IP вне диапазонов Google» найдите ботов, которые выдают себя за Googlebot, и скачайте CSV с подробностями.

Где взять данные

Журналы доступа Apache или Nginx

Обычно это access.log в формате combined: IP, дата, запрос, статус, размер, реферер и user-agent.

Панели управления хостингом

В большинстве панелей можно скачать необработанные журналы доступа. Нужны именно сырые логи, а не сводная статистика.

Логи CDN

Если ваша CDN умеет экспортировать логи в формате common или combined, они тоже подойдут. Логи в формате JSON не поддерживаются.

Зачем проверять IP

Отправлять запросы с user-agent Googlebot может кто угодно. Запрос подлинный, только если его IP входит в опубликованные диапазоны Google или если имя, полученное обратным DNS-запросом, относится к доменам Google, а прямой DNS-запрос этого имени возвращает тот же IP. Инструмент сверяет IP-адреса со списком, который Google публикует для своих основных поисковых роботов.

На что обратить внимание

Ошибки на важных URL, много обращений к URL с параметрами или к переадресациям, а также дни, когда Google не заходил вовсе. Сравните URL, которые сканируются чаще всего, со страницами, которые вы действительно хотите видеть в индексе.

Смартфон и компьютер

Тип робота определяется по user-agent: Googlebot/2.1 со строкой мобильного браузера — это Googlebot Smartphone, без неё — Googlebot Desktop. Другие токены, например Googlebot-Image или Google-InspectionTool, показываются отдельно.

Следующий шаг

Исправили ошибки? Отправьте обновлённые страницы на повторное сканирование, чтобы Google быстрее увидел изменения.

Вопросы и ответы

Передаётся ли лог на сервер?

Нет. Файл читается в вашем браузере; с этого сайта загружается только публичный список IP-адресов Google.

Какие форматы логов поддерживаются?

Форматы common и combined для Apache и Nginx — большинство серверов используют их по умолчанию.

Насколько актуален список IP?

Он копируется из опубликованного Google файла при каждом обновлении этого сайта. Если список не удаётся загрузить, инструмент сообщит об этом и пропустит проверку.

Какого размера может быть лог?

Это зависит от памяти вашего устройства. Очень большие логи анализируйте по частям: по одному дню или по одному файлу.

Источники

Verifying Googlebot and other Google crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Googlebot — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/googlebot
Google's common crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

Другие бесплатные инструменты

Расшифровка отчёта URL InspectionВставьте отчёт URL Inspection и узнайте, что означает каждое поле и что исправить в первую очередь.Анализ отчёта Page indexingСгруппируйте выгруженные неиндексированные URL по причине, папке и шаблону адреса и получите список для повторной проверки.Очистка списка URLУдалите дубли и параметры отслеживания и приведите беспорядочный список ссылок к единому виду.Приоритизация обратных ссылокОставьте одну лучшую ссылку с каждого ссылающегося домена и отметьте ссылки, к которым стоит присмотреться.Планировщик капельной индексацииРаспределите новые ссылки по дням в ровном темпе и выгрузите график.Проверка robots.txtУзнайте, какие URL файл robots.txt закрывает для Googlebot и какая строка это определяет.Генератор SitemapПревратите список URL в корректные XML-файлы Sitemap, разбитые с учётом ограничений Google.Генератор карты редиректовПревратите пары старый→новый URL в правила переадресации для Apache или Nginx с исправленными цепочками.