Аналіз логів сервера: справжні візити Googlebot
Search Console показує зведення про сканування; логи вашого сервера показують кожен запит. Аналізатор вибирає з них запити роботів Google і відрізняє справжніх від підробок.
Ваші дані залишаються у браузері. Нічого не передається на сервер і не зберігається.
Основні факти
- Google рекомендує перевіряти Googlebot зворотним DNS-запитом (ім’я хоста має бути в googlebot.com, google.com або googleusercontent.com) з подальшим прямим DNS-запитом, який має повернути ту саму IP-адресу, або зіставляючи IP-адресу з опублікованими діапазонами IP Google.
- Googlebot Smartphone і Googlebot Desktop дотримуються правил для одного й того самого токена user-agent у robots.txt, а більшість запитів Googlebot надходить від мобільного робота.
- Для більшості сайтів Googlebot не повинен запитувати сторінки в середньому частіше, ніж раз на кілька секунд.
- Сам лише рядок user-agent можна підробити, тому перевірка IP важлива.
Завантажте чек-лист «Діагностика проблем з індексацією»
Покрокова перевірка: статус у Search Console, доступність сторінки, robots.txt, noindex, канонічна URL-адреса, переспрямування, файл Sitemap і зворотні посилання — і що робити в кожному випадку.
Завантажити PDF PDF · сторінок: 3Як користуватися
- Завантажте журнали доступу зі свого сервера чи панелі хостингу (Apache або Nginx, формат common чи combined).
- Виберіть один або кілька файлів логів чи вставте рядки логу.
- Натисніть Проаналізувати логи.
- Спершу подивіться таблицю помилок: це URL, на яких Google отримав відповіді 4xx або 5xx.
- Перевірте таблицю «IP поза діапазонами Google», щоб знайти ботів, які видають себе за Googlebot, і завантажте CSV з подробицями.
Де взяти дані
Журнали доступу Apache або Nginx
Зазвичай access.log у форматі combined: IP, дата, запит, статус, розмір, реферер і user-agent.
Панелі керування хостингом
Більшість панелей пропонують завантажити необроблені журнали доступу. Використовуйте сирі логи, а не зведену статистику.
Логи CDN
Якщо ваша CDN може експортувати логи у форматі common чи combined, вони теж підійдуть. Формати логів у JSON не підтримуються.
Навіщо перевіряти IP
Будь-хто може надсилати запити з user-agent Googlebot. Запит справжній, лише якщо його IP входить до опублікованих діапазонів Google або якщо ім’я зворотного DNS належить доменам Google, а прямий DNS-запит цього імені повертає ту саму IP-адресу. Інструмент звіряє IP зі списком, який Google публікує для своїх основних роботів.
На що звертати увагу
Помилки на важливих URL, багато звернень до URL з параметрами чи переадресацій і дні взагалі без візитів Google. Порівняйте найчастіше скановані URL зі сторінками, які ви справді хочете бачити в індексі.
Смартфон і десктоп
Тип робота визначається за user-agent: Googlebot/2.1 з рядком мобільного браузера — це Googlebot Smartphone, без нього — Googlebot Desktop. Інші токени, як-от Googlebot-Image чи Google-InspectionTool, показуються окремо.
Наступний крок
Виправили помилки? Надішліть оновлені сторінки на повторне сканування, щоб Google швидше побачив зміни.
Запитання й відповіді
Чи передається лог на сервер?
Ні. Файл читається у вашому браузері; з цього сайту завантажується лише публічний список IP Google.
Які формати логів підтримуються?
Формати common і combined для Apache та Nginx, які більшість серверів використовують за замовчуванням.
Наскільки актуальний список IP?
Його копіюють з опублікованого Google файлу щоразу, коли цей сайт оновлюється. Якщо список не вдається завантажити, інструмент про це повідомить і пропустить перевірку.
Наскільки великим може бути лог?
Це залежить від пам’яті вашого пристрою. Дуже великі логи аналізуйте частинами: по одному дню чи по одному файлу.
Джерела
- Verifying Googlebot and other Google crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
- Googlebot — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google's common crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers