Проверка robots.txt онлайн
Один подстановочный символ в robots.txt может случайно закрыть целый раздел. Проверьте важные URL, прежде чем публиковать изменения.
При онлайн-проверке на сервер IndexFix Tools передаётся только адрес: сервер загружает эту общедоступную страницу и возвращает ответ. Ничего не сохраняется.
Ваши данные остаются в браузере. Ничего не передаётся на сервер и не сохраняется.
Главное
- Google поддерживает поля user-agent, allow, disallow и sitemap; другие поля, например crawl-delay, не поддерживаются.
- Google применяет самое конкретное правило, то есть правило с самым длинным путём; если правила противоречат друг другу, выбирается наименее строгое.
- Пути в правилах чувствительны к регистру, а содержимое после первых 500 КиБ файла Google игнорирует.
- robots.txt не защищает страницу от попадания в Google: заблокированный URL всё равно может попасть в индекс, если на него ссылаются другие страницы.
Скачайте чек-лист «Диагностика проблем с индексацией»
Пошаговая проверка: статус в Search Console, доступность страницы, robots.txt, noindex, канонический URL, переадресации, файл Sitemap и обратные ссылки — и что делать в каждом случае.
Скачать PDF PDF · страниц: 3Как пользоваться
- Откройте your-site/robots.txt в браузере и скопируйте весь файл (или вставьте черновик, который планируете опубликовать).
- Вставьте его в первое поле.
- Введите токен user-agent для проверки, например Googlebot.
- Вставьте URL или пути для проверки, по одному в строке.
- Нажмите Проверить URL и посмотрите результат и решающую строку для каждого URL.
Где взять данные
Действующий robots.txt
Всегда находится в корне хоста: https://your-site/robots.txt. У каждого хоста и протокола свой файл.
Search Console
Отчёт robots.txt в настройках Search Console показывает, может ли Google обработать ваши файлы robots.txt. После изменений проверьте там актуальное состояние.
URL для проверки
Важные шаблоны: главная страница, страницы категорий и товаров, URL с параметрами, файлы CSS и JavaScript, а также всё, что вы планируете заблокировать.
Как Google выбирает группу
Поисковый робот следует только одной группе — той, чей user-agent точнее всего соответствует его собственному. Группы с одинаковым user-agent объединяются. Если ни одна группа не называет робота, действует группа *; если нет и её, разрешено всё.
Как сопоставляются правила
Правила сравниваются с путём URL, включая строку запроса. * соответствует любой последовательности символов, а $ обозначает конец URL. Побеждает самое длинное совпавшее правило, а если правила allow и disallow одинаковой длины, побеждает allow.
Что блокировка делает и чего не делает
Запрещённый URL не сканируется, поэтому Google не может прочитать его содержимое и метатеги, в том числе noindex. Он всё равно может появиться в результатах поиска без описания, если на него ссылаются другие страницы. Чтобы страница не попала в поиск, разрешите сканирование и используйте noindex.
Следующий шаг
Заблокированные страницы — это лишь полдела: стоит также массово найти случайные теги noindex.
Вопросы и ответы
Почему инструмент не загружает robots.txt сам?
Браузеры не позволяют одному сайту читать файлы с другого сайта без разрешения, поэтому файл нужно вставить вручную. Зато так можно проверить черновик ещё до публикации.
Работает ли он для Googlebot-Image и других роботов?
Введите любой токен user-agent. Инструмент использует группу, в которой указан этот токен, или группу *, если такой нет.
Проверяются ли строки вроде Crawl-delay?
Они считаются неподдерживаемыми и игнорируются — так же, как их игнорирует Google.
Удаляет ли Disallow страницу из Google?
Нет. Он только запрещает сканирование. Чтобы убрать страницу из поиска, разрешите сканирование и добавьте noindex, а в срочных случаях воспользуйтесь инструментом Removals.
Источники
- How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
- Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro