Перевірка robots.txt онлайн
Один символ підстановки в robots.txt може випадково закрити цілий розділ. Перевірте важливі URL, перш ніж публікувати зміни.
Для онлайн-перевірки на сервер IndexFix Tools передається лише адреса: він завантажує цю публічну сторінку й повертає відповідь. Нічого не зберігається.
Ваші дані залишаються у браузері. Нічого не передається на сервер і не зберігається.
Основні факти
- Google підтримує поля user-agent, allow, disallow і sitemap; інші поля, як-от crawl-delay, не підтримуються.
- Google застосовує найконкретніше правило, тобто те, що має найдовший шлях; якщо правила суперечать одне одному, обирається найменш обмежувальне.
- Шляхи в правилах чутливі до регістру, а вміст після перших 500 КіБ файлу Google ігнорує.
- robots.txt не захищає сторінку від потрапляння в Google: заблокована URL-адреса однаково може потрапити в індекс, якщо на неї посилаються інші сторінки.
Завантажте чек-лист «Діагностика проблем з індексацією»
Покрокова перевірка: статус у Search Console, доступність сторінки, robots.txt, noindex, канонічна URL-адреса, переспрямування, файл Sitemap і зворотні посилання — і що робити в кожному випадку.
Завантажити PDF PDF · сторінок: 3Як користуватися
- Відкрийте your-site/robots.txt у браузері й скопіюйте весь файл (або вставте чернетку, яку плануєте опублікувати).
- Вставте його в перше поле.
- Введіть токен user-agent для перевірки, наприклад Googlebot.
- Вставте URL або шляхи для перевірки, по одному в рядку.
- Натисніть Перевірити URL і прочитайте результат та вирішальний рядок для кожного URL.
Де взяти дані
Робочий robots.txt
Завжди лежить у корені хоста: https://your-site/robots.txt. Кожен хост і протокол має власний файл.
Search Console
Звіт robots.txt у налаштуваннях Search Console показує, чи може Google обробити ваші файли robots.txt. Після змін перевірте там актуальний стан.
URL для перевірки
Важливі шаблони: головна сторінка, сторінки категорій і товарів, URL з параметрами, файли CSS і JavaScript, а також усе, що ви плануєте заблокувати.
Як Google вибирає групу
Робот дотримується лише однієї групи — тієї, чий user-agent найточніше відповідає його власному. Групи з однаковим user-agent об’єднуються. Якщо жодна група не називає робота, діє група *; якщо й такої немає, дозволено все.
Як зіставляються правила
Правила порівнюються зі шляхом URL, включно з рядком запиту. * відповідає будь-якій послідовності символів, а $ позначає кінець URL. Перемагає найдовше правило, що збігається, а якщо правила allow і disallow однакової довжини, перемагає allow.
Що блокування робить і чого не робить
Заборонений URL не сканується, тож Google не може прочитати його вміст чи метатеги, зокрема noindex. Він однаково може з’явитися в результатах без опису, якщо на нього посилаються інші сторінки. Щоб сторінка не потрапила в пошук, дозвольте сканування й використайте noindex.
Наступний крок
Заблоковані сторінки — це лише половина справи: варто також масово знайти випадкові теги noindex.
Запитання й відповіді
Чому інструмент не завантажує robots.txt сам?
Браузери не дозволяють одному сайту читати файли з іншого сайту без дозволу, тому файл треба вставити. Зате так можна перевірити чернетку ще до публікації.
Чи працює він для Googlebot-Image або інших роботів?
Введіть будь-який токен user-agent. Інструмент використає групу, яка називає цей токен, або групу *, якщо такої немає.
Чи перевіряються рядки на кшталт Crawl-delay?
Вони вважаються непідтримуваними й ігноруються — так само, як їх ігнорує Google.
Чи видаляє Disallow сторінку з Google?
Ні. Він лише зупиняє сканування. Щоб прибрати сторінку з пошуку, дозвольте сканування й додайте noindex, а в термінових випадках скористайтеся інструментом Removals.
Джерела
- How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
- Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro