Очистка списка URL: удаление UTM-меток и дублей
Списки ссылок из разных инструментов редко совпадают: одна и та же страница встречается с метками отслеживания, со слешем в конце и без него, по http и https. Очистите список один раз, прежде чем проверять или отправлять его.
Ваши данные остаются в браузере. Ничего не передаётся на сервер и не сохраняется.
Главное
- URL с параметрами отслеживания (например, utm_source) и тот же URL без них — это разные адреса.
- http и https, с www и без www, со слешем в конце и без него — всё это разные URL.
- Часть URL после # (фрагмент) не передаётся на сервер.
- Google сканирует URL из файла Sitemap именно в том виде, в каком они указаны, поэтому в чистом списке стоит использовать канонический вариант адресов.
Скачайте чек-лист «Диагностика проблем с индексацией»
Пошаговая проверка: статус в Search Console, доступность страницы, robots.txt, noindex, канонический URL, переадресации, файл Sitemap и обратные ссылки — и что делать в каждом случае.
Скачать PDF PDF · страниц: 3Как пользоваться
- Вставьте ссылки или выберите файл (TXT, CSV или любую текстовую выгрузку).
- Выберите настройки: параметры отслеживания, фрагменты, https, слеш в конце и при необходимости единственный домен, который нужно оставить.
- Нажмите Очистить список.
- Проверьте счётчики и таблицу по доменам.
- Скопируйте результат или скачайте его в формате TXT или CSV.
Где взять данные
Сервисы анализа обратных ссылок
Выгрузки из Ahrefs, Semrush, Majestic и подобных сервисов. Инструмент находит в файле каждый адрес http(s), какие бы там ни были столбцы.
Search Console
Выгрузки из отчётов Links, Page indexing или Performance.
Собственные заметки
Списки из таблиц, чатов или документов. Строки без протокола, например example.com/page, считаются адресами https.
Зачем очищать список перед проверкой или индексированием
Дубли и варианты с метками отслеживания удлиняют список, не добавляя новых страниц. Если проверять или отправлять одну и ту же страницу под тремя адресами, уходят лишние время и бюджет, а результаты получаются путаными.
Какой вариант выбрать для слеша в конце
Выберите ту форму, которую ваш сайт использует в канонических URL. Вариант «Добавлять» пропускает URL, которые оканчиваются именем файла, например .pdf или .html. Если сомневаетесь, оставьте слеши как есть.
Что инструмент не меняет
Пути и значения параметров сохраняют регистр, потому что пути могут быть чувствительны к регистру. Параметры, не связанные с отслеживанием, остаются, если только вы не решите удалить все параметры.
Следующий шаг
Когда чистый список готов, можно разом проверить, какие из этих URL проиндексированы.
Вопросы и ответы
Какие параметры считаются параметрами отслеживания?
Параметры utm_*, gclid, gclsrc, dclid, gbraid, wbraid, fbclid, msclkid, yclid, mc_cid, mc_eid, _ga, _gl, igshid и ref_src.
Проверяет ли инструмент, что URL работают?
Нет. Он только очищает текст списка. Чтобы узнать коды ответа и статус индексирования, нужен краулер или сервис проверки индексации.
Список какого размера можно обработать?
Инструмент работает в браузере, поэтому предел — память вашего устройства. Списки в десятки тысяч строк обычный компьютер обрабатывает без проблем.
Можно ли оставить только один сайт?
Да. Введите домен в поле «Оставить только этот домен»; его поддомены тоже останутся.
Источники
- Build and submit a sitemap — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
- RFC 3986: Uniform Resource Identifier (URI) syntax: https://www.rfc-editor.org/rfc/rfc3986