Проблема незначащих параметров, не меняющих содержимое страницы
Параметры вроде идентификаторов сессии, меток рекламных кампаний или технических данных отслеживания добавляются к адресу страницы, но никак не влияют на её фактическое содержимое, — без специальной обработки каждый такой вариант адреса формально создаёт лишний технический дубль одной и той же страницы.
Принцип работы директивы Clean-param для устранения этой проблемы
Указанная в этой директиве параметр Яндекс просто игнорирует при обходе и индексации, автоматически объединяя все варианты адреса с разными значениями этого параметра в единственную каноническую версию без параметра, не требуя дополнительной настройки canonical для каждого отдельного случая.
Clean-param: utm_source&utm_medium /catalog/Отличие подхода Clean-param от использования атрибута canonical
В отличие от canonical, требующего размещения соответствующего кода на каждой отдельной странице сайта, Clean-param задаётся единожды централизованно в файле robots.txt и сразу применяется ко всем страницам сайта, содержащим указанный параметр, что заметно упрощает массовое решение проблемы.
Ограниченная поддержка этой директивы другими поисковыми системами
Clean-param — специфичная для Яндекса директива, не поддерживаемая большинством других поисковых систем, поэтому для полноценного решения проблемы незначащих параметров на международном уровне разумно дополнительно использовать и универсальный атрибут canonical на самих страницах.
Развёрнутый практический пример применения директивы для интернет-магазина
Для интернет-магазина, добавляющего к адресам карточек товара параметры отслеживания перехода из рекламных рассылок или партнёрских программ, единая директива Clean-param, перечисляющая все подобные параметры, разом решает проблему их потенциального восприятия как самостоятельных дублирующих адресов.
Как убедиться, что настроенная директива действительно работает как ожидается
Спустя некоторое время после добавления директивы полезно проверить через логи сервера или отчёты панели вебмастера, действительно ли адреса с указанным параметром перестали накапливаться как отдельные записи в статистике индексации сайта.
Практическое ограничение на общую длину и количество указываемых путей
При очень большом количестве разных путей, требующих применения Clean-param, стоит помнить о существовании практических ограничений на общий объём файла robots.txt, что может потребовать более обобщённого, менее детального подхода к формулировке путей применения директивы.
Совместимость директивы с продолжением работы систем веб-аналитики
Использование Clean-param для управления индексацией никак не мешает самим системам аналитики продолжать корректно фиксировать переходы с соответствующими метками кампаний — директива влияет исключительно на восприятие адреса поисковым роботом, а не на работу аналитических систем.
Частые вопросы
Работает ли Clean-param в Google так же, как в Яндексе?
Нет, эта директива специфична именно для Яндекса, поэтому для управления аналогичной проблемой в Google стоит полагаться на атрибут canonical или настройку параметров URL в соответствующей панели.
Можно ли указать сразу несколько параметров в одной директиве Clean-param?
Да, несколько параметров можно перечислить через символ амперсанда в рамках одной директивы, что удобно для типичного набора незначащих технических параметров вроде utm-меток.
Нужно ли использовать Clean-param, если уже настроен canonical?
Использование обеих мер одновременно не создаёт конфликта и может служить дополнительной подстраховкой, особенно учитывая, что Clean-param решает проблему централизованно и не зависит от корректности настройки canonical на каждой отдельной странице.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.