Общая логика построения robots.txt для сайта с каталогом товаров
Файл интернет-магазина строится вокруг одного центрального принципа: открытыми для обхода должны оставаться исключительно страницы, имеющие самостоятельную коммерческую или информационную ценность для пользователя, пришедшего из поиска, — карточки товаров, категории каталога, статьи блога, — тогда как вся служебная функциональность сайта, обслуживающая процесс покупки, а не представляющая содержательный интерес сама по себе, закрывается от обхода.
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /personal/
Disallow: /search/
Disallow: /compare/
Disallow: /*?*sort=
Disallow: /*?*utm_
Sitemap: https://example.ru/sitemap.xmlКорзина и страницы оформления заказа как первоочередной кандидат на закрытие
Страницы корзины и оформления заказа технически уникальны для каждого отдельного посетителя и не содержат никакого самостоятельного, полезного для стороннего пользователя поиска содержимого — их индексация не приносит сайту никакой практической пользы, а лишь бессмысленно расходует бюджет обхода на страницы, которые заведомо не могут ничего показать случайному посетителю из выдачи.
Личный кабинет и связанные с авторизацией разделы
Раздел личного кабинета целиком, включая страницы входа, регистрации и восстановления пароля, стоит закрывать от индексации по тем же соображениям — это техническая, персонализированная функциональность, не представляющая ценности для внешнего поискового трафика и потенциально содержащая конфиденциальные данные конкретного пользователя.
Страницы внутреннего поиска и сравнения товаров
Результаты внутреннего поиска по сайту и страницы сравнения товаров формируют динамические, часто дублирующиеся комбинации содержимого без собственной содержательной ценности, что делает их классическим кандидатом на закрытие от индексации наравне с остальной служебной функциональностью.
Разделы, которые ни в коем случае нельзя закрывать по ошибке
При составлении файла легко случайно закрыть излишне широким правилом и действительно важные разделы — сами карточки товаров, страницы категорий, блог, — поэтому после публикации файла обязательно стоит выборочно проверить через инструмент проверки robots.txt, что ключевые коммерческие страницы остаются полностью доступными для обхода.
Управление параметрами UTM-меток отдельным правилом в файле
Интернет-магазины особенно активно используют рекламные рассылки и партнёрские программы с UTM-метками в адресах, поэтому отдельное правило, закрывающее адреса с такими параметрами от обхода, помогает избежать накопления технических дублей — хотя для более централизованного и гибкого решения этой же задачи стоит рассмотреть и директиву Clean-param, разобранную ранее в этой серии.
Файлы технической выгрузки и обмена данными с рекламными системами
Многие интернет-магазины формируют отдельные технические файлы для передачи данных о товарах в рекламные системы и площадки сравнения цен — такие файлы, размещённые в собственном техническом разделе сайта, тоже стоит закрывать от обычной индексации, поскольку они предназначены для машинной обработки сторонними сервисами, а не для представления в поисковой выдаче.
Особый случай страниц с отзывами и вопросами о товаре
Если отзывы и вопросы покупателей формируют содержательно уникальный, ценный текст непосредственно на странице карточки товара, такие блоки, безусловно, стоит оставлять открытыми для индексации как часть основного содержимого страницы, — закрывать имеет смысл лишь технические служебные страницы вроде формы добавления нового отзыва.
Временные акционные разделы и распродажи как отдельная категория для рассмотрения
Временные страницы сезонных акций и распродаж обычно стоит оставлять открытыми для индексации на весь период их актуальности, поскольку такие страницы нередко привлекают заметный самостоятельный поисковый трафик, — а вопрос их дальнейшей судьбы после завершения акции разумнее решать через корректный редирект или код ответа, а не через изначальное закрытие от индексации.
Особенности, если у магазина есть и мобильное приложение с общим бэкендом
Если интернет-магазин использует общий технический бэкенд для веб-сайта и мобильного приложения, стоит отдельно убедиться, что технические API-адреса, обслуживающие именно приложение, а не сайт, тоже закрыты от индексации, поскольку они по определению не предназначены для представления в поисковой выдаче.
Периодический пересмотр файла по мере развития функциональности интернет-магазина
По мере добавления новой функциональности — например, программы лояльности или нового типа фильтров — стоит регулярно пересматривать и при необходимости дополнять файл robots.txt, поскольку типовой шаблон, актуальный на момент запуска сайта, со временем способен устареть относительно фактической структуры разросшегося магазина.
Частые вопросы
Нужно ли закрывать страницы отдельных товарных карточек?
Нет, карточки товаров — основная коммерческая ценность интернет-магазина с точки зрения поискового трафика, и закрывать их от индексации не следует, если только конкретный товар не снят с продажи навсегда.
Стоит ли закрывать страницы фильтров каталога полностью?
Не полностью — разумнее избирательно открывать только комбинации фильтров с реальным пользовательским спросом, закрывая от обхода лишь избыточные технические варианты, как разобрано в статье об обходе сайта с большим числом фильтров.
Как проверить, что типовой robots.txt подходит именно моему магазину?
Типовой файл — лишь отправная точка: стоит адаптировать конкретные пути под реальную структуру адресов своего сайта и проверить результат через инструмент проверки в панели вебмастера.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.