Прямая аналогия с решением для canonical у файлов
Ровно та же логика, что уже разобрана в статье про canonical в HTTP-заголовке для файлов, применима и здесь — если мета-тег robots физически не может быть размещён в PDF-документе или изображении из-за отсутствия у них раздела head, аналогичная директива переносится на уровень HTTP-заголовка ответа сервера.
X-Robots-Tag: noindex, nofollowСинтаксис и практическое использование заголовка
Заголовок X-Robots-Tag поддерживает точно те же значения, что и обычный мета-тег robots, разобранный в отдельной статье этой серии, — noindex, nofollow, noarchive и другие, применяемые к конкретному файлу так же, как соответствующий мета-тег применяется к обычной HTML-странице.
Типичные практические случаи применения именно для файлов
- Служебные PDF-документы — например, внутренние технические спецификации или шаблоны, не предназначенные для публичной поисковой видимости, но по необходимости доступные по прямой ссылке.
- Изображения, не представляющие самостоятельной ценности в поиске картинок — декоративные элементы дизайна, иконки интерфейса, которые нежелательно видеть отдельно проиндексированными в специализированном поиске изображений.
- Технические файлы данных, доступные по прямому адресу для интеграции с другими системами, но не предназначенные для случайного обнаружения через обычный поиск.
Настройка на уровне сервера позволяет применить правило сразу к целой категории файлов. В отличие от точечной настройки для отдельной конкретной страницы, конфигурация X-Robots-Tag на уровне сервера часто позволяет одним общим правилом закрыть от индексации сразу целый класс файлов — например, все файлы определённого расширения в определённой директории, — что заметно эффективнее ручной настройки каждого отдельного файла по отдельности.
Пример массовой настройки для целой категории файлов
Типичная практическая конфигурация может закрывать от индексации все файлы определённого технического формата в конкретной служебной директории сайта одним правилом — это особенно полезно для директорий, где хранится большое количество вспомогательных файлов, не предназначенных для самостоятельной индексации, вместо необходимости вручную помечать каждый файл индивидуально.
Проверка корректности настройки заголовка на практике
Так же как и для проверки canonical в HTTP-заголовке, инструменты разработчика браузера или специализированные онлайн-сервисы позволяют увидеть полный список заголовков, реально возвращаемых сервером для конкретного файла, что остаётся единственным надёжным способом подтвердить фактическое действие настроенного правила, а не полагаться только на теоретическую конфигурацию.
Чек-лист
- Использовать X-Robots-Tag для управления индексацией не HTML-файлов вместо мета-тега robots.
- Применять те же значения — noindex, nofollow, noarchive — что и для обычного мета-тега.
- Настраивать правило на уровне сервера для массового применения к целой категории файлов.
- Проверять фактическое наличие заголовка в реальном ответе сервера через инструменты разработчика.
Применение к видеофайлам и другим специфичным медиаформатам
Заголовок работает так же универсально и для видеофайлов, размещённых напрямую на сервере сайта, а не через встроенный плеер стороннего сервиса, — тот же общий принцип применим к любому типу медиасодержимого, отдаваемого сервером напрямую по собственному прямому адресу, независимо от конкретного формата файла.
Проверка через панель вебмастера после внедрения массового правила
После настройки правила для целой категории файлов полезно сверить результат с данными панели вебмастера, чтобы убедиться, что закрытыми от индексации оказались именно те файлы, что и планировалось, — это дополнительная проверка сверх одной лишь технической проверки самого HTTP-заголовка, подтверждающая корректность результата уже на уровне фактического поведения поисковой системы.
Типичная ошибка при настройке правила слишком широко
При настройке правила для целой категории файлов важно точно определить область его действия, чтобы случайно не захватить и файлы, которые на самом деле должны оставаться доступными для индексации, — слишком широко сформулированное правило рискует закрыть от поисковых систем значимое содержимое вместе с действительно техническими, второстепенными файлами.
Частые вопросы
Что такое X-Robots-Tag и зачем он нужен?
Это HTTP-заголовок, аналогичный по смыслу мета-тегу robots, но предназначенный для файлов, не являющихся HTML-страницами и не имеющих раздела head, куда можно было бы вставить обычный мета-тег.
Какие значения поддерживает заголовок X-Robots-Tag?
Те же самые, что и обычный мета-тег robots — noindex, nofollow, noarchive и другие, применяемые к конкретному файлу тем же образом, что и к обычной HTML-странице.
В чём преимущество настройки X-Robots-Tag на уровне сервера перед точечной настройкой?
Это позволяет одним общим правилом закрыть от индексации сразу целую категорию файлов — например, все файлы определённого расширения в конкретной директории, — вместо ручной настройки каждого файла по отдельности.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.