Разные правила для разных роботов
Файл robots.txt позволяет задавать не только общие правила для всех роботов сразу, но и отдельные, самостоятельные наборы правил для конкретных поисковых систем.
Читать статью →Crawl-delay и управление нагрузкой
Директива Crawl-delay когда-то была стандартным способом попросить робота обращаться к сайту реже, но сегодня её эффективность для основных поисковых систем существенно изменилась.
Читать статью →Директива Clean-param: когда она нужна
Некоторые параметры в адресе страницы не меняют её содержательное наполнение, но формально создают технически новый, самостоятельный адрес, — именно для таких случаев и предназначена директива Clean-param.
Читать статью →Wildcards и знак доллара в robots.txt
Помимо точного указания конкретных путей, robots.txt поддерживает гибкие символы-маски, позволяющие одним правилом охватить сразу целую группу схожих адресов.
Читать статью →Директивы robots.txt: полный разбор синтаксиса
За внешней простотой файла robots.txt скрывается довольно строгий синтаксис, ошибки в котором способны привести к результату, прямо противоположному ожидаемому.
Читать статью →HTML-карта сайта: нужна ли она сегодня
В отличие от технической карты для роботов, HTML-карта сайта изначально создавалась для живых пользователей — и вопрос её сегодняшней актуальности вызывает споры.
Читать статью →Карта сайта в формате txt: когда достаточно
Помимо привычного формата XML, карту сайта можно оформить и в виде простого текстового файла — заметно менее гибкого, но иногда вполне достаточного варианта.
Читать статью →Автоматическая генерация карты сайта
Ручное составление и поддержание карты сайта в актуальном состоянии практически нереалистично для любого сайта, кроме самого маленького, — и именно поэтому автоматическая генерация становится необходимостью.
Читать статью →Индексный файл sitemap для крупных проектов
Единственный файл sitemap.xml имеет технические ограничения по размеру и количеству адресов, и для действительно крупного сайта их проще обойти через индексный файл, объединяющий несколько отдельных карт.
Читать статью →Карта сайта для новостей
Для новостного контента скорость индексации имеет буквально решающее значение — новость, опоздавшая в выдачу на несколько часов, зачастую теряет практически всю свою ценность.
Читать статью →Карта сайта для видео
Видеоконтент значительно сложнее для автоматического анализа поисковой системой, чем обычный текст или изображение, — и именно поэтому явная карта сайта для видео особенно ценна.
Читать статью →Карта сайта для изображений
Обычные изображения на страницах сайта поисковая система обнаруживает и без специальной карты, но для сайтов с богатым визуальным контентом отдельный sitemap способен заметно помочь.
Читать статью →Ошибки в robots.txt, которые убирают сайт из поиска
Одна неверно поставленная косая черта или лишний символ в robots.txt способны в буквальном смысле полностью убрать сайт из поисковой выдачи — и это одна из самых обидных технических ошибок.
Читать статью →Типовой robots.txt для сайта услуг
У сайта услуг, в отличие от интернет-магазина, обычно заметно меньше служебных технических разделов, но и здесь есть свой характерный набор страниц для закрытия от индексации.
Читать статью →Типовой robots.txt для интернет-магазина
У интернет-магазина набор технических разделов, требующих закрытия от индексации, заметно шире, чем у обычного информационного сайта, — от корзины до личного кабинета.
Читать статью →Чек-лист служебных файлов сайта
Завершая блок о служебных файлах и разметке доступа, соберём все разобранные файлы в единый практический чек-лист для быстрой проверки полноты технической подготовки сайта.
Читать статью →Резервное копирование конфигураций
Владельцы сайтов привычно настраивают резервное копирование базы данных и файлов содержимого, но нередко забывают о не менее важной категории — конфигурационных файлах сервера.
Читать статью →Как безопасно тестировать правила сервера
Любое изменение серверных правил — редиректов, кеширования, ограничений доступа — несёт риск случайно сломать работу боевого сайта, если тестировать его прямо на продакшене.
Читать статью →Защита папок паролем без вреда для SEO
Защита паролем на уровне сервера — надёжный технический барьер, разобранный ранее применительно к тестовым копиям сайта, но и у неё есть свои нюансы, о которых стоит знать заранее.
Читать статью →Кеширование в .htaccess: тонкая настройка
Файл .htaccess позволяет достаточно тонко управлять тем, как долго браузер посетителя хранит локальную копию разных типов файлов сайта, не обращаясь за ними повторно к серверу.
Читать статью →Конфигурация для Apache и nginx: сравнение
Выбор между Apache и nginx редко делается ради одного только SEO, но зная типичные различия в подходах этих серверов, специалисту проще ориентироваться в конфигурации любого конкретного сайта.
Читать статью →Правила nginx вместо .htaccess
Многие технические задачи, традиционно решаемые через .htaccess на серверах Apache, на серверах с nginx требуют принципиально иного подхода — на уровне основной конфигурации сервера.
Читать статью →Favicon и манифест: адреса и кеширование
Небольшая иконка сайта в закладке браузерной вкладки кажется мелочью, но за ней стоит собственный набор технических требований к адресам, форматам и кешированию.
Читать статью →Файл security.txt и ads.txt: что это
Помимо файлов, напрямую связанных с индексацией, на сайте нередко встречаются и другие специализированные текстовые файлы со своими узкими, но важными задачами — security.txt и ads.txt из их числа.
Читать статью →Файл llms.txt и новые служебные файлы
На фоне стремительного роста систем, основанных на больших языковых моделях, у сайтов начал появляться совершенно новый тип служебных файлов, ориентированных уже не на классического поискового робота, а на языковую модель.
Читать статью →Другие рубрики
Транслитерация
224 статьи
Электронная коммерция
85 статей
Технический SEO
50 статей
Аналитика
38 статей
CMS
31 статья
Контент
31 статья
Основы
27 статей
Разработка
27 статей
Инструменты
26 статей
Дубли
25 статей
Индексация
25 статей
Микроразметка
25 статей
Отрасли
25 статей
Производительность
25 статей
Регионы и языки
25 статей
Редиректы
25 статей
Служебные файлы
25 статей
Ссылки
25 статей
Структура
25 статей
Интерфейс
8 статей
Поиск и запросы
7 статей
Безопасность
5 статей
Каталог и реклама
5 статей
Запуск сайта
4 статьи