Масштаб и жизненный цикл
Доска объявлений — это большой каталог, где каждая страница живёт недолго. Ежедневно появляются тысячи объявлений и столько же исчезают. Основные задачи: обеспечить обход свежих страниц, не тратить ресурсы на устаревшие и не допустить массовых дублей.
Примеры адресов
/moskva/avto/
/moskva/avto/legkovye/
/moskva/avto/legkovye/prodam-nazvanie-modeli-1234567/
/polzovateli/12345/Основа структуры — сочетание города и рубрики: именно такие страницы ищут посетители. Адрес объявления содержит читаемую часть и идентификатор.
Что делать с устаревшими объявлениями
| Ситуация | Что делать | Комментарий |
|---|---|---|
| Объявление активно | Индексируется | Уникальное описание, фото, цена |
| Объявление закрыто автором | Пометка «неактуально» и похожие объявления | Оставить на короткий срок |
| Объявление истекло, трафика нет | Ответ 410 или 404 | Не накапливать мёртвые страницы |
| Объявление истекло, трафик есть | Перенаправить на рубрику или похожие | Сохранить посетителей |
| Объявление заблокировано за нарушение | Ответ 410 или закрытие | Не показывать спам |
Общие принципы — в статьях про удалённые товары и URL и сценарии для снятых позиций.
Качество и спам
- Минимальные требования к объявлению: заголовок, описание, категория, контакт; пустые и шаблонные объявления не индексируются.
- Объединяйте дубли: один и тот же товар, выложенный несколько раз, не должен занимать несколько страниц.
- Пользовательские ссылки помечайте атрибутами: ugc и nofollow.
- Модерируйте: спам ухудшает оценку всего сайта.
Обход и карта сайта
- Разбейте карту сайта на файлы по рубрикам и датам публикации: индексный файл для крупных проектов.
- Указывайте дату изменения и отдавайте корректные заголовки: Last-Modified и ETag.
- Следите за скоростью ответа сервера: скорость индексации крупного каталога.
- Ограничьте глубину пагинации и число фильтров: фильтры и обход.
Профили и поиск по сайту. Профили пользователей без содержимого и страницы результатов внутреннего поиска не нужны в индексе: поиск по сайту: адреса и индексация. Про маркетплейсы услуг — в статье адреса для маркетплейса услуг.
Что проверить в структуре доски
- Страницы «город + рубрика» открываются для поиска и содержат ссылки на свежие объявления.
- Количество страниц пагинации ограничено разумным пределом: глубокие страницы не нужны ни людям, ни роботу.
- Фильтры с комбинациями закрыты от индексации, кроме популярных подборок.
- Профили без объявлений и содержания не индексируются.
- Ответ сервера для несуществующих и истёкших объявлений корректен: 404 или 410, а не главная страница.
Крупные доски регулярно проверяют журналом сервера: там видно, сколько запросов робот тратит на устаревшие и мусорные адреса. Это главный показатель здоровья структуры.
Частые вопросы
Что делать с истёкшими объявлениями?
Если у страницы нет трафика — отвечать 410 или 404; если есть — перенаправить на рубрику или похожие объявления.
Как не допустить дублей объявлений?
Объединять повторные публикации одного и того же товара и не индексировать пустые и шаблонные объявления.
Как помочь роботу быстрее находить новые объявления?
Разбить карту сайта по рубрикам и датам, указывать даты изменения и обеспечить быстрый ответ сервера.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.