Как вести реестр адресов сайта

Что такое реестр

Реестр адресов — таблица или база данных, где каждой странице сайта соответствует строка с её свойствами: шаблон, статус, канонический адрес, индексируемость, владелец, даты создания и изменения. Он отвечает на вопросы: сколько у нас страниц, какие из них нужны, что изменилось, кто отвечает. Для переездов и перестройки структуры он незаменим: таблица переездов.

Какие поля нужны

Как хранить

CREATE TABLE url_registry (
    id INTEGER PRIMARY KEY,
    url TEXT UNIQUE NOT NULL,
    template TEXT,
    status_code INTEGER,
    canonical TEXT,
    indexable BOOLEAN,
    in_sitemap BOOLEAN,
    owner TEXT,
    created_at DATE,
    updated_at DATE
);

Для небольшого сайта хватит электронной таблицы, для крупного нужна база данных. Уникальный ключ по адресу защищает от повторов. Принципы хранения слагов и идентификаторов — в статьях про слаг в базе данных и идентификаторы.

Откуда брать данные

1. Из системы управления берите список страниц, владельцев и даты.
2. Из обхода — коды ответа, канонические адреса, индексируемость.
3. Из карты сайта — признак включения.
4. Объедините по адресу и обновляйте регулярно: так находятся расхождения и сироты.

Как использовать

• Переезды. Реестр даёт исходный список для карты соответствий.
• Аудиты. По нему быстро видно, какие страницы неиндексируемы, без канонического адреса или отсутствуют в карте.
• Работа команды. Разработчики, редакторы и специалисты по поиску опираются на единый источник.
• Контроль изменений. Сравнение версий реестра показывает, что изменилось: сравнение обходов.

Полезные запросы к реестру

-- страницы, открытые для индексации, но отсутствующие в карте сайта
SELECT url FROM url_registry
WHERE indexable = 1 AND in_sitemap = 0;

-- страницы с ответом, отличным от 200
SELECT url, status_code FROM url_registry
WHERE status_code != 200;

Такие запросы дают готовые списки задач: расхождения между тем, что открыто для индексации, и тем, что указано в карте, почти всегда означают ошибку. Реестр окупается именно этим: вместо поиска проблем вручную вы формулируете вопрос и получаете ответ за секунды.

Частые вопросы