Сравнение адресов до и после переезда

Идея сравнения

Перед переездом вы обходите старый сайт и сохраняете список адресов со свойствами. После — обходите новый сайт. Затем по карте соответствий сопоставляете страницы и смотрите, что изменилось. Так находятся потерянные страницы, неверные перенаправления и изменения содержимого.

Что сопоставлять

Карта соответствий

Основа сверки — таблица «старый адрес — новый адрес». Как её вести, описано в статье про таблицу переездов, а как строить при смене системы — в статье про миграцию между CMS.

Скрипт для сверки

import csv

def load(path):
    with open(path, newline="", encoding="utf-8") as f:
        return {row["url"]: row for row in csv.DictReader(f)}

old = load("old_crawl.csv")
new = load("new_crawl.csv")

with open("mapping.csv", newline="", encoding="utf-8") as f:
    mapping = list(csv.DictReader(f))

for pair in mapping:
    old_row = old.get(pair["old"])
    new_row = new.get(pair["new"])
    if new_row is None:
        print("НЕТ НОВОЙ:", pair["old"], "->", pair["new"])
    elif old_row and old_row["h1"] != new_row["h1"]:
        print("H1 ИЗМЕНЁН:", pair["new"])

Скрипт читает два обхода и карту соответствий и печатает расхождения: страницы, которых нет на новом сайте, и страницы с изменившимся заголовком. Формат таблиц зависит от краулера, названия столбцов подставьте свои.

Типичные расхождения

• Страницы без пары. Старый адрес не попал в карту: нужно добавить или решить, что он не нужен.
• Новые страницы, которых не было. Возможно, технические дубли или страницы с параметрами.
• Изменение заголовков. При смене структуры допустимо, но требует проверки, что смысл сохранён.
• Потерянные страницы в карте сайта. Их нужно вернуть в файл.

Порядок исправления

1. Сгруппируйте расхождения по типам и посчитайте число страниц.
2. Начните с массовых причин: ошибка в правиле сервера, шаблоне или карте.
3. Исправьте и повторите сверку.
4. Зафиксируйте результат: сколько страниц сопоставлено успешно.

Частые вопросы