Проверка микроразметки в пакетном режиме

Зачем нужна пакетная проверка

Разметка формируется шаблоном, поэтому ошибка в шаблоне повторяется на всех страницах этого типа. Проверять по одной странице с помощью валидатора: проверка разметки валидаторами — полезно, но не покрывает изменений после релизов. Пакетная проверка берёт выборку страниц каждого шаблона и сверяет разметку с ожиданиями.

Как выбрать страницы

• По нескольку десятков страниц каждого шаблона: карточка, категория, статья, контакты.
• Включайте разные случаи: товары с отзывами и без, со скидкой и без, в наличии и нет.
• Добавьте недавно опубликованные страницы: ошибки чаще появляются у новых.

Скрипт извлечения

import json
import re
import requests

pattern = re.compile(r'<script type="application/ld[+]json">(.*?)</script>', re.S)
required = {"Product": ["name", "offers"], "Article": ["headline", "datePublished"]}

def check(url):
    html = requests.get(url, timeout=10).text
    problems = []
    for block in pattern.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            problems.append("invalid json")
            continue
        items = data if isinstance(data, list) else [data]
        for item in items:
            for field in required.get(item.get("@type"), []):
                if field not in item:
                    problems.append("missing " + field)
    return problems

Скрипт скачивает страницу, находит блоки разметки, разбирает их и проверяет наличие обязательных полей для типов, перечисленных в словаре. Он не заменяет валидатор: реальные требования зависят от типа разметки и сервиса, поэтому набор обязательных полей заполните по документации.

Что проверять

Регулярность

1. Запускайте проверку после каждого релиза, затрагивающего шаблоны.
2. Раз в неделю проверяйте выборку по расписанию: изменения данных тоже ломают разметку.
3. Сохраняйте результаты и сравнивайте с прошлым запуском.

Как оформить результат

• Сгруппируйте ошибки по типам разметки и шаблонам страниц: исправлять нужно шаблон.
• Для каждой группы укажите число затронутых страниц из выборки и пример адреса.
• Отдельно выделите критичные ошибки — сломанный формат и отсутствие обязательных полей — от рекомендаций.
• После исправления повторите проверку на той же выборке и сохраните результат.

Частые вопросы