Зачем проверять
Ссылка на удалённую страницу разочаровывает читателя и подрывает доверие к материалу. Ссылка на сайт, который сменил владельца, может вести на совершенно другое содержимое, в том числе нежелательное. Внутренние ссылки мы обычно замечаем сами, а внешние остаются без присмотра годами.
Как собрать список
- Проведите обход сайта краулером и выгрузите все исходящие ссылки с адресами страниц, где они размещены.
- Сгруппируйте по доменам: часто десятки ссылок ведут на один сайт.
- Сохраните список в таблицу с датой проверки.
Что означают коды ответа
| Ответ | Что значит | Что делать |
|---|---|---|
| 200 | Страница доступна | Проверить, что содержимое по-прежнему подходит |
| 301 или 308 | Страница переехала | Заменить ссылку на новый адрес |
| 302 или 307 | Временное перенаправление | Проверить конечный адрес; при необходимости заменить |
| 404 или 410 | Страницы нет | Найти замену или убрать ссылку |
| 5xx | Ошибка чужого сервера | Проверить повторно позднее |
| Долгий ответ или обрыв | Проблемы с доступностью | Повторить проверку, при повторе — заменить ссылку |
Пакетная проверка скриптом
Если у вас есть список адресов в файле, коды ответа можно получить одной командой:
while read url; do
code=$(curl -o /dev/null -s -w "%{http_code}" --max-time 10 "$url")
echo "$code $url"
done < links.txtСкрипт не следует за перенаправлениями, поэтому 301 и 302 видны сразу. Для проверки конечного адреса добавьте ключ -L. Проверяйте не слишком часто, чтобы не создавать нагрузки на чужие сайты.
Порядок работы
- Исправьте ссылки с постоянными перенаправлениями: подставьте конечный адрес.
- Для ссылок с ошибкой найдите замену: тот же материал на другом адресе или новый источник по теме.
- Если замены нет, уберите ссылку, но сохраните текст, чтобы он остался читаемым.
- Проверьте содержимое страниц, которые ответили 200: смена владельца сайта или тематики — повод убрать ссылку.
Периодичность. Достаточно проверять раз в квартал, а для сайтов с большим числом внешних источников — раз в месяц. Для внутренних ссылок используйте отдельные проверки: битые ссылки. О том, когда внешние ссылки нужны, — в статье про ссылки на внешние ресурсы.
Что учесть при массовой проверке
- Не запрашивайте один сайт слишком часто: делайте паузы между запросами.
- Часть сайтов блокирует автоматические запросы и отвечает ошибкой, хотя в браузере страница открывается: такие ссылки проверьте вручную.
- Ссылки на документы и файлы проверяйте отдельно: у них свой тип содержимого.
- Сохраняйте результаты, чтобы сравнивать их с прошлой проверкой и замечать новые проблемы.
Частые вопросы
Как часто проверять исходящие ссылки?
Раз в квартал достаточно для большинства сайтов; если внешних источников много, проверку проводят раз в месяц.
Что делать со ссылкой, которая ведёт на перенаправление?
Заменить её на конечный адрес: так посетитель не тратит время на лишний шаг, а вы не зависите от чужого правила.
Как понять, что чужая страница изменилась по смыслу?
Открыть её и сравнить с тем, на что вы ссылались: смена владельца, тематики или содержимого — повод убрать ссылку.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.