Обход sitemap и списка URL
Кроме перехода по ссылкам, SpiderHead умеет обойти URL, заявленные в sitemap, или явный список адресов — и сверить то, что заявляет sitemap, с тем, что нашёл обход.
Обход sitemap и списка URL
Режимы sitemap, списка и файла URL
Загрузите явный список urls вместо перехода по ссылкам или обойдите индексы sitemap рекурсивно, включая gzip.
- Индекс sitemap и urlset
- Дубли и устаревшие lastmod
Sitemap против обхода
Аудит сверяет набор URL из sitemap с обходом: неиндексируемые или редиректящие URL в sitemap и индексируемые страницы, которых в нём нет.
- Сироты sitemap
- Рассинхрон наборов URL
Три шага — один сохранённый скан
Прочитать sitemap
Дайте один URL sitemap. Индексы, дочерние sitemap, текстовые списки и gzip разбираются до записей URL.
Проверить каждый заявленный URL
Каждый URL из sitemap получает код ответа, так что редиректы и битые страницы видны в списке. Загрузки идут по три параллельно.
Сверить с обходом
Аудит противопоставляет URL из sitemap обойдённым страницам и помечает рассинхрон.
Проверки в этой возможности
| Проверка | Что значит | Критичность | Доказательство |
|---|---|---|---|
SITEMAP_URL_4XX_5XX | URL из sitemap отвечает 4xx или 5xx | Critical | URL из sitemap и его код |
SITEMAP_URL_3XX | URL из sitemap редиректит вместо 200 | Important | URL из sitemap и статус редиректа |
SITEMAP_URL_NON_INDEXABLE | Sitemap содержит неиндексируемый URL | Important | Запись sitemap |
SITEMAP_DESYNC | Наборы URL sitemap и обхода не совпадают | Important | Набор sitemap против набора обхода |
URL_NOT_IN_SITEMAP | Индексируемой страницы нет в sitemap | Tip | Канонический URL из обхода |
SITEMAP_STALE_LASTMOD | В sitemap устаревшие или шаблонные lastmod | Tip | Значения lastmod в sitemap |
Одна команда
seohead sitemap-crawl --url https://example.com/sitemap.xmlСначала установите: руководство по установке. Каждая команда работает и как MCP-инструмент для ИИ-агентов.
Из реестра проверок
SITEMAP_URL_3XXSITEMAP_URL_NON_INDEXABLEURL_NOT_IN_SITEMAPSITEMAP_DESYNCSITEMAP_STALE_LASTMOD