Вежливый бюджет обхода и лимиты скорости
SpiderHead вежлив по умолчанию: около двух запросов в секунду на хост, ограниченные запросы только на чтение и явный лимит URL — бюджет, а не догадка о размере сайта.
Вежливый бюджет обхода и лимиты скорости
Бюджеты задаёте вы
Бюджеты запросов и времени, правила области и шаблонов, включения и исключения по расширению или типу медиа.
- --max-urls — явный бюджет
- Вежливость подстраивается под сервер
Безопасно по устройству
Сетевые инструменты блокируют приватные цели, пока их явно не разрешат; краулер отправляет только ограниченные запросы на чтение названному вами сайту.
Три шага — один сохранённый скан
Задайте бюджет URL
--max-urls ограничивает число страниц (по умолчанию 200); превышение бюджета проекта требует --approve-large-crawl.
Дозируйте каждый хост
Пауза по умолчанию — 0,5 секунды между запросами, около двух в секунду на хост; темп задаёт --max-urls-per-second, а адаптивный откат замедляет обход, когда сервер захлёбывается.
Соблюдайте robots.txt и приватные цели
robots.txt по умолчанию соблюдается, приватные и локальные адреса заблокированы, пока вы не разрешите их по имени.
Проверки в этой возможности
| Проверка | Что значит | Критичность | Доказательство |
|---|---|---|---|
SLOW_RESPONSE | Сервер отвечал дольше 1,5 секунды | Important | Время ответа страницы против порога 1,5 с |
BLOCKED_BY_ROBOTS | URL заблокирован robots.txt | Important | Заблокированный URL из обхода или выгрузки SF |
IMPORTANT_URL_BLOCKED_BY_ROBOTS | Страница с внутренними ссылками заблокирована robots.txt, и обнаружение ссылок обрывается | Important | Заблокированный URL и его внутренние входящие ссылки |
ROBOTS_BLOCKS_RESOURCES | robots.txt блокирует JavaScript или CSS, нужные для рендера страницы | Tip | URL заблокированного ресурса |
SITEMAP_NOT_IN_ROBOTS | В robots.txt нет директивы Sitemap | Tip | Содержимое robots.txt |
Одна команда
seohead crawl-site --config-helpСначала установите: руководство по установке. Каждая команда работает и как MCP-инструмент для ИИ-агентов.
Из реестра проверок
SLOW_RESPONSE