Структура
crawl-site переходит по ссылкам внутри того же хоста от стартового URL и хранит все ссылки в одном файле SQLite. Для каждой страницы считаются входящие и исходящие ссылки, глубина клика от стартового URL и место каждой ссылки: навигация, футер или текст страницы. Так видно, какие страницы связаны с контентом, а какие появляются только в меню.
- Входящие и исходящие ссылки на каждой странице
- Глубина клика от стартового URL
- Место ссылки: навигация, шапка, боковая колонка, футер, контент
- Путь обнаружения каждой страницы

