Structure
crawl-site suit les liens du même hôte à partir d’une URL de départ et conserve chaque lien dans un seul fichier SQLite. Pour chaque page, il enregistre les liens entrants, les liens sortants, la profondeur de clic depuis l’URL de départ et la position de chaque lien : navigation, pied de page ou corps du texte. On distingue ainsi les pages liées depuis le contenu de celles qui n’apparaissent que dans un menu.
- Liens entrants et sortants par page
- Profondeur de clic depuis l’URL de départ
- Position du lien : navigation, en-tête, barre latérale, pied de page, contenu
- Chemin de découverte de chaque page

