Estructura
crawl-site sigue los enlaces del mismo host desde una URL de inicio y guarda todos los enlaces en un único archivo SQLite. Para cada página obtiene sus enlaces entrantes y salientes, la profundidad de clics desde la URL de inicio y la posición de cada enlace: navegación, pie de página o texto del cuerpo. Así se distinguen las páginas enlazadas desde el contenido de las que solo aparecen en un menú.
- Enlaces entrantes y salientes por página
- Profundidad de clics desde la URL de inicio
- Posición del enlace: navegación, cabecera, barra lateral, pie de página, contenido
- Ruta de descubrimiento de cada página

