Estrutura
O crawl-site segue links do mesmo host a partir de uma URL inicial e guarda cada link em um único arquivo SQLite. Para cada página, ele registra os links de entrada, os links de saída, a profundidade de cliques a partir da URL inicial e a posição de cada link: navegação, rodapé ou texto do corpo. Assim dá para separar as páginas linkadas a partir do conteúdo das que só aparecem em um menu.
- Links de entrada e de saída por página
- Profundidade de cliques a partir da URL inicial
- Posição do link: navegação, cabeçalho, barra lateral, rodapé, conteúdo
- Caminho de descoberta de cada página

