Struktur
crawl-site folgt von einer Start-URL aus Links innerhalb derselben Domain und speichert jeden Link in einer einzigen SQLite-Datei. Jede Seite erhält ihre Inlinks, Outlinks, die Klicktiefe ab der Start-URL und die Position jedes Links: Navigation, Fußzeile oder Fließtext. So lässt sich unterscheiden, ob eine Seite aus dem Inhalt verlinkt ist oder nur in einem Menü auftaucht.
- Inlinks und Outlinks pro Seite
- Klicktiefe ab der Start-URL
- Linkposition: Navigation, Kopfbereich, Seitenleiste, Fußzeile, Inhalt
- Entdeckungspfad jeder Seite

