完全一致のコピーは、コンテンツハッシュで検出します。類似コンテンツの検出にはsimhashとLSHを使うため、ページを総当たりで比較することはありません。類似度のしきい値の初期値は0.92です。検出結果にはページのグループが一覧で出るので、残すページを1つ選んで、ほかを統合できます。
語数が少なすぎるページ、マークアップに比べて表示テキストが少ないページ、メインコンテンツにLorem Ipsumが残っているページは、それぞれ個別に報告されます。これらの問題は、サイト全体を書き直さなくても解決できる場合がほとんどです。原因は、テンプレート、下書き、フィルターページであることが多いためです。
重複の検出に加えて、ヘッダー、ナビゲーション、フッターのマークアップをグループ化し、共通部分が本当にすべてのページで同じかを確認できます。読みやすさのスコアも出せます。読みやすさは任意のコンテンツチェックで、Fleschの読みやすさスコアに基づきます。
クロールを実行します。各ページから抽出したテキストを保存した、ネイティブのSQLiteスキャンができ、オフライン分析に使えます。
完全一致のコピーは、コンテンツハッシュで検出します。類似コンテンツの検出にはsimhashとLSHを使うため、ページを総当たりで比較することはありません。
検出結果ごとに、グループに含まれるページが一覧に出ます。canonicalタグで統合するか、各ページが固有の検索意図に応えるよう書き直します。
| チェック項目 | 意味 | 重要度 | 根拠 |
|---|---|---|---|
DUPLICATE_BY_HASH | ページ本文が、別のページの本文と完全に同じです | Important | ハッシュが同じURLのグループ |
NEAR_DUPLICATE | ページのテキストが、別のページとほぼ同じで、類似度のしきい値（初期値0.92）を超えています | Important | 類似するURLのクラスター |
THIN_CONTENT | 検索で単独で通用するには、ページの語数が少なすぎます | Important | ページの語数 |
LOW_TEXT_RATIO | HTMLに占める表示テキストの割合が小さく、コンテンツよりマークアップの方が多くなっています | Tip | ページのテキストとHTMLの比率 |
LOREM_IPSUM_PLACEHOLDER | ページのメインコンテンツ領域に、Lorem Ipsumのダミーテキストがあります | Important | 一致したダミーテキストの箇所 |
READABILITY_DIFFICULT | テキストのFleschの読みやすさスコアが低い状態です。これは任意のコンテンツチェックです | Tip | ページのFleschスコア |
seohead duplicate-check --scan ./scans/audit.sqlite先にインストールします: インストールガイド。どのコマンドも、AIエージェント向けのMCPツールとして実行できます。