言語に合わせた正規化を使う
レンマ化は、単純なステミングとは異なり、語彙と文法を使って、有効な基本形を返します。結果は、言語、品詞、トークン化によって変わるため、多言語のキーワードリストには、言語に合わせた処理が必要です。分析のための補助であり、ページ内ですべての活用形を繰り返す理由にはなりません。
確認の方法
元のクエリを、レンマと言語のラベルと並べて残します。あいまいな語は、特にブランド名のような語、略語、複数の文字種が混ざった語を、手作業でサンプル確認します。クラスターの比較は、正規化した形だけでなく、元のクエリも使って行います。ユーザーは表面上の言葉で検索しますが、レンマは重なりを見つける助けになります。
実装と改善の方法
レンマは、リサーチの重複の除去、トピックのバリエーションの発見、クエリグループの見直しに使います。ページは、検索意図と、人が理解できる言葉づかいを軸に作り、できあがったページを検索結果と照らして検証します。有用な違いを黙ってまとめてしまわず、例外のリストを持ちます。
限界とよくある間違い
よくある間違いは、レンマが共通なら検索意図も同じだと考えることです。文法上の類似は、SERPの確認、商品のカバー範囲、編集上の判断の代わりにはなりません。
キーワードのエクスポートでは、まず、元の値の列、検出した言語の列、正規化した列を用意します。句読点、引用符、クエリの演算子は、元の値に残します。別の課題を示すことがあるためです。ロシア語の活用形、英語の複数形、音訳されたブランド名を、区別せずに1つのルールで処理してはいけません。パーサーが品詞の文脈を必要とする場合は、結果を候補として扱い、元のリストと照らしてサンプル確認します。たとえば「running shoes」と「run a business」は、英語のトークンを共有していますが、編集上は別のグループに属します。そのため、検証の手順は、ボリュームの大きいクラスターやあいまいなクラスターから少数を手作業でサンプル確認することと、自信を持って正規化できなかったレコードの件数を数えることです。レンマを、そのまま本文に使わないでください。ページには、検索者の疑問に自然に答えられる言葉を使います。
設定の例です。最初に言語検出器を実行して信頼度を残し、信頼度の高いレコードだけを、対応するレンマ化ツールに渡します。モデルのバージョンも保存しておくと、後で再実行したときに、クラスターが変わった理由を説明できます。サンプルには、最も頻度の高いクエリ、最も長いクエリ、元の形の違いが文法だけではないグループをすべて含めます。誤って統合したものは除外に、誤って分割したものは見直しの候補にします。2つの語句のレンマが同じでも、検索結果のページが違うなら、両方をリサーチのモデルに残します。最後の検証は編集の観点で行います。ターゲットのページは、語幹が合うだけでなく、元のクエリ群にきちんと答えている必要があります。
再現できる見直しは、5つの手順で行えます。1つ目は、元の件数を壊さずに、重複した行を取り除くこと。2つ目は、言語を判別し、元の語句を残すこと。3つ目は、言語モデルが認識するトークンにだけ、レンマを生成すること。4つ目は、レンマと観測した検索意図の両方で、候補をグループ化すること。5つ目は、ターゲットのURLを決める前に、検索結果のページをサンプルで開くことです。クエリのリストに「best trail runs」「trail running shoes」「run trail events」が含まれる場合を考えます。表面上の類似はリサーチに役立ちますが、想定されるページの種類は違います。クラスターのターゲットページの役割が明確で、除外した形が記録されているときに限り、このチェックに合格します。言語上の便宜が、いつのまにかコンテンツの判断になってしまうのを防げます。
変換は、元に戻せるようにしておきます。元の語句、言語、レンマ、例外のフラグ、選んだターゲットは、別々のフィールドに保ちます。モデルが変わったら、レンマの列を手で直さず、元のデータから再実行します。