アナライザーとランカー
検索のすべては Bean で、@Order の順に問い合わせられます。SearchDocumentSource Bean はドキュメントを与え、SearchAnalyzer Bean はある言語のテキストを語に区切り、SearchRanker Bean は各ヒットのスコアを変えます。アプリは、サービスに触れずに、それらのどれでも追加したり置き換えたりできます。
使う理由
言語はそれぞれ異なります。英語には語尾とストップワードがあり、日本語には空白がなく、ドイツ語には複合語があります。すべてに一つの解析を使うと、ある言語では一致を見逃し、別の言語では存在しない一致を作り出してしまいます。そして、何が最初にランクされるかは、単語の問題ではなく、ビジネスのルール (ガイドより先にリファレンス、売り切れの商品は最後) であることがよくあります。
アナライザー
SearchAnalyzer は、トークナイザーと、それに続く順序付きのフィルターです。ドキュメントとクエリは同じアナライザーを通るので、一致します。
| アナライザー | トークナイザーとフィルター | 用途 |
|---|---|---|
standard |
StandardTokenizer、WordPartsFilter、LowerCaseFilter、AsciiFoldingFilter |
指定されない限り、英語以外のすべての言語 |
english |
standard、続いて StopWordFilter(StopWordFilter.english) と EnglishStemFilter |
en |
| 部品 | 行うこと |
|---|---|
StandardTokenizer |
任意の文字体系の文字と数字の単語。空白を書かない中国語、日本語、韓国語は、隣り合う二文字ごとに区切る (依存性 は 依存、存性 になる) ので、同じように区切られたクエリが辞書なしでそれを見つける |
WordPartsFilter |
キャメルケースや数字を含む単語の部分も。ApplicationContext は context でも見つかる。単語全体も残る |
LowerCaseFilter |
Bean は bean を見つける |
AsciiFoldingFilter |
アクセントを除いたラテン文字: café は cafe を見つける |
StopWordFilter |
すべてのドキュメントにある単語 (the、a) を除外する |
EnglishStemFilter |
英語の語尾を取り除く: beans と bean、binding と bind。意図的に控えめ: 四文字未満の単語はそのままで、語尾が取り除かれるのはその前に母音が残る場合だけ (string はそのまま) |
独自のアナライザー
Bean として宣言し、言語ごとに名前を指定します。組み込みの名前 (standard、english) を持つ Bean はそれを置き換えます。
// 小文字、アクセントなし、そしてアプリ独自のストップワード。
@Configuration()
class SearchConfig {
@Bean()
SearchAnalyzer french() => const SearchAnalyzer(
'french',
filters: [
WordPartsFilter(),
LowerCaseFilter(),
AsciiFoldingFilter(),
StopWordFilter({'le', 'la', 'les', 'de', 'des', 'un', 'une', 'et'}),
],
);
}
spring:
search:
analyzers:
fr: french
ja: standard
独自のフィルターは SearchTokenFilter (Iterable<SearchToken> filter(Iterable<SearchToken> tokens)) を、トークナイザーは SearchTokenizer を実装します。SearchToken は、その term (比較されるもの)、ステマーが短くする前の単語 (入力中の単語のため)、テキストの中での位置 (start、end。ハイライトのため) を保持します。
検索の言語がアナライザーを選びます。指定されていればタグ全体 (pt-BR)、なければ - や _ の前の部分 (pt)、なければ en には english、その他には standard です。
ランカー
SearchRanker は、インデックスがランク付けした後にヒットのスコアを変えます。ランカーは @Order の順に、それぞれ前のものが与えたスコアに対して、検索されたクエリ (SearchQuery: その clauses、それぞれ書かれたとおりの単語またはフレーズ) とともに実行され、その後ヒットは再びソートされます。
// ガイドより先にリファレンスのページ。
@Component()
class ReferenceFirst implements SearchRanker {
@override
double rank(SearchHit hit, double score, SearchQuery query) =>
(hit.document.attributes['path'] ?? '').contains('/reference/')
? score * 1.5
: score;
}
プロパティ
| キー | 型 | デフォルト | 意味 |
|---|---|---|---|
spring.search.analyzers.<language> |
アナライザーの名前 | en では english、それ以外は standard |
言語のアナライザー |