
# アナライザーとランカー

検索のすべては Bean で、`@Order` の順に問い合わせられます。`SearchDocumentSource` Bean はドキュメントを与え、`SearchAnalyzer` Bean はある言語のテキストを語に区切り、`SearchRanker` Bean は各ヒットのスコアを変えます。アプリは、サービスに触れずに、それらのどれでも追加したり置き換えたりできます。

## 使う理由

言語はそれぞれ異なります。英語には語尾とストップワードがあり、日本語には空白がなく、ドイツ語には複合語があります。すべてに一つの解析を使うと、ある言語では一致を見逃し、別の言語では存在しない一致を作り出してしまいます。そして、何が最初にランクされるかは、単語の問題ではなく、ビジネスのルール (ガイドより先にリファレンス、売り切れの商品は最後) であることがよくあります。

## アナライザー

`SearchAnalyzer` は、トークナイザーと、それに続く順序付きのフィルターです。ドキュメントとクエリは同じアナライザーを通るので、一致します。

| アナライザー | トークナイザーとフィルター | 用途 |
|---|---|---|
| `standard` | `StandardTokenizer`、`WordPartsFilter`、`LowerCaseFilter`、`AsciiFoldingFilter` | 指定されない限り、英語以外のすべての言語 |
| `english` | `standard`、続いて `StopWordFilter(StopWordFilter.english)` と `EnglishStemFilter` | `en` |

| 部品 | 行うこと |
|---|---|
| `StandardTokenizer` | 任意の文字体系の文字と数字の単語。空白を書かない中国語、日本語、韓国語は、隣り合う二文字ごとに区切る (`依存性` は `依存`、`存性` になる) ので、同じように区切られたクエリが辞書なしでそれを見つける |
| `WordPartsFilter` | キャメルケースや数字を含む単語の部分も。`ApplicationContext` は `context` でも見つかる。単語全体も残る |
| `LowerCaseFilter` | `Bean` は `bean` を見つける |
| `AsciiFoldingFilter` | アクセントを除いたラテン文字: `café` は `cafe` を見つける |
| `StopWordFilter` | すべてのドキュメントにある単語 (`the`、`a`) を除外する |
| `EnglishStemFilter` | 英語の語尾を取り除く: `beans` と `bean`、`binding` と `bind`。意図的に控えめ: 四文字未満の単語はそのままで、語尾が取り除かれるのはその前に母音が残る場合だけ (`string` はそのまま) |

### 独自のアナライザー

Bean として宣言し、言語ごとに名前を指定します。組み込みの名前 (`standard`、`english`) を持つ Bean はそれを置き換えます。

```dart
// 小文字、アクセントなし、そしてアプリ独自のストップワード。
@Configuration()
class SearchConfig {
  @Bean()
  SearchAnalyzer french() => const SearchAnalyzer(
    'french',
    filters: [
      WordPartsFilter(),
      LowerCaseFilter(),
      AsciiFoldingFilter(),
      StopWordFilter({'le', 'la', 'les', 'de', 'des', 'un', 'une', 'et'}),
    ],
  );
}
```

```yaml
spring:
  search:
    analyzers:
      fr: french
      ja: standard
```

独自のフィルターは `SearchTokenFilter` (`Iterable<SearchToken> filter(Iterable<SearchToken> tokens)`) を、トークナイザーは `SearchTokenizer` を実装します。`SearchToken` は、その `term` (比較されるもの)、ステマーが短くする前の単語 (入力中の単語のため)、テキストの中での位置 (`start`、`end`。ハイライトのため) を保持します。

検索の言語がアナライザーを選びます。指定されていればタグ全体 (`pt-BR`)、なければ `-` や `_` の前の部分 (`pt`)、なければ `en` には `english`、その他には `standard` です。

## ランカー

`SearchRanker` は、インデックスがランク付けした後にヒットのスコアを変えます。ランカーは `@Order` の順に、それぞれ前のものが与えたスコアに対して、検索されたクエリ (`SearchQuery`: その `clauses`、それぞれ書かれたとおりの単語またはフレーズ) とともに実行され、その後ヒットは再びソートされます。

```dart
// ガイドより先にリファレンスのページ。
@Component()
class ReferenceFirst implements SearchRanker {
  @override
  double rank(SearchHit hit, double score, SearchQuery query) =>
      (hit.document.attributes['path'] ?? '').contains('/reference/')
          ? score * 1.5
          : score;
}
```

## プロパティ

| キー | 型 | デフォルト | 意味 |
|---|---|---|---|
| `spring.search.analyzers.<language>` | アナライザーの名前 | `en` では `english`、それ以外は `standard` | 言語のアナライザー |

## 関連項目

- [ドキュメント](documents.md)
- [検索](searching.md)
- [すべてのプロパティ](properties.md)
