
# 過負荷

サーバーには二つの制限を与えられます。一度に応答するリクエストの数と、開いたままにする接続の数です。どちらかを超えると、リクエストはすぐに `Retry-After` 付きの `503 Service Unavailable` で応答されます。デフォルトではどちらの制限も設定されていません。

## 使う理由

すべてのリクエストを受け取るサーバーが、すべてのリクエストに応答するわけではありません。処理できる量を超えると、リクエストは他のリクエストの後ろで待ちます。それぞれが前のものより遅く応答され、クライアントは諦めて再試行し、待っているリクエストはどれもメモリーを使います。最後には、サーバーは誰にも時間内に応答しなくなります。

満杯であることをすぐに答えるサーバーは、受け取ったリクエストに対して速いままです。クライアントは、自分のタイムアウトの後ではなく数ミリ秒後にそれを知ります。そして `Retry-After` を尊重するロードバランサーやクライアントは、少し後に、または別の場所に、リクエストを送り直します。

この二つの制限は、サーバーを守るものの一部です。他のものはすでにあります。

| 何から守るか | プロパティ | デフォルト | 超えると |
|---|---|---|---|
| サーバーが応答できる数を超える同時リクエスト | `server.max-concurrent-requests` | 制限なし | `Retry-After` 付きの `503`。接続は次の試行のために開いたまま |
| サーバーが保持すべき数を超える開いた接続 | `server.max-connections` | 制限なし | `Retry-After` 付きの `503`、接続は閉じられる |
| 大きすぎるボディ | `server.max-http-request-body-size` | `10MB` | `413` |
| 何も送らないクライアント、アイドル接続 | `server.connection-timeout` | `60s` | `408` で接続が閉じる。アイドル接続は閉じる |
| 時間のかかりすぎるハンドラー | `server.request-timeout` | 制限なし | `503`。リクエストの `RequestDeadline` が過ぎている |

最後の二つは [タイムアウト](timeouts.md) を、ボディの上限は [組み込みサーバー](index.md#servermax-http-request-body-size) を参照してください。

## 例

```yaml
# lib/resources/application.yml
server:
  max-concurrent-requests: 500
  max-connections: 5000
  retry-after: 2s
```

```properties
server.max-concurrent-requests=500
server.max-connections=5000
server.retry-after=2s
```

同時に 501 番目となるリクエストは、次の応答を受け取ります。

```text
HTTP/1.1 503 Service Unavailable
Retry-After: 2
Content-Type: application/problem+json

{"type":"about:blank","title":"Service Unavailable","status":503,"detail":"The server answers its most requests at a time (500)"}
```

## `server.max-concurrent-requests`

- **型:** `int`。**デフォルト:** 未設定、つまり制限なし。`0` や負の値も制限なしです。
- **動作:** サーバーが一度に応答するリクエストの最大数。その数のリクエストに応答している間に届いたリクエストは、すぐに拒否されます: `503`、`Retry-After`、詳細 `The server answers its most requests at a time (500)`。その接続は次の試行のために開いたままです。
- **イベントストリームは数えません。** イベントストリーム (`text/event-stream`) や NDJSON であるレスポンスは何分も開いたままで、その時間のほとんどは仕事をしません。そのようなリクエストは、制限の中で場所を取りません。
- **空きは自然に戻ります。** リクエストの一つが応答されると、次のリクエストが受け取られます。
- **設定する理由:** [負荷テスト](../../../docs/load-testing.md) から、約束した時間内にサーバーが一度にいくつのリクエストに応答できるかがわかっているとき。その値に設定してください。制限がなければ、すべてのリクエストのレイテンシーが待ち行列とともに伸びます。

## `server.max-connections`

- **型:** `int`。**デフォルト:** 未設定、つまり制限なし。`0` や負の値も制限なしです。
- **動作:** サーバーが開いたままにする接続の最大数。それより多い間は、どの接続で届いたリクエストも、数が制限未満に戻るまですべて拒否されます: `503`、`Retry-After`、詳細 `The server has its most connections open (5000)`、`Connection: close`。応答の後に接続が閉じられます。
- **何も送らない接続も場所を取ります。** アイドル状態のキープアライブ接続も数えます。それらはしばらくすると `server.connection-timeout` が閉じます。
- **接続が拒否されるのは、リクエストを送ったときです。** 開かれたときではありません。サーバーが応答するにはリクエストが必要だからです。制限を超えた接続で何も送らないものは、`server.connection-timeout` まで開いたままです。
- **数えるのは最大で 100 ms に一回です。** 数えるにはすべての接続をたどるからです。その時間内に新しい接続が集中すると、制限を少し超えます。
- **設定する理由:** クライアントが何を送っても送らなくても、開いたままにできるものに上限を設けるため。

## 応答

二つの制限の応答は、接続の扱いを除いて同じです。

- `503 Service Unavailable` の `ProblemDetail`。スターターのすべてのエラーと同じです。
- **`Retry-After`** は秒単位の整数で、`server.retry-after` (デフォルトは `1s`) から決まり、少なくとも `1` です。`500ms` は `1` として送られます。
- **接続。** `server.max-concurrent-requests` を超えたときは開いたままです。サーバーは仕事が多すぎるのであって、接続が多すぎるのではないので、クライアントは同じ接続で再試行します。`server.max-connections` を超えたときは、応答に `Connection: close` があり、接続は閉じられます。多すぎる接続が一つ減ります。
- **他のすべてより先に。** サーバーは、リクエストがフィルター、セキュリティのフィルターチェーン、ハンドラーに届く前に応答します。そのため拒否にはほとんどコストがかからず、アプリケーションの何もそれを見ません。フィルターも、`@ExceptionHandler` も、アクセスルールもです。
- **数えられます。** [タスクマネージャー](../../spring-core-dart/isolates/load.md) の isolate の行には `refused` があります。これはサーバーが起動してから拒否されたリクエストの数で、その `requests` に含まれます。デバッグ機能の [毎秒のリクエスト数](qps.md) には含まれません。そのフィルターはそれらを見ないからです。

## isolate のプールがある場合

どちらの制限も isolate ごとの値です。`server.isolates.count: 4` と `server.max-concurrent-requests: 500` では、サーバー全体は一度に最大 2000 に応答し、ある isolate が満杯でも別の isolate には空きがあることがあります。接続は、受け取った isolate のものになるからです。[isolate のプール](isolates.md) を参照してください。

## Spring (Java) との対応

Spring Boot でいちばん近いキーは Tomcat のもの、`server.tomcat.max-connections` と `server.tomcat.threads.max` です。そこでは、スレッドの数を超えたリクエストはスレッドを待ちます。ここでは何も待ちません。制限を超えると、クライアントはすぐに、戻ってくるべき時間とともに知らされます。`server.max-connections`、`server.max-concurrent-requests`、`server.retry-after` はこのスターター独自のキーです。

## 関連項目

- [タイムアウト](timeouts.md)
- [レート制限](../rate-limiting.md): 一つのクライアントがサーバーのどれだけを使えるか
- [組み込みサーバー](index.md)
- [isolate のプール](isolates.md)
- [毎秒のリクエスト数](qps.md)
- [ProblemDetail](../errors/problem-detail.md)
- [負荷テスト](../../../docs/load-testing.md)
- [すべてのプロパティ](../properties.md)
