過負荷
サーバーには二つの制限を与えられます。一度に応答するリクエストの数と、開いたままにする接続の数です。どちらかを超えると、リクエストはすぐに Retry-After 付きの 503 Service Unavailable で応答されます。デフォルトではどちらの制限も設定されていません。
使う理由
すべてのリクエストを受け取るサーバーが、すべてのリクエストに応答するわけではありません。処理できる量を超えると、リクエストは他のリクエストの後ろで待ちます。それぞれが前のものより遅く応答され、クライアントは諦めて再試行し、待っているリクエストはどれもメモリーを使います。最後には、サーバーは誰にも時間内に応答しなくなります。
満杯であることをすぐに答えるサーバーは、受け取ったリクエストに対して速いままです。クライアントは、自分のタイムアウトの後ではなく数ミリ秒後にそれを知ります。そして Retry-After を尊重するロードバランサーやクライアントは、少し後に、または別の場所に、リクエストを送り直します。
この二つの制限は、サーバーを守るものの一部です。他のものはすでにあります。
| 何から守るか | プロパティ | デフォルト | 超えると |
|---|---|---|---|
| サーバーが応答できる数を超える同時リクエスト | server.max-concurrent-requests |
制限なし | Retry-After 付きの 503。接続は次の試行のために開いたまま |
| サーバーが保持すべき数を超える開いた接続 | server.max-connections |
制限なし | Retry-After 付きの 503、接続は閉じられる |
| 大きすぎるボディ | server.max-http-request-body-size |
10MB |
413 |
| 何も送らないクライアント、アイドル接続 | server.connection-timeout |
60s |
408 で接続が閉じる。アイドル接続は閉じる |
| 時間のかかりすぎるハンドラー | server.request-timeout |
制限なし | 503。リクエストの RequestDeadline が過ぎている |
最後の二つは タイムアウト を、ボディの上限は 組み込みサーバー を参照してください。
例
# lib/resources/application.yml
server:
max-concurrent-requests: 500
max-connections: 5000
retry-after: 2s
server.max-concurrent-requests=500
server.max-connections=5000
server.retry-after=2s
同時に 501 番目となるリクエストは、次の応答を受け取ります。
HTTP/1.1 503 Service Unavailable
Retry-After: 2
Content-Type: application/problem+json
{"type":"about:blank","title":"Service Unavailable","status":503,"detail":"The server answers its most requests at a time (500)"}
server.max-concurrent-requests
- 型:
int。デフォルト: 未設定、つまり制限なし。0や負の値も制限なしです。 - 動作: サーバーが一度に応答するリクエストの最大数。その数のリクエストに応答している間に届いたリクエストは、すぐに拒否されます:
503、Retry-After、詳細The server answers its most requests at a time (500)。その接続は次の試行のために開いたままです。 - イベントストリームは数えません。 イベントストリーム (
text/event-stream) や NDJSON であるレスポンスは何分も開いたままで、その時間のほとんどは仕事をしません。そのようなリクエストは、制限の中で場所を取りません。 - 空きは自然に戻ります。 リクエストの一つが応答されると、次のリクエストが受け取られます。
- 設定する理由: 負荷テスト から、約束した時間内にサーバーが一度にいくつのリクエストに応答できるかがわかっているとき。その値に設定してください。制限がなければ、すべてのリクエストのレイテンシーが待ち行列とともに伸びます。
server.max-connections
- 型:
int。デフォルト: 未設定、つまり制限なし。0や負の値も制限なしです。 - 動作: サーバーが開いたままにする接続の最大数。それより多い間は、どの接続で届いたリクエストも、数が制限未満に戻るまですべて拒否されます:
503、Retry-After、詳細The server has its most connections open (5000)、Connection: close。応答の後に接続が閉じられます。 - 何も送らない接続も場所を取ります。 アイドル状態のキープアライブ接続も数えます。それらはしばらくすると
server.connection-timeoutが閉じます。 - 接続が拒否されるのは、リクエストを送ったときです。 開かれたときではありません。サーバーが応答するにはリクエストが必要だからです。制限を超えた接続で何も送らないものは、
server.connection-timeoutまで開いたままです。 - 数えるのは最大で 100 ms に一回です。 数えるにはすべての接続をたどるからです。その時間内に新しい接続が集中すると、制限を少し超えます。
- 設定する理由: クライアントが何を送っても送らなくても、開いたままにできるものに上限を設けるため。
応答
二つの制限の応答は、接続の扱いを除いて同じです。
503 Service UnavailableのProblemDetail。スターターのすべてのエラーと同じです。Retry-Afterは秒単位の整数で、server.retry-after(デフォルトは1s) から決まり、少なくとも1です。500msは1として送られます。- 接続。
server.max-concurrent-requestsを超えたときは開いたままです。サーバーは仕事が多すぎるのであって、接続が多すぎるのではないので、クライアントは同じ接続で再試行します。server.max-connectionsを超えたときは、応答にConnection: closeがあり、接続は閉じられます。多すぎる接続が一つ減ります。 - 他のすべてより先に。 サーバーは、リクエストがフィルター、セキュリティのフィルターチェーン、ハンドラーに届く前に応答します。そのため拒否にはほとんどコストがかからず、アプリケーションの何もそれを見ません。フィルターも、
@ExceptionHandlerも、アクセスルールもです。 - 数えられます。 タスクマネージャー の isolate の行には
refusedがあります。これはサーバーが起動してから拒否されたリクエストの数で、そのrequestsに含まれます。デバッグ機能の 毎秒のリクエスト数 には含まれません。そのフィルターはそれらを見ないからです。
isolate のプールがある場合
どちらの制限も isolate ごとの値です。server.isolates.count: 4 と server.max-concurrent-requests: 500 では、サーバー全体は一度に最大 2000 に応答し、ある isolate が満杯でも別の isolate には空きがあることがあります。接続は、受け取った isolate のものになるからです。isolate のプール を参照してください。
Spring (Java) との対応
Spring Boot でいちばん近いキーは Tomcat のもの、server.tomcat.max-connections と server.tomcat.threads.max です。そこでは、スレッドの数を超えたリクエストはスレッドを待ちます。ここでは何も待ちません。制限を超えると、クライアントはすぐに、戻ってくるべき時間とともに知らされます。server.max-connections、server.max-concurrent-requests、server.retry-after はこのスターター独自のキーです。
関連項目
- タイムアウト
- レート制限: 一つのクライアントがサーバーのどれだけを使えるか
- 組み込みサーバー
- isolate のプール
- 毎秒のリクエスト数
- ProblemDetail
- 負荷テスト
- すべてのプロパティ