過負荷

サーバーには二つの制限を与えられます。一度に応答するリクエストの数と、開いたままにする接続の数です。どちらかを超えると、リクエストはすぐに Retry-After 付きの 503 Service Unavailable で応答されます。デフォルトではどちらの制限も設定されていません。

使う理由

すべてのリクエストを受け取るサーバーが、すべてのリクエストに応答するわけではありません。処理できる量を超えると、リクエストは他のリクエストの後ろで待ちます。それぞれが前のものより遅く応答され、クライアントは諦めて再試行し、待っているリクエストはどれもメモリーを使います。最後には、サーバーは誰にも時間内に応答しなくなります。

満杯であることをすぐに答えるサーバーは、受け取ったリクエストに対して速いままです。クライアントは、自分のタイムアウトの後ではなく数ミリ秒後にそれを知ります。そして Retry-After を尊重するロードバランサーやクライアントは、少し後に、または別の場所に、リクエストを送り直します。

この二つの制限は、サーバーを守るものの一部です。他のものはすでにあります。

何から守るか プロパティ デフォルト 超えると
サーバーが応答できる数を超える同時リクエスト server.max-concurrent-requests 制限なし Retry-After 付きの 503。接続は次の試行のために開いたまま
サーバーが保持すべき数を超える開いた接続 server.max-connections 制限なし Retry-After 付きの 503、接続は閉じられる
大きすぎるボディ server.max-http-request-body-size 10MB 413
何も送らないクライアント、アイドル接続 server.connection-timeout 60s 408 で接続が閉じる。アイドル接続は閉じる
時間のかかりすぎるハンドラー server.request-timeout 制限なし 503。リクエストの RequestDeadline が過ぎている

最後の二つは タイムアウト を、ボディの上限は 組み込みサーバー を参照してください。

例

# lib/resources/application.yml
server:
  max-concurrent-requests: 500
  max-connections: 5000
  retry-after: 2s
server.max-concurrent-requests=500
server.max-connections=5000
server.retry-after=2s

同時に 501 番目となるリクエストは、次の応答を受け取ります。

HTTP/1.1 503 Service Unavailable
Retry-After: 2
Content-Type: application/problem+json

{"type":"about:blank","title":"Service Unavailable","status":503,"detail":"The server answers its most requests at a time (500)"}

server.max-concurrent-requests

server.max-connections

応答

二つの制限の応答は、接続の扱いを除いて同じです。

isolate のプールがある場合

どちらの制限も isolate ごとの値です。server.isolates.count: 4 と server.max-concurrent-requests: 500 では、サーバー全体は一度に最大 2000 に応答し、ある isolate が満杯でも別の isolate には空きがあることがあります。接続は、受け取った isolate のものになるからです。isolate のプール を参照してください。

Spring (Java) との対応

Spring Boot でいちばん近いキーは Tomcat のもの、server.tomcat.max-connections と server.tomcat.threads.max です。そこでは、スレッドの数を超えたリクエストはスレッドを待ちます。ここでは何も待ちません。制限を超えると、クライアントはすぐに、戻ってくるべき時間とともに知らされます。server.max-connections、server.max-concurrent-requests、server.retry-after はこのスターター独自のキーです。

関連項目