負荷とスケーリング
このフレームワークで作ったサーバーは、毎秒いくつのリクエストに応答し、それを超えると何が起きるのでしょうか。リポジトリには、それを測るツール、測られるベンチサーバー、そして両方を実行する夜間ジョブがあります。このページでは、その数値が何を意味するかと、自分の数値の取り方を説明します。
使う理由
測っていない限界は、推測にすぎません。負荷のかかったサーバーは、二つの数値で表せます。
- 持続できる最大の QPS: ほとんどエラーなしに、時間内 (p99 レイテンシーがしきい値未満。デフォルトは 100 ms) に応答できる毎秒リクエスト数の最大値。
- 限界点: サーバーが追いつけなくなる負荷 (タイムアウト、拒否された接続、秒単位の p99) と、負荷がなくなったときに回復するかどうか。
この二つの間では、サーバーは遅いものの生きています。二つ目を超えると、そうではありません。両方を知っていれば、isolate をいくつ動かすか、満杯のサーバーにすばやく拒否させる 制限 をどこに設定するか、いつマシンを増やすかがわかります。
計測するもの
ベンチサーバー (tool/load_bench) は、シナリオごとにエンドポイントを持ち、それぞれコストが異なります。
| シナリオ | コストになるもの |
|---|---|
text |
サーバーだけ: ルーティング、短い応答 |
json、json-post |
ObjectMapper: 50 個のオブジェクトの書き出し、一つの読み取りとバリデーション |
secure |
すべてのリクエストに Bearer トークンがある、セキュリティフィルターチェーン |
db-read、db-write |
SQLite 上のリポジトリ |
static |
静的リソース |
download-*、upload-* |
数キロバイト、数メガバイト、数百メガバイトのファイル。ストリームで送る。アップロードはマルチパートと生のボディの両方 |
小さなリクエストは、レート (毎秒のリクエスト数) のステップで負荷をかけ、各ステップを持続できたかどうかで判定します。大きな転送は、同時接続数のステップで負荷をかけ、毎秒のメガバイト数とサーバーのメモリで判定します。メモリは平らなままでなければなりません。ファイルをメモリに保持するサーバーは、最初の大きなファイルで失敗します。
スイープのほかに、次のものがあります。
- isolate: 同じシナリオを、サーバーの isolate が一つ、二つ、四つのときで計測し、isolate を一つ増やすごとにどれだけ増えるかを見ます。
- 負荷がかかった状態でのスケーリング: 一定の負荷のもとで isolate を追加、削除したとき (落ち込み、新しい isolate が役に立つまでの時間、ドレイン中のエラー) と、負荷を徐々に上げたときの自動ポリシー (間に合うようにスケールするか、ばたつくか)。
- CPU を使う処理: リクエストの isolate での遅い計算と、タスクエグゼキューター での同じ計算を比べ、その横で軽いリクエストを計測します。
- 過負荷: 満杯のサーバーが何をどれだけ速く応答するか (
server.max-concurrent-requests、server.max-connections)、遅いヘッダー、遅いボディ、大きすぎるボディ。
本当のことを伝えるレイテンシー
負荷は oha から、固定のレートで、そのレイテンシー補正を有効にして送ります。補正がないと、負荷生成ツールは遅い応答を待ってから次のリクエストを送ります。サーバーが遅れると、生成ツールも律儀に一緒に遅くなり、溺れていたサーバーについてレポートは良いレイテンシーを示します (「coordinated omission」の問題)。補正があると、リクエストは送られるはずだった時点から計時されます。
実行する
brew install oha # または: cargo install oha --locked
git clone https://github.com/farum-azula/spring_core_dart
cd spring_core_dart && dart pub get
dart run tool/load.dart --scenarios text,json # 二つのシナリオ
dart run tool/load.dart --scenarios api --isolates 1,2,4
dart run tool/load.dart --scenarios scaling,cpu,overload
ツールは、ベンチサーバーをネイティブの実行ファイルにビルドし、起動し、ステップを実行し、停止して、report.md と report.json を書き出します。名前にドットを含むオプションは、どれもサーバーのプロパティです: --server.isolates.count=4。--compare は、複数のレポートを横に並べます。
数値はマシンと、そのマシンがほかに何をしているかに左右されます。同じマシンでの実行どうしを比べ、絶対値ではなく比率を比べてください。サーバーの横で負荷生成ツールを動かすノート PC は、その両方を測っています。
完全なマニュアルは、リポジトリの docs/load-testing.md です。
1 台のノート PC での計測結果
2026 年 11 月 10 日の 1 回の実行です。10 コアの Apple M5、macOS、Dart 3.13、ネイティブの実行ファイルにしたベンチサーバー、同じマシン上で 2 スレッドの oha、50 接続、5 秒のステップ。負荷生成ツールも動かしているマシンでの短いステップなので、絶対値ではなく比率を読んでください。
| シナリオ | isolate | 持続できる最大の QPS | 限界点 | メモリのピーク |
|---|---|---|---|---|
text |
1 | 39,980 | 55,000/s | 62 MB |
text |
2 | 74,919 | 100,000/s | 64 MB |
text |
4 | 74,972 | 130,000/s | 67 MB |
json |
1 | 4,499 | 8,500/s | 64 MB |
json |
2 | 8,497 | 16,000/s | 66 MB |
json |
4 | 11,495 | 21,000/s | 90 MB |
- 二つ目の isolate は、両方をほぼ 2 倍にします。
textで 1.87 倍、jsonで 1.89 倍です。 - 四つの isolate は、
jsonでは一つのときの 2.55 倍になり、textでは二つのときを超えません。毎秒 75,000 リクエストでは、負荷生成ツールの 2 スレッドが限界になっている可能性が高く、ステップも粗いものでした。この実行では、サーバーの限界と生成ツールの限界を区別できません。 - 限界点を超えた後、サーバーは毎回、負荷がなくなってから数ミリ秒以内に再び応答しました。
CPU を使う処理。1 リクエストあたり 25 ms のハッシュ計算を毎秒 20 リクエストで行い、その横で軽いリクエストを計測しました。
| 処理を実行する場所 | 軽いリクエストの p99 | 毎秒の処理数の最大 |
|---|---|---|
| リクエストの isolate | 24.4 ms | 44.8 |
| タスクエグゼキューター | 0.26 ms | 163 |
満杯のサーバーと、遅いクライアント。
| 確認 | 起きたこと |
|---|---|
server.max-concurrent-requests=8、それぞれ 50 ms のリクエストを毎秒 600 |
74 % が Retry-After 付きの 503 で 0.15 ms (p99 0.6 ms) で応答された。受け付けられたものは 51 ms で、サーバーが空いているときと同じ |
server.max-connections=16、64 接続 |
制限を超えた接続は 503 と Connection: close を受け取った。p99 0.8 ms |
ヘッダーを 0.5 秒ごとに 1 行ずつ送る 200 接続、server.connection-timeout=2s |
3.8 秒後にすべて切断された。メモリは 3 MB。ほかのリクエストに影響なし |
| 止まったボディ | 2 秒後に 408 |
| 0.5 秒ごとに 1 バイトずつ少しずつ届くボディ | 11 秒後もまだ開いている: タイムアウトは無通信を数え、少しずつ届くものは無通信ではない。上限を設けるには server.request-timeout を設定する |
計測していないもの: 変更後の自動ポリシー、複数の isolate での転送、5 秒より長いステップ。
データベースのシナリオ(db-read、SQLite 上のリポジトリ、128 接続): 持続できる QPS は isolate 1 つで 17,994、2 つで 37,987、4 つで 59,974 でした(ピークは 23,322、45,091、64,099 で、4 つで 1 つの 2.75 倍)。4 つの isolate はリクエストをそれぞれ 4 分の 1 ずつ受けました。書き込みはスケールしません。1 つでも 4 つでも毎秒 12,000 です。SQLite の書き込みは 1 つだけだからです。
同じシナリオを PostgreSQL 17 で(同じノート PC 上の Docker、3 コアを割り当て、isolate ごとに 8 接続のプール):
| isolate | 読み取り: 持続できる QPS | 読み取り: ピーク | 書き込み: 持続できる QPS | 書き込み: ピーク |
|---|---|---|---|---|
| 1 | 3,997 | 5,757 | 1,998 | 2,702 |
| 2 | 7,997 | 9,332 | 1,998 | 4,014 |
| 4 | 11,991 | 13,056 | 3,996 | 5,812 |
ここでは書き込みもスケールします(ピークで isolate 1 つの 2.15 倍。SQLite では横ばい)。読み取りは 4 つでもまだ伸びています。絶対値は SQLite の数分の一です。SQLite はプロセス内のライブラリで、PostgreSQL はネットワーク越しのサーバー、ここでは macOS 上で Docker が動かす仮想マシンを経由しています。isolate 4 つのとき、サーバーが使ったのは 10 コアのうち約 2 コア、PostgreSQL には 3 コア: 限界はデータベースで、フレームワークではありません。実際のデータベースサーバーでも残るのは比率のほうです。
負荷をかけたままのスケーリング(GET /json、isolate 1 つあたり毎秒約 5,300、要求は 7,900):
| ステップ | 起きたこと |
|---|---|
| 手動で 1 つから 3 つへ | 落ち込みなし。新しい isolate は 0.02 秒で準備でき、次の 2 秒のウィンドウで p99 は 650 ms から 1.5 ms に下がった |
| 3 つから 1 つへ | 約 13,300 件のうち 3 件が失われた。去る isolate が閉じたばかりの keep-alive 接続に、すでに送られていたリクエスト。送り直すクライアントは応答を得る |
scaling: auto、200 接続 |
過負荷の開始から 3.8 秒後に増え、終了から 9.6 秒後に減った。どちらも 1 ステップ |
scaling: auto、50 接続 |
スケールしなかった。遅れが当時のしきい値(10 ms)ちょうどにとどまったため。その後デフォルトは 5 ms になり、タイマー自体の遅れは差し引かれる。再測定はしていない |
転送(isolate 1 つ): 512 MB のダウンロードは毎秒 3.6 GB、メモリーは 75 MB で、10 MB のときと同じです。アップロードはサイズ(10 MB でも 512 MB でも)に関係なくメモリーを約 220 MB 押し上げ、実行中には戻りません。multipart のアップロードは、同じファイルを生のボディで送る場合より約 6 倍遅くなります(毎秒 304 MB 対 1,892 MB)。