負荷とスケーリング

このフレームワークで作ったサーバーは、毎秒いくつのリクエストに応答し、それを超えると何が起きるのでしょうか。リポジトリには、それを測るツール、測られるベンチサーバー、そして両方を実行する夜間ジョブがあります。このページでは、その数値が何を意味するかと、自分の数値の取り方を説明します。

使う理由

測っていない限界は、推測にすぎません。負荷のかかったサーバーは、二つの数値で表せます。

この二つの間では、サーバーは遅いものの生きています。二つ目を超えると、そうではありません。両方を知っていれば、isolate をいくつ動かすか、満杯のサーバーにすばやく拒否させる 制限 をどこに設定するか、いつマシンを増やすかがわかります。

計測するもの

ベンチサーバー (tool/load_bench) は、シナリオごとにエンドポイントを持ち、それぞれコストが異なります。

シナリオ コストになるもの
text サーバーだけ: ルーティング、短い応答
json、json-post ObjectMapper: 50 個のオブジェクトの書き出し、一つの読み取りとバリデーション
secure すべてのリクエストに Bearer トークンがある、セキュリティフィルターチェーン
db-read、db-write SQLite 上のリポジトリ
static 静的リソース
download-*、upload-* 数キロバイト、数メガバイト、数百メガバイトのファイル。ストリームで送る。アップロードはマルチパートと生のボディの両方

小さなリクエストは、レート (毎秒のリクエスト数) のステップで負荷をかけ、各ステップを持続できたかどうかで判定します。大きな転送は、同時接続数のステップで負荷をかけ、毎秒のメガバイト数とサーバーのメモリで判定します。メモリは平らなままでなければなりません。ファイルをメモリに保持するサーバーは、最初の大きなファイルで失敗します。

スイープのほかに、次のものがあります。

本当のことを伝えるレイテンシー

負荷は oha から、固定のレートで、そのレイテンシー補正を有効にして送ります。補正がないと、負荷生成ツールは遅い応答を待ってから次のリクエストを送ります。サーバーが遅れると、生成ツールも律儀に一緒に遅くなり、溺れていたサーバーについてレポートは良いレイテンシーを示します (「coordinated omission」の問題)。補正があると、リクエストは送られるはずだった時点から計時されます。

実行する

brew install oha                      # または: cargo install oha --locked
git clone https://github.com/farum-azula/spring_core_dart
cd spring_core_dart && dart pub get

dart run tool/load.dart --scenarios text,json        # 二つのシナリオ
dart run tool/load.dart --scenarios api --isolates 1,2,4
dart run tool/load.dart --scenarios scaling,cpu,overload

ツールは、ベンチサーバーをネイティブの実行ファイルにビルドし、起動し、ステップを実行し、停止して、report.md と report.json を書き出します。名前にドットを含むオプションは、どれもサーバーのプロパティです: --server.isolates.count=4。--compare は、複数のレポートを横に並べます。

数値はマシンと、そのマシンがほかに何をしているかに左右されます。同じマシンでの実行どうしを比べ、絶対値ではなく比率を比べてください。サーバーの横で負荷生成ツールを動かすノート PC は、その両方を測っています。

完全なマニュアルは、リポジトリの docs/load-testing.md です。

1 台のノート PC での計測結果

2026 年 11 月 10 日の 1 回の実行です。10 コアの Apple M5、macOS、Dart 3.13、ネイティブの実行ファイルにしたベンチサーバー、同じマシン上で 2 スレッドの oha、50 接続、5 秒のステップ。負荷生成ツールも動かしているマシンでの短いステップなので、絶対値ではなく比率を読んでください。

シナリオ isolate 持続できる最大の QPS 限界点 メモリのピーク
text 1 39,980 55,000/s 62 MB
text 2 74,919 100,000/s 64 MB
text 4 74,972 130,000/s 67 MB
json 1 4,499 8,500/s 64 MB
json 2 8,497 16,000/s 66 MB
json 4 11,495 21,000/s 90 MB

CPU を使う処理。1 リクエストあたり 25 ms のハッシュ計算を毎秒 20 リクエストで行い、その横で軽いリクエストを計測しました。

処理を実行する場所 軽いリクエストの p99 毎秒の処理数の最大
リクエストの isolate 24.4 ms 44.8
タスクエグゼキューター 0.26 ms 163

満杯のサーバーと、遅いクライアント。

確認 起きたこと
server.max-concurrent-requests=8、それぞれ 50 ms のリクエストを毎秒 600 74 % が Retry-After 付きの 503 で 0.15 ms (p99 0.6 ms) で応答された。受け付けられたものは 51 ms で、サーバーが空いているときと同じ
server.max-connections=16、64 接続 制限を超えた接続は 503 と Connection: close を受け取った。p99 0.8 ms
ヘッダーを 0.5 秒ごとに 1 行ずつ送る 200 接続、server.connection-timeout=2s 3.8 秒後にすべて切断された。メモリは 3 MB。ほかのリクエストに影響なし
止まったボディ 2 秒後に 408
0.5 秒ごとに 1 バイトずつ少しずつ届くボディ 11 秒後もまだ開いている: タイムアウトは無通信を数え、少しずつ届くものは無通信ではない。上限を設けるには server.request-timeout を設定する

計測していないもの: 変更後の自動ポリシー、複数の isolate での転送、5 秒より長いステップ。

データベースのシナリオ(db-read、SQLite 上のリポジトリ、128 接続): 持続できる QPS は isolate 1 つで 17,994、2 つで 37,987、4 つで 59,974 でした(ピークは 23,322、45,091、64,099 で、4 つで 1 つの 2.75 倍)。4 つの isolate はリクエストをそれぞれ 4 分の 1 ずつ受けました。書き込みはスケールしません。1 つでも 4 つでも毎秒 12,000 です。SQLite の書き込みは 1 つだけだからです。

同じシナリオを PostgreSQL 17 で(同じノート PC 上の Docker、3 コアを割り当て、isolate ごとに 8 接続のプール):

isolate 読み取り: 持続できる QPS 読み取り: ピーク 書き込み: 持続できる QPS 書き込み: ピーク
1 3,997 5,757 1,998 2,702
2 7,997 9,332 1,998 4,014
4 11,991 13,056 3,996 5,812

ここでは書き込みもスケールします(ピークで isolate 1 つの 2.15 倍。SQLite では横ばい)。読み取りは 4 つでもまだ伸びています。絶対値は SQLite の数分の一です。SQLite はプロセス内のライブラリで、PostgreSQL はネットワーク越しのサーバー、ここでは macOS 上で Docker が動かす仮想マシンを経由しています。isolate 4 つのとき、サーバーが使ったのは 10 コアのうち約 2 コア、PostgreSQL には 3 コア: 限界はデータベースで、フレームワークではありません。実際のデータベースサーバーでも残るのは比率のほうです。

負荷をかけたままのスケーリング(GET /json、isolate 1 つあたり毎秒約 5,300、要求は 7,900):

ステップ 起きたこと
手動で 1 つから 3 つへ 落ち込みなし。新しい isolate は 0.02 秒で準備でき、次の 2 秒のウィンドウで p99 は 650 ms から 1.5 ms に下がった
3 つから 1 つへ 約 13,300 件のうち 3 件が失われた。去る isolate が閉じたばかりの keep-alive 接続に、すでに送られていたリクエスト。送り直すクライアントは応答を得る
scaling: auto、200 接続 過負荷の開始から 3.8 秒後に増え、終了から 9.6 秒後に減った。どちらも 1 ステップ
scaling: auto、50 接続 スケールしなかった。遅れが当時のしきい値(10 ms)ちょうどにとどまったため。その後デフォルトは 5 ms になり、タイマー自体の遅れは差し引かれる。再測定はしていない

転送(isolate 1 つ): 512 MB のダウンロードは毎秒 3.6 GB、メモリーは 75 MB で、10 MB のときと同じです。アップロードはサイズ(10 MB でも 512 MB でも)に関係なくメモリーを約 220 MB 押し上げ、実行中には戻りません。multipart のアップロードは、同じファイルを生のボディで送る場合より約 6 倍遅くなります(毎秒 304 MB 対 1,892 MB)。

関連項目