大規模モノレポのCIが遅くなった理由(2026年11月18日時点)
- CI
- GitHub Actions
- monorepo
masseater.dev の main へのプッシュのたびに、GitHub Actions で vp run verify が実行される。これをパスしたコミットのみがデプロイされる。11月17日の09:00から13:45 UTCにかけて、この verify の成功した実行には37〜50分かかった。mainへの新規プッシュにより、実行中の検証がキャンセルされる。AIエージェントは1時間に約4回、メインにプッシュする。11月18日までにメインで完了した直近40回の実行のうち、5回が成功し、30回が中止となった。
時間がどこへ消えたか
11月17日、#1310以降の実行に22分かかった。117個のタスクのうち70個がキャッシュにヒットした。vpのグループログには各タスクの開始・終了時刻が記録されているので、そこから各タスクの時間を読み取った。
| タスク | 時間 | 原因 |
|---|---|---|
fallow --skip dupes | 733 s | blobless履歴 |
msch | 457 s | キャッシュ無効 |
check | 402 s | リポジトリ全体にわたる1つのプロセス |
wism#native | 365 s | Rustビルド |
ルート test | 320 s | リポジトリ全体にわたる1つのプロセス |
blobless履歴
verifyジョブは --filter=blob:none を指定して履歴を取得した。fallowは過去1年間にgit log --numstatでホットスポットをカウントしており、bloblessクローンではGitが各コミットのblobをオンデマンドで取得する。120秒で、1,321件のコミットのうち299件を処理した。リポジトリの完全なクローンの実行には7秒と107 MBかかり、その後同じ git log が3.8秒で実行される。現在の verify アクションは全履歴を取得し、733秒はなくなった。
リポジトリ全体を対象とするタスク
check は 1 つのプロセス内のすべてのワークスペースに対して vp check を実行し、ルートの test はすべてのテストを実行する。どのファイルを変えても、両方が全体を実行していた。リポジトリの規約チェッカーであるmschに、msch-changedコマンドが追加された。ワークスペースごとに、独自のファイル、依存するワークスペース、インストールするパッケージ、および共有設定からキーを作成する。次に、キーが変更されたワークスペースのみを渡す。ワークスペースを1つ変更した後、check と test のローカルでの実行に239秒ではなく41秒かかった。check 内の型チェックも、tsrs に移行したことで高速化した。
ロックファイルの変更
Vite Taskはpnpmの仮想ストアの内容をハッシュ化しない。Vitest と vp は代わりに node_modules/.pnpm/lock.yaml を読み込むため、ロックファイルを変更するたびにすべてのワークスペースのテストとビルドが再実行される。mainへのプッシュの35%でロックファイルが変更され、1回あたり21タスク、878秒かかった。直近40回のロックファイル変更において、あるワークスペースが読める依存パッケージの一覧が変わったのは、わずか12.7%であった。masseater.dev は現在、各ワークスペースが読める依存パッケージの一覧をファイルに書き出し、そのファイルをロックファイルの代わりにタスク入力として使用している。
すべてのジョブでセットアップ
mainへのプッシュにより、リポジトリをセットアップするジョブが約18個始まる。デプロイスタックごとに1つと、いくつかのチェックである。各セットアップでは、pnpmストアの復元、ロックファイルの検証、パッケージのインストール、およびRustのセットアップを行った。デプロイジョブのセットアップに131秒、デプロイ自体に17秒かかった。verify ジョブのセットアップに165秒かかった。
| ステップ | 時間 | 変更 |
|---|---|---|
| apt | 67 s | 最初のステップでバックグラウンドで起動した |
| pnpm ストア復元 | 52–56 s | 保持 |
| ロックファイルの検証 | 65–165 s | 検証の記録をキャッシュし、77秒から0.5秒に |
| Swatinem/rust-cache | 21 s | verify および cache から削除 |
| バインドマウントによる2回目のインストール | 85 s | 一度インストールする |
これらの変更後、verifyジョブのセットアップに165秒ではなく101秒かかった。デプロイジョブは、デプロイの並行処理グループで依然として最大7分間待機している。