大規模なモノレポのCIキャッシュ(2026年11月18日時点)
- CI
- GitHub Actions
- cache
masseater.devのCIでは、5種類のキャッシュが保持されている。どれもどこかの時点で動作しなくなり、それぞれ理由が異なっていた。
| キャッシュ | 内容 | 何が問題だったのか |
|---|---|---|
| GitHub Actions のキャッシュ | 以下すべて、リポジトリあたり10 GB | Renovateのプルリクエストがタスクキャッシュを押し出した |
| pnpmストア (setup-vp) | パッケージファイル | 新しいキーが増えるたびに増え続け、一度も prune されなかった |
| Swatinem/rust-cache | Rustのtarget | 1,501バイトを復元し、一度も保存されなかった |
| mschキャッシュ | 規約チェッカーの結果 | キーには絶対パスとすべてのルートファイルが含まれる |
| Vite Task | vp run タスクの出力 | キーはロックファイルに依存していた |
10 GBの制限
GitHub Actionsはリポジトリごとに10GBのキャッシュを保持し、それを超えると最も長く使われていないエントリから追い出す。11月15日時点でキャッシュの容量は8.1 GBであり、そのうち5.7 GBがRenovateブランチによって保存されたpnpmキャッシュであった。ロックファイルを変更したRenovateのプルリクエストはすべて、インストールを実行し、約1.9 GBの独自のpnpmキャッシュを保存した。これらによってmainのVite Taskキャッシュが押し出された。ロックファイルを変更するジョブはpnpmキャッシュの保存をスキップし、クリーンアップジョブはmain以外の参照のキャッシュを削除する。
pnpmストア
setup-vp は、ロックファイルのキーに基づいて pnpm ストアを復元する。キーが見つからない場合は、最も近い古いキーを復元し、インストールして、新しいキーの下にユニオンを保存する。ロックファイルが使用しなくなったパッケージを削除するものはない。11月17日時点で、mirucordのストアは圧縮後で3.3 GBあり、新規ストアは0.67 GBであった。vp exec pnpm store prune により、6秒間で1.2 GBと274個のパッケージが削除された。インストール後にプルーニングを実行すると、ストアはロックファイルが必要とするサイズで保たれる。
ストアにはpnpmのロックファイル検証記録が含まれていない。そのレコードは、pnpmのキャッシュディレクトリにある2 KBのファイル lockfile-verified.jsonl である。これなしで、vp install --frozen-lockfile は各ジョブにおいてレジストリに対する 2,553 件のロックファイルエントリを検証した。ロックファイルと pnpm-workspace.yaml のハッシュにファイルをキャッシュしたことで、インストールに要した時間は77秒から0.5秒になった。
Rust
Swatinem/rust-cache は、成功時に実行される post ステップでのみ保存する。ほとんどのメインランは次のプッシュでキャンセルされたため、一度も保存されなかった。そのキーは Cargo.lock のハッシュによって固定されていたため、その後の実行では「Cache up-to-date」と報告され、依然として保存されなかった。各実行で1,501バイトの復元に21秒かかった。verify および cache ジョブでは、もはや使用されていない。
また、sccache を試して、CI とクラウドセッション間で target をやり取りしてみた。rustcの引数とCargoのフィンガープリントには絶対パスが含まれているため、別のチェックアウトパスからのキャッシュがヒットすることはない。Vite Taskのキャッシュはパスをまたいでヒットするため、Rustのタスクは代わりにこれを利用する。
msch
mschはリポジトリの規約を確認する。その value-owners の検査は97個のtsconfigプログラムをビルドし、それぞれの結果をキャッシュする。キーには、lockfileやvite.config.tsなど、リポジトリのルートにあるすべてのファイルが含まれており、mainのコミットの約半分がそのうちの1つを変更していた。キーからルートファイルを削除すると、ローカル実行が4分12秒から48秒に短縮される。キーの後続バージョンにはリポジトリの絶対パスも含まれており、mschのいかなる部分に変更を加えても、すべてが無効になった。キーには現在、各チェックのスライスとその下位レイヤーのみが相対パス付きで含まれている。
Vite Task
Vite Taskは、入力が変更されていない場合にタスクの出力を再生する。Vitestとvpはnode_modules/.pnpm/lock.yamlを読み込むため、ロックファイルに変更があればテストやビルドのたびに再実行される。masseater.dev では、各ワークスペースに自分が読める依存パッケージの一覧を書いたファイルが入力として与えられるようになった。詳細は 大規模なモノレポのCIが遅くなった理由に記載されている。
クラウドセッションは、空のタスクキャッシュから開始された。main の専用 cache ジョブが、GitHub アーティファクトとしてセッションにキャッシュを配信した。新規セッションの検証時間は1,217秒から621秒に短縮され、88個のタスクのうち82個がキャッシュにヒットした。セッションは現在、Cloudflare上のリモートキャッシュも読み込むようになっている。詳細は Cloudflare上のVite Taskリモートキャッシュを参照。