h56mの検出器の構築に3秒かかった理由

  • Rust
  • Kingfisher
  • Vectorscan
  • シークレット検出

h56mは、Kingfisherのkingfisher-rulesとkingfisher-scannerをベースにRustで書かれたシークレット検出器である。TOMLのBetterleaksプリセットから474個のルールを読み込む。Claude Codeの会話をwatashi-mcpに送信するwatashiは、送信前にh56mでシークレットをマスクする。

3秒の内訳

watashiをh56mに切り替えたら、watashiのテストがタイムアウトするようになった。テストファイル全体にかかった時間は214秒だった。テストではテストごとに新しい検出器が構築されたため、検出器1つを構築するのにかかる時間を段階的に計測した。

ステージ所要時間
ディスクキャッシュからメインのVectorscanデータベースを読み込み、ルールの正規表現をコンパイルする60 ms
BetterleaksのmatchesAnyおよびfindMatchフィルタ向けのVectorscanデータベースのコンパイル約3秒

kingfisher-rules 3.2.1 は、メインの Vectorscan データベースを ~/.cache/kingfisher/rule-cache に保存し、次の起動時に再利用する1。フィルタデータベースはこのキャッシュに格納されず、BetterleaksFilterEngine::compile_for_rules は検出器がビルドされるたびにそれらを再コンパイルする2。3秒の大半はこのコンパイルだった。

プロセス内で一度だけビルドする

h56m で、コンパイル済みルールのデータベースをプロセス内テーブルで保持するようにした。テーブルのキーはルール設定だ。同じ設定で2つ目の検出器をビルドすると、1つ目の検出器のデータベースが再利用される。この変更で、watashiのテストは214秒から5秒になった(#1319)。

残りの3秒

このキャッシュはプロセス終了時に消える。watashiはClaude Codeのフックとして動作しており、フックが呼び出されるたびに新しいプロセスが起動するため、呼び出しごとに3秒分のコストが一度発生する。フィルターデータベースは kingfisher-rules 内に構築されているため、h56m の側ではこれを解消できない。Kingfisherに、2つのフィルタデータベースをメインのものと同じキャッシュに保存するようリクエストを書いた。それが入れば、短時間のプロセスであっても、メインキャッシュと同じ約60msで起動できる。

出典

  1. kingfisher-rules 3.2.1 の src/rules_database.rs ↩

  2. kingfisher-rules 3.2.1 の src/betterleaks_filter.rs ↩