すべてを測定する

  • OpenTelemetry
  • Measurement
  • CI
  • Cloudflare

デプロイするすべてのWorkerはトレースとログを送信し、すべてのEffectプログラムはOTLPで送信されるスパンに作業を包んでいる。ここではその部分は前提としている。コードの大部分はAIエージェントによって記述されており、エージェントは本番環境でコードが何をしているかを把握できない。エージェントが推測で穴を埋め、一歩後にはその推測が事実と区別できなくなる。トレースだけではこれを防げない。これを防ぐのは、インストルメンテーションの域を超えた一連の習慣であり、本記事ではそれらの習慣について述べる。

修正前に測定する

2026年11月3日、MCPポータルの壊れた接続をエージェントに修正させた。エージェントは、ポータルが何を行っているのかを読み取る術もなく、推測による修正を次々と行った。それ以来、あらゆる修正の第一歩は、本番環境でも読み取り可能にすることだ。Workerのログやトレースが実際に届いているかを確認し、届いていない場合はインストルメンテーションを追加する。仮説とそれを証明する値は測定前に記録され、変更は結果のみで判断される。ノートPCやテストから得られる数値は、測定が機能していることを示すに過ぎない。それらは判断の根拠にはならない。

テレメトリがプロセスから抜けることを検証する

エクスポートをサイレントに停止させるインストルメンテーションは退行であり、テストで検知されない限り、何も検知されない。vitest-otlpは、各テストファイルに対してOTLPレシーバーを起動してOpenTelemetry SDKを向けるため、テストは実際にネットワークを横断したスパンに対してアサーションを行う。semconv: true を指定すると、エクスポートされたテレメトリはOpenTelemetry Weaverによるセマンティック規約とのライブチェックでも検証され、違反があった場合にはテスト実行が失敗する。

ビルドを計測する

私のモノレポの vp run verify は、本番環境のコードと同じスパンで計測されている。スパンの結果、各 vp プロセスがルート設定の読み込みに 2.9 秒を費やしており、また msch チェックのキャッシュがキーに絶対パスを格納していたため、msch の任意のファイルを変更するとキャッシュ全体がコールド状態になった。いずれも総時間だけでは見えなかった。

CI自体は、毎朝スケジュールされたタスクによってチェックされる。mainでの直近1週間の実行期間を読み取り、成功した実行の多くが10分を超えた状態を異常として処理する。11月17日の verify の実行には37〜50分かかった。それ以降の各修正は、数値によって判定されている。

変更変更前変更後
tsrs での型検査193〜212 秒、10.8 GiB100〜108 秒、最大 7.7 GiB
verify ジョブのセットアップ165 秒101 秒
CI の sccache、Rust のヒット率0 %(初回)95 %(ヒット 2,006 件、ミス 101 件)
新しいセッションでのリモートタスクキャッシュヒットなし138 タスク中 55 件がヒット、1,949 秒短縮

sccacheの変更は、mainで測った効果が小さかった場合に削除されるという条件の下で採用された。ヒットしないキャッシュは単なるコストであるため、ヒット率は、それが残留するかどうかを決定する数値となる。

請求書の金額を測定する

Cloudflareは使用量に応じて課金され、AIモデルの呼び出しには実行のたびに費用がかかる。すべての呼び出しはAI Gatewayを経由し、ツール、リポジトリ、コンテキストのメタデータが付与されるため、コストを呼び出し元まで遡って追跡できる。定常状態では、私のdecision lintは1日あたり4,477件のリクエストを行い、その72%がキャッシュヒットで、1日あたり0.74ドル、1ファイルあたり約0.0006ドルだった。キャッシュが機能する前の11月15日には、同じlintのコストが1日で5.41ドルかかった。

一部の呼び出しが記録元をスキップしていては、アトリビューションだけでは不十分だ。11月17日、Workers AIのモデル推論回数とAI Gatewayのリクエスト回数を、モデルごとに比較した。その結果、ゲートウェイをバイパスする呼び出し元が2件見つかり、いずれもその背後に移動し、1日あたりの支出上限によって制限されるようになった。スケジュール済みタスクは毎日アカウントの利用状況を読み取り、Workers Paidプランに含まれる利用量と照合する。

後で問われる内容を記録しておく

質問はデータの後に提示される。未実施の調査において何を記録するかを事前に決定する者はいないため、ロギングはプラットフォームのデフォルト設定のままとなる。すなわち、呼び出し元のないリクエスト、請求書が届く前に期限が切れるログ、そして一部の呼び出しが迂回するゲートウェイである。誰がいつコストやエラーを引き起こしたかなど、後から誰かが尋ねる可能性のある各質問について、私は設定ではなく稼働中のシステム上で4つの項目を確認する。イベントはサンプリングして削除されることなく記録される。レコードには、フィルタリング可能なフィールドで呼び出し元の名前が付与される。ストアは少なくとも質問が投げかけられるまで記録を保持し、コストの場合は次の請求書の後までとなる。そして、すべての呼び出しは記録元に到達し、それは請求書のような独立したカウントと比較されることで示される。各回答は、当日のデータに基づいて回答するクエリを実行することで証明される。

各修正を測定値に変換する

PRでバグが修正されると、そのバグは解決済みとして扱われ、本来であれば最初に報告されるべきだった不足していた計測値はそのまま欠落したままとなる。そこで私は修正済みのPRを読み、どの計測値があればバグを防げたのか、あるいはより早い段階で検知できたのかを確認している。最初のレビューでは、本番環境での5xxレスポンスや例外(あるアプリからの503、オーナーサインインからの500、クレデンシャルブローカーログイン時のエラーなど)が、自分で確認するまで記録されていなかったことが判明した。現在、すべてのWorkerでCloudflareのWorkers Issuesが有効になっており、誰も監視しなくてもエラーがグループ化される。2回目のレビューでは、デプロイ時だけ発生していたビルド失敗が見つかったため、それらのアプリの検証はビルドに依存させた。

エージェントを計測する

エージェント自身の作業量も計測されている。11月17日には、約40本のスレッドが立ち上がり、私のリポジトリ間で194件のPRがマージされた。1時間ごとの監査スレッドでは、停滞したスレッド、プッシュしたマージ、および集約したスレッドをカウントしており、24回の実行で23件の停滞が確認された。こうしたカウントがなければ、作業がどこで止まっていたかではなく、単に多くの事象が発生したということしか分からなかっただろう。

次に行うこと

一部の計測値には、まだ行き先が決まっていないものがある。CIはジョブとステップの所要時間しか送信しないため、CIで実行したmschのスパンが失われ、セッションで実行した時にのみそれらを読み取ることになる。もう1つの方向性は、後から判定するのではなく、計測値そのものにエージェントを駆動させることだ。OpenTelemetryプロジェクトでは最近、Weaverのlive-checkを合否判定としてGenAIフレームワークを計測するエージェントチームについて述べられている。違反があれば作業はコーディングエージェントに返送され、クリーンな実行後はsoakテスト1へと進む。このループは私のチェックにも当てはまる。mschのルール、vitest-otlpのテスト、CIの予算は、エージェントが反論できない計測値だ。こうしたものが増えれば増えるほど、私のコードが推測に頼ることは少なくなる。

出典

  1. Building an Agent Harness for OTel Instrumentation with GenAI Semantic Conventions and Weaver, OpenTelemetry Blog ↩