タスク
JNLI 含意関係- macro-F1 で採点
- test 2,424 件を採点、hard 10 件は除外
- 正解は人のラベル（Opus 5.5 との一致率 91.5%）
- * は選択肢ごとに Noul で聞いた結果
業務ルール判定- balanced accuracy で採点
- test 497 件を採点、hard 3 件は除外
- 正解は Opus 5.5 が 3 回とも一致したラベル
総合指数（参考）
指数指数と費用 | | |
|---|
| Decider V1.1 27B | 80.7 | $0.0178 |
|---|
| Mercury Decide | 75.3 | $0.0167 |
|---|
| Liquid d1 | 67.3 | $0.0312 |
|---|
| Solar Decide | 65.4 | $0.0843 |
|---|
| Jev 1.13 | 64.0 | $0.0826 |
|---|
| Clef | 61.3 | $0.2482 |
|---|
| Microsoft-Decision-1 | 55.0 | $0.0308 |
|---|
| Drex v1.5 | 53.4 | $0.0281 |
|---|
| GPT-6 Luna Decisions | 53.4 | $0.1193 |
|---|
| Clef Omni | 44.2 | $0.1746 |
|---|
英語との比較（参考）
英語（DecideBench）と日本語（業務ルール判定）の正解率 | | | | | | |
|---|
| Jev 1.13 | 98.0 | 77.5 | -20.5 | 96.0 | 55.5 | -40.5 |
|---|
| Clef | 94.0 | 75.3 | -18.7 | 88.0 | 51.0 | -37.0 |
|---|
| Drex v1.5 | 90.0 | 68.8 | -21.2 | 80.5 | 37.2 | -43.3 |
|---|
| GPT-6 Luna Decisions | 97.3 | 75.9 | -21.4 | 94.5 | 52.2 | -42.3 |
|---|
| Clef Flash | 85.3 | 64.6 | -20.7 | 72.0 | 32.0 | -40.0 |
|---|
| Kev 4B | 78.3 | 59.0 | -19.3 | 65.5 | 19.0 | -46.5 |
|---|
- 英語は DecideBench の Choice 400 問（200 対）、日本語は業務ルール判定の Noul 500 問。どちらも 1 か所だけ違う事例の対で、対の正解率は両方に正解した割合
- 言語のほかに問題の中身も形式も違うので、差のすべてが言語によるものとは言えない
- DecideBench は選択肢ごとに解いた例を 1 つずつ見せる。JEV と GPT-6 Luna は例なしでも正解率がほぼ変わらない（DecideBench の zero-shot 列）
- DecideBench の Kev-4B は自前ホスト、JEV と Clef は AI Space 経由。このベンチはすべて OpenRouter 経由
- 差は日本語から英語を引いたポイント。英語の値は DecideBench の結果ファイルから計算し直し、README の表と一致することを確かめた
DecideBench（a5e3007、2026-10-12 取得、CC BY 4.0）