日本語で decision model を測るベンチ mst-ja-decision-bench
- decision-model
- ベンチマーク
- OpenRouter
decision model は、文章を生成せず、選択肢・はい／いいえ・スコアのどれかを確率つきで返すだけのモデルである。OpenRouter から 1 回 0.0001 USD に満たない費用と 200ms 前後の時間で呼べる。この費用と速さなら、これまで人か大きな LLM に任せていた「この関数は個人情報をログに出しているか」のような判断を、lint やワークフローの部品として毎回走らせられる。この可能性をかなり強く感じていて、自然文のルールを decision model に判定させる oxlint-plugin-decision などを作ってきた。
ところが、ルールの問いや判定する文章が日本語になると、明らかに性能が低かった。英語の評価では 9 割以上当てるモデルが日本語ではどれくらい当たるのか、どのモデルなら日本語で使えるのかが気になって、自分で測ることにした。それが mst-ja-decision-bench で、結果はリーダーボードで公開している。
英語との差
英語の公開ベンチ DecideBench にも載っている 6 モデルについて、英語の正解率と、このベンチの業務ルール判定の正解率を並べた。どちらも 1 か所だけ違う事例を対にしていて、対の正解率は対の両方に正解した割合である。
| モデル | 英語の正解率 | 日本語の正解率 | 英語の対の正解率 | 日本語の対の正解率 |
|---|---|---|---|---|
| Jev 1.13 | 98.0 | 77.5 | 96.0 | 55.5 |
| GPT-6 Luna Decisions | 97.3 | 75.9 | 94.5 | 52.2 |
| Clef | 94.0 | 75.3 | 88.0 | 51.0 |
| Drex v1.5 | 90.0 | 68.8 | 80.5 | 37.2 |
| Clef Flash | 85.3 | 64.6 | 72.0 | 32.0 |
| Kev 4B | 78.3 | 59.0 | 65.5 | 19.0 |
どのモデルも正解率で 20 ポイント前後、対の正解率では 40 ポイント前後落ちている。英語は Choice の 400 問、日本語は「はい／いいえ」で答える 500 問である。問題の中身と形式が違うため、差のすべてを言語のせいにはできない。モデルの順位は英語と変わらないが、英語で 9 割を超えるモデルでも、日本語の対の正解率は 5 割台にとどまる。
2 つのタスク
1 つめは JGLUE の JNLI で、2 つの文の関係を含意・矛盾・中立から選ばせる。人の付けた正解がある既存のデータセットなので、採点に私の判断が入らない。
2 つめの業務ルール判定は、Claude Opus 5.5 に作らせた架空の会社の社内規程と、その規程に適合するかを問う事例 500 件でできている。lint のルールと同じく、決まりごとを読んで目の前の事例が当てはまるかを判定する問題である。次の 2 件は経費精算規程の事例で、会食の出席者の人数だけが違い、答えが逆になる。
営業課の一般職の社員が取引先との会食費3万円を立て替えた。出席者は取引先2名と自社2名の計4名だった。社員は会食の翌週、領収書の写しを添付して経費精算システムで申請した。事前に部長の承認は得ておらず、所属長の営業課長が精算を承認し、経理部が確認して支払った。
もう一方の事例は「取引先1名と自社1名の計2名」で、問いはどちらも「この取引先との会食費の精算は、承認の手続きを含めて規程に適合しているか」である。規程には、取引先との飲食は 1 人あたり 1 万円までで、超えるときは事前に部長の承認が要るという条がある。4 名なら 1 人 7,500 円で適合し、2 名なら 1 人 15,000 円で適合しない。どの事例も、このように規程の 2 つ以上の条を組み合わせないと判断できない。
業務ルール判定の正解ラベルは Opus 5.5 が付けたもので、スコアは本当の正しさではなく Opus 5.5 のラベルとの一致率になる。Opus 5.5 には JNLI の 200 件にもラベルを付けさせ、人の正解と 91.5% 一致した。この数字を、Opus 5.5 のラベルがどれくらい間違うかの目安にしている。
採点
採点のルールは Jev Decision Index に合わせ、問題文は全モデルで同じにして、棄権やエラーは不正解として数えた。表の skill は、ランダムに答えたときを 0、全問正解を 100 にした値である。業務ルール判定は「はい」と「いいえ」が半々なので、適当に答えても正解率は 50% 前後になり、正解率のままではモデルの差が見えにくい。skill ならランダムと区別できないモデルは 0 に近くなる。
結果
2026年10月11日に 16 モデルを全件測った結果を、2 つのタスクの skill の平均（指数）の順に並べた。
| モデル | 指数 | JNLI の skill | 業務ルール判定の skill | 業務ルール判定の対の正解率 | 全タスクの費用 (USD) |
|---|---|---|---|---|---|
| Decider V1.1 27B | 80.7 | 85.4 | 75.9 | 76.1 | 0.0178 |
| Mercury Decide | 75.3 | 84.5 | 66.2 | 69.2 | 0.0167 |
| Liquid d1 | 67.3 | 83.2 | 51.3 | 52.2 | 0.0312 |
| Solar Decide | 65.4 | 58.2 | 72.7 | 73.3 | 0.0843 |
| Jev 1.13 | 64.0 | 73.1 | 55.0 | 55.5 | 0.0826 |
| Clef | 61.3 | 72.0 | 50.5 | 51.0 | 0.2482 |
| Microsoft-Decision-1 | 55.0 | 70.8 | 39.3 | 40.9 | 0.0308 |
| Drex v1.5 | 53.4 | 69.2 | 37.6 | 37.2 | 0.0281 |
| GPT-6 Luna Decisions | 53.4 | 55.1 | 51.6 | 52.2 | 0.1193 |
| Clef Omni | 44.2 | 61.6 | 26.8 | 29.6 | 0.1746 |
| Clef Flash | 42.4 | 55.6 | 29.2 | 32.0 | 0.0393 |
| Tev1 4B Experimental | 42.0 | 68.4 | 15.5 | 18.6 | 0.0386 |
| Kev 4B | 40.1 | 62.3 | 17.9 | 19.0 | 0.0295 |
| Solar Decide Flash | 32.1 | 47.5 | 16.7 | 18.6 | 0.0843 |
| span-01 | 11.6 | 10.9 | 12.2 | 13.8 | 0.0182 |
| span-01 lite | 11.6 | 10.9 | 12.2 | 13.8 | 0.0000 |
日本語で最もよく当てたのは Perplexity の Decider V1.1 27B だった。ただし 2026年10月27日の時点で、このモデルは OpenRouter に提供元が 1 つも無く、呼び出せない。いま呼べるモデルでは Inception の Mercury Decide が両方のタスクで上位にいて、費用も有料のモデルで最も安い。Upstage の Solar Decide は業務ルール判定の skill が 72.7 と高いが、そのタスクでの応答の中央値が 18.7 秒で、200ms 前後で返すほかのモデルより桁違いに遅い。
span-01 と span-01 lite は skill が 11 前後で、ランダムに答えたのとほとんど変わらない。span-01 lite は無料で、oxlint-plugin-decision 自身の lint にも使っているモデルなので、日本語の問いを判定させるのには向かないことがこの結果で分かった。この 2 つは「はい／いいえ」しか受け付けないため、JNLI は選択肢ごとの「はい／いいえ」に分けて聞き、「はい」の確率が最も高い選択肢を答えにしている。
JNLI と業務ルール判定で順位が大きく入れ替わるモデルもある。Tev1 4B Experimental と Kev 4B は JNLI の skill が 60 を超えるのに、業務ルール判定では 20 に届かない。2 文の関係を見るだけの問題は解けても、長い規程を読んで条を組み合わせる問題になると崩れる。
費用
16 モデルが 2 つのタスクの全問に答えた費用は、合わせて 1.04 USD だった。正解ラベルを付ける費用のほうがずっと大きく、Opus 5.5 に 1 問を 3 回ずつ聞いたラベル付けは、API の料金に換算すると 37.88 USD になる。3 回の答えが割れた問題は hard として、表の数字とは別に数えた。
モデルの応答と正解ラベルはリポジトリにコミットしてあるので、測り直すときに Opus 5.5 は要らず、OpenRouter に問い合わせるのも新しく足したモデルの分だけで済む。