選択肢・はい／いいえ・スコアだけを返す decision model が、日本語のタスクをどれだけ正しく判定できるかを測っている。日本語で使う decision model を選ぶときに、正しさと費用と速度を並べて比べられる。
結果はリーダーボードで公開している。正解ラベルは JNLI を除いて Claude Opus 5.5 が付けたもので、スコアは本当の正しさではなく Opus 5.5 のラベルとの一致率である。勉強目的の実験なので、結果は参考程度に見てほしい。
ソースは GitHub にある。