- macro-F1 で採点
- test 2,424 件を採点、hard 10 件は除外
- 正解は人のラベル（Opus 5.5 との一致率 91.5%）
- * は選択肢ごとに Noul で聞いた結果
成績（test） | | | | | |
|---|
| Decider V1.1 27B | 85.4（83.5〜87.3） | 90.0 | 91.5 | - | 100.0% |
|---|
| Mercury Decide | 84.5（82.4〜86.3） | 89.3 | 90.7 | - | 100.0% |
|---|
| Liquid d1 | 83.2（80.9〜85.0） | 88.4 | 90.1 | - | 100.0% |
|---|
| Jev 1.13 | 73.1（70.5〜75.7） | 81.5 | 83.4 | - | 100.0% |
|---|
| Clef | 72.0（69.4〜74.3） | 80.7 | 82.4 | - | 100.0% |
|---|
| Microsoft-Decision-1 | 70.8（68.2〜73.2） | 79.9 | 81.8 | - | 100.0% |
|---|
| Drex v1.5 | 69.2（66.7〜71.6） | 78.8 | 80.7 | - | 100.0% |
|---|
| Tev1 4B Experimental | 68.4（66.1〜70.7） | 78.2 | 79.9 | - | 100.0% |
|---|
| Kev 4B | 62.3（59.6〜64.8） | 74.0 | 76.4 | - | 100.0% |
|---|
| Clef Omni | 61.6（58.8〜64.2） | 73.5 | 75.7 | - | 100.0% |
|---|
確信度・速度・費用 | | | | |
|---|
| Decider V1.1 27B | 0.019 | 0.131 | 184 / 270 | $0.0085 |
|---|
| Mercury Decide | 0.029 | 0.144 | 220 / 413 | $0.0078 |
|---|
| Liquid d1 | 0.023 | 0.142 | 208 / 282 | $0.0124 |
|---|
| Jev 1.13 | 0.030 | 0.243 | 169 / 254 | $0.0473 |
|---|
| Clef | 0.028 | 0.255 | 271 / 979 | $0.1315 |
|---|
| Microsoft-Decision-1 | 0.115 | 0.296 | 194 / 294 | $0.0123 |
|---|
| Drex v1.5 | 0.061 | 0.288 | 160 / 794 | $0.0108 |
|---|
| Tev1 4B Experimental | 0.064 | 0.285 | 193 / 245 | $0.0189 |
|---|
| Kev 4B | 0.124 | 0.360 | 543 / 854 | $0.0114 |
|---|
| Clef Omni | 0.027 | 0.360 | 164 / 239 | $0.0858 |
|---|
skillskill × p50 レイテンシskill × タスク全体の費用- 1Decider V1.1 27B
- 2Mercury Decide
- 3Liquid d1
- 4Jev 1.13
- 5Clef
- 6Microsoft-Decision-1
- 7Drex v1.5
- 8Tev1 4B Experimental
- 9Kev 4B
- 10Clef Omni
確信度と実際の正解率
- 対角線より下は過信
- 凡例をクリックで表示を切り替え、ホバーでそのモデルを強調