- balanced accuracy で採点
- test 497 件を採点、hard 3 件は除外
- 正解は Opus 5.5 が 3 回とも一致したラベル
成績（test） | | | | | |
|---|
| Decider V1.1 27B | 75.9（70.3〜81.1） | 87.9 | 87.9 | 76.1（70.6〜81.3） | 100.0% |
|---|
| Solar Decide | 72.7（67.1〜78.3） | 86.3 | 86.3 | 73.3（67.6〜78.9） | 100.0% |
|---|
| Mercury Decide | 66.2（59.7〜72.4） | 83.1 | 83.1 | 69.2（63.3〜74.9） | 100.0% |
|---|
| Jev 1.13 | 55.0（48.7〜61.5） | 77.5 | 77.5 | 55.5（49.6〜62.0） | 100.0% |
|---|
| GPT-6 Luna Decisions | 51.6（45.6〜58.3） | 75.8 | 75.9 | 52.2（46.4〜58.9） | 100.0% |
|---|
| Liquid d1 | 51.3（44.4〜57.8） | 75.7 | 75.7 | 52.2（45.5〜58.4） | 100.0% |
|---|
| Clef | 50.5（44.5〜56.8） | 75.2 | 75.3 | 51.0（45.0〜57.1） | 100.0% |
|---|
| Microsoft-Decision-1 | 39.3（32.7〜45.5） | 69.6 | 69.6 | 40.9（34.8〜46.7） | 100.0% |
|---|
| Drex v1.5 | 37.6（31.6〜43.7） | 68.8 | 68.8 | 37.2（31.0〜43.3） | 100.0% |
|---|
| Clef Flash | 29.2（22.6〜35.5） | 64.6 | 64.6 | 32.0（26.6〜37.7） | 100.0% |
|---|
確信度・速度・費用 | | | | |
|---|
| Decider V1.1 27B | 0.077 | 0.195 | 176 / 286 | $0.0093 |
|---|
| Solar Decide | 0.072 | 0.218 | 18739 / 29058 | $0.0308 |
|---|
| Mercury Decide | 0.097 | 0.256 | 284 / 484 | $0.0089 |
|---|
| Jev 1.13 | 0.043 | 0.294 | 190 / 275 | $0.0352 |
|---|
| GPT-6 Luna Decisions | 0.177 | 0.420 | 205 / 692 | $0.0650 |
|---|
| Liquid d1 | 0.120 | 0.376 | 216 / 407 | $0.0188 |
|---|
| Clef | 0.108 | 0.358 | 309 / 2087 | $0.1167 |
|---|
| Microsoft-Decision-1 | 0.216 | 0.491 | 211 / 362 | $0.0185 |
|---|
| Drex v1.5 | 0.230 | 0.516 | 170 / 636 | $0.0173 |
|---|
| Clef Flash | 0.145 | 0.490 | 292 / 455 | $0.0185 |
|---|
skillskill × p50 レイテンシskill × タスク全体の費用- 1Decider V1.1 27B
- 2Solar Decide
- 3Mercury Decide
- 4Jev 1.13
- 5GPT-6 Luna Decisions
- 6Liquid d1
- 7Clef
- 8Microsoft-Decision-1
- 9Drex v1.5
- 10Clef Flash
確信度と実際の正解率
- 対角線より下は過信
- 凡例をクリックで表示を切り替え、ホバーでそのモデルを強調