评估库
决策模型相关的全部评估集：S1MB 的 137 个基准、Decision Index 的文本与多模态面板， 以及通用多模态与 Agent 决策的常用榜单。点进任意评估集可以看到在它上面跑过的所有模型与得分。
| 评估集▼ | 套件▼ | 决策类型 | 参评模型▼ | 样本量▼ | 最佳分▼ | 平均分▼ | 模态 | 来源 |
|---|---|---|---|---|---|---|---|---|
| BFCL
工具与自动化 |
Decision Index | 混合 | 108 | 1,694 | 98.8 | 80.5 | 文本 | 来源 ↗ |
| ToolRet
工具与自动化 |
Decision Index | 混合 | 108 | 685 | 69.1 | 55.1 | 文本 | 来源 ↗ |
| ContractNLI
语言理解 |
Decision Index | 混合 | 108 | 123 | 86.5 | 59.9 | 文本 | 来源 ↗ |
| ANLI
语言理解 |
Decision Index | 混合 | 108 | 3,200 | 98.6 | 54.0 | 文本 | 来源 ↗ |
| BPoMP
艺术与人类品味 |
Decision Index | 混合 | 108 | 811 | 97.0 | 73.8 | 文本 | 来源 ↗ |
| Humicroedit
艺术与人类品味 |
Decision Index | 混合 | 108 | 2,628 | 75.1 | 57.2 | 文本 | 来源 ↗ |
| cfcolor
艺术与人类品味 |
Decision Index | 混合 | 108 | 5,000 | 70.2 | 57.9 | 文本 | 来源 ↗ |
| MMLU
knowledge |
Decision Index | 混合 | 108 | 14,042 | 91.9 | 64.4 | 文本 | 来源 ↗ |
| GPQA Diamond
知识与推理 |
Decision Index | 混合 | 108 | 198 | 78.3 | 37.7 | 文本 | 来源 ↗ |
| ARC-Easy
knowledge |
Decision Index | 混合 | 108 | 2,376 | 99.5 | 87.3 | 文本 | 来源 ↗ |
| ARC-Challenge
knowledge |
Decision Index | 混合 | 108 | 1,172 | 98.2 | 79.4 | 文本 | 来源 ↗ |
| WinoGrande
知识与推理 |
Decision Index | 混合 | 108 | 1,267 | 97.5 | 69.8 | 文本 | 来源 ↗ |
| HellaSwag
语言理解 |
Decision Index | 混合 | 108 | 10,042 | 98.5 | 73.0 | 文本 | 来源 ↗ |
| GSM8K
知识与推理 |
Decision Index | 混合 | 108 | 2,638 | 83.5 | 36.0 | 文本 | 来源 ↗ |
| ChessBench
知识与推理 |
Decision Index | 混合 | 108 | 5,000 | 40.2 | 14.2 | 文本 | 来源 ↗ |
| MuSR
知识与推理 |
Decision Index | 混合 | 108 | 752 | 86.2 | 56.0 | 文本 | 来源 ↗ |
| SATA-Bench
知识与推理 |
Decision Index | 混合 | 108 | 1,650 | 37.2 | 20.3 | 文本 | 来源 ↗ |
| BRIGHT
检索与分类 |
Decision Index | 混合 | 108 | 220 | 50.9 | 36.1 | 文本 | 来源 ↗ |
| Amazon ESCI
检索与分类 |
Decision Index | 混合 | 108 | 5,000 | 61.6 | 40.9 | 文本 | 来源 ↗ |
| ACOS
语言理解 |
Decision Index | 混合 | 108 | 400 | 57.3 | 14.6 | 文本 | 来源 ↗ |
| FinEntity
语言理解 |
Decision Index | 混合 | 108 | 979 | 97.1 | 73.8 | 文本 | 来源 ↗ |
| iSarcasmEval
语言理解 |
Decision Index | 混合 | 108 | 4,600 | 71.0 | 38.4 | 文本 | 来源 ↗ |
| VAST
语言理解 |
Decision Index | 混合 | 108 | 3,006 | 82.0 | 50.1 | 文本 | 来源 ↗ |
| NLI4CT
语言理解 |
Decision Index | 混合 | 108 | 5,500 | 86.2 | 69.3 | 文本 | 来源 ↗ |
| CRUXEval
知识与推理 |
Decision Index | 混合 | 108 | 570 | 87.9 | 50.7 | 文本 | 来源 ↗ |
| CLadder
知识与推理 |
Decision Index | 混合 | 108 | 5,000 | 97.7 | 62.5 | 文本 | 来源 ↗ |
| HLE
知识与推理 |
Decision Index | 混合 | 108 | 501 | 20.4 | 12.3 | 文本 | 来源 ↗ |
| Habermas
艺术与人类品味 |
Decision Index | 混合 | 108 | 1,676 | 71.8 | 42.2 | 文本 | 来源 ↗ |
| PhishNChips
检索与分类 |
Decision Index | 混合 | 108 | 2,000 | 99.9 | 62.1 | 文本 | 来源 ↗ |
| MMLU-Pro
知识与推理 |
Decision Index | 混合 | 108 | 12,032 | 82.7 | 42.3 | 文本 | 来源 ↗ |
| BBH
知识与推理 |
Decision Index | 混合 | 108 | 5,507 | 92.9 | 58.3 | 文本 | 来源 ↗ |
| RAGTruth
语言理解 |
Decision Index | 混合 | 108 | 2,700 | 86.0 | 52.1 | 文本 | 来源 ↗ |
| HoVer
检索与分类 |
Decision Index | 混合 | 108 | 4,000 | 89.4 | 63.8 | 文本 | 来源 ↗ |
| When2Call
工具与自动化 |
Decision Index | 混合 | 108 | 3,652 | 91.7 | 57.8 | 文本 | 来源 ↗ |
| New Yorker
艺术与人类品味 |
Decision Index | 混合 | 108 | 528 | 82.0 | 52.9 | 文本 | 来源 ↗ |
| SGD
retrieval |
Decision Index | 混合 | 107 | 2,500 | 73.4 | 47.4 | 文本 | 来源 ↗ |
| RouterBench
tools |
Decision Index | 混合 | 106 | 5,001 | 80.1 | 73.2 | 文本 | 来源 ↗ |
| Home appliances
工具与自动化 |
Decision Index | 混合 | 105 | 88 | 98.9 | 23.2 | 文本 | 来源 ↗ |
| BANKING77
检索与分类 |
Decision Index | 混合 | 100 | 3,080 | 94.1 | 68.7 | 文本 | 来源 ↗ |
| CLINC150
检索与分类 |
Decision Index | 混合 | 100 | 5,500 | 97.4 | 67.8 | 文本 | 来源 ↗ |
| API-Bank
工具与自动化 |
Decision Index | 混合 | 99 | 508 | 93.1 | 56.3 | 文本 | 来源 ↗ |
| POP909
艺术与人类品味 |
Decision Index | 混合 | 99 | 2,000 | 74.6 | 12.6 | 文本 | 来源 ↗ |
| s1mb generalization contextual choice
S1MB 泛化（合成） |
S1MB | Choice | 95 | 100 | 100.0 | 82.6 | 文本 | 来源 ↗ |
| s1mb generalization contextual noul
S1MB 泛化（合成） |
S1MB | Noul | 95 | 100 | 98.0 | 62.0 | 文本 | 来源 ↗ |
| s1mb generalization contextual score
S1MB 泛化（合成） |
S1MB | Score | 95 | 100 | 92.7 | 42.1 | 文本 | 来源 ↗ |
| s1mb generalization diverse choice
S1MB 泛化（合成） |
S1MB | Choice | 95 | 100 | 100.0 | 69.5 | 文本 | 来源 ↗ |
| s1mb generalization diverse noul
S1MB 泛化（合成） |
S1MB | Noul | 95 | 100 | 100.0 | 59.2 | 文本 | 来源 ↗ |
| s1mb generalization diverse score
S1MB 泛化（合成） |
S1MB | Score | 95 | 100 | 95.3 | 42.8 | 文本 | 来源 ↗ |
| aegis2
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 62.3 | 32.8 | 文本 | 来源 ↗ |
| aqua rat
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 77.5 | 10.7 | 文本 | 来源 ↗ |
| arc
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 98.5 | 64.4 | 文本 | 来源 ↗ |
| arct
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 89.4 | 39.4 | 文本 | 来源 ↗ |
| argument quality
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 95.9 | 37.4 | 文本 | 来源 ↗ |
| argument quality
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 23.9 | 5.4 | 文本 | 来源 ↗ |
| babi nli
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 84.0 | 37.0 | 文本 | 来源 ↗ |
| banking77
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 93.7 | 54.6 | 文本 | 来源 ↗ |
| bbq
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 98.3 | 53.8 | 文本 | 来源 ↗ |
| boardgameqa
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 62.5 | 15.6 | 文本 | 来源 ↗ |
| canttalk
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 86.0 | 43.9 | 文本 | 来源 ↗ |
| civil comments
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 36.7 | 21.4 | 文本 | 来源 ↗ |
| cladder
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 94.0 | 17.7 | 文本 | 来源 ↗ |
| clinc
公开 NLP 数据集 |
S1MB | Choice | 94 | 151 | 99.3 | 57.3 | 文本 | 来源 ↗ |
| contract nli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 76.0 | 31.8 | 文本 | 来源 ↗ |
| corr2cause
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 91.7 | 3.8 | 文本 | 来源 ↗ |
| creak
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 88.0 | 38.8 | 文本 | 来源 ↗ |
| crows pairs
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 70.8 | 30.4 | 文本 | 来源 ↗ |
| dbpedia
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 98.9 | 83.5 | 文本 | 来源 ↗ |
| defeasible nli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 80.4 | 32.8 | 文本 | 来源 ↗ |
| esci
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 46.6 | 13.0 | 文本 | 来源 ↗ |
| ethics
公开 NLP 数据集 |
S1MB | Choice | 94 | 18 | 83.3 | 20.9 | 文本 | 来源 ↗ |
| ethics
公开 NLP 数据集 |
S1MB | Noul | 94 | 82 | 68.6 | 23.9 | 文本 | 来源 ↗ |
| ethos
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 76.0 | 43.7 | 文本 | 来源 ↗ |
| few nerd
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 86.4 | 43.9 | 文本 | 来源 ↗ |
| fol nli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 54.1 | 10.4 | 文本 | 来源 ↗ |
| followir core17
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 46.6 | 21.2 | 文本 | 来源 ↗ |
| followir news21
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 42.7 | 14.9 | 文本 | 来源 ↗ |
| followir robust04
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 90.9 | 46.9 | 文本 | 来源 ↗ |
| go emotions
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 61.3 | 38.3 | 文本 | 来源 ↗ |
| gretel pii
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 94.5 | 43.1 | 文本 | 来源 ↗ |
| gsm8k
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 78.6 | 23.5 | 文本 | 来源 ↗ |
| hans
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 100.0 | 43.3 | 文本 | 来源 ↗ |
| hatecheck
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 98.0 | 47.5 | 文本 | 来源 ↗ |
| hh rlhf
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 23.1 | 3.1 | 文本 | 来源 ↗ |
| hwu64
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 92.5 | 56.8 | 文本 | 来源 ↗ |
| impli
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 88.0 | 46.7 | 文本 | 来源 ↗ |
| laya / ag news
Laya 数据集 |
S1MB | Choice | 94 | 100 | 94.0 | 75.4 | 文本 | 来源 ↗ |
| laya / enron spam
Laya 数据集 |
S1MB | Noul | 94 | 100 | 100.0 | 54.6 | 文本 | 来源 ↗ |
| laya / typed decisions
Laya 数据集 |
S1MB | Choice | 94 | 100 | 34.5 | 18.9 | 文本 | 来源 ↗ |
| laya / typed decisions
Laya 数据集 |
S1MB | Noul | 94 | 100 | 47.8 | 24.4 | 文本 | 来源 ↗ |
| laya / typed decisions
Laya 数据集 |
S1MB | Score | 94 | 100 | 63.5 | 26.5 | 文本 | 来源 ↗ |
| lexcomp
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 52.0 | 22.5 | 文本 | 来源 ↗ |
| logical entailment
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 72.0 | 12.2 | 文本 | 来源 ↗ |
| lonli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 86.9 | 39.2 | 文本 | 来源 ↗ |
| massive
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 96.7 | 64.5 | 文本 | 来源 ↗ |
| miqa
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 95.5 | 61.9 | 文本 | 来源 ↗ |
| mtop
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 86.9 | 58.6 | 文本 | 来源 ↗ |
| nlsat
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 22.0 | 2.1 | 文本 | 来源 ↗ |
| open jev / amount extraction control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 36 | 100.0 | 55.0 | 文本 | 来源 ↗ |
| open jev / amount extraction control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 64 | 100.0 | 33.3 | 文本 | 来源 ↗ |
| open jev / browser control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 100 | 100.0 | 67.4 | 文本 | 来源 ↗ |
| open jev / citation control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 100 | 100.0 | 40.9 | 文本 | 来源 ↗ |
| open jev / context retention control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 19.0 | 文本 | 来源 ↗ |
| open jev / customer control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 17 | 82.6 | 64.3 | 文本 | 来源 ↗ |
| open jev / customer control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 33 | 100.0 | 58.0 | 文本 | 来源 ↗ |
| open jev / customer control v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 50 | 99.3 | 36.7 | 文本 | 来源 ↗ |
| open jev / drone control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 32 | 100.0 | 4.8 | 文本 | 来源 ↗ |
| open jev / drone control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 34 | 100.0 | 50.2 | 文本 | 来源 ↗ |
| open jev / drone control v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 34 | 99.2 | 1.1 | 文本 | 来源 ↗ |
| open jev / email selection control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 48 | 100.0 | 23.4 | 文本 | 来源 ↗ |
| open jev / email selection control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 52 | 100.0 | 40.6 | 文本 | 来源 ↗ |
| open jev / entity alignment control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 75 | 100.0 | 35.9 | 文本 | 来源 ↗ |
| open jev / entity alignment control v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 25 | 100.0 | 8.1 | 文本 | 来源 ↗ |
| open jev / ir control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 17 | 88.0 | 44.8 | 文本 | 来源 ↗ |
| open jev / ir control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 28 | 100.0 | 47.3 | 文本 | 来源 ↗ |
| open jev / ir control v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 55 | 98.6 | 10.1 | 文本 | 来源 ↗ |
| open jev / mailroom control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 15 | 100.0 | 82.9 | 文本 | 来源 ↗ |
| open jev / mailroom control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 85 | 100.0 | 62.5 | 文本 | 来源 ↗ |
| open jev / painting geometry v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 25 | 100.0 | 46.2 | 文本 | 来源 ↗ |
| open jev / painting geometry v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 50 | 100.0 | 27.2 | 文本 | 来源 ↗ |
| open jev / painting geometry v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 25 | 100.0 | 15.2 | 文本 | 来源 ↗ |
| open jev / phone extraction control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 79 | 100.0 | 32.4 | 文本 | 来源 ↗ |
| open jev / phone extraction control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 21 | 100.0 | 50.4 | 文本 | 来源 ↗ |
| open jev / reasoning control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 33 | 95.0 | 28.4 | 文本 | 来源 ↗ |
| open jev / reasoning control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 33 | 100.0 | 25.3 | 文本 | 来源 ↗ |
| open jev / reasoning control v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 34 | 90.7 | 27.7 | 文本 | 来源 ↗ |
| open jev / silent failure control v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 38.8 | 文本 | 来源 ↗ |
| open jev / snake v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 25 | 83.5 | 8.1 | 文本 | 来源 ↗ |
| open jev / snake v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 75 | 100.0 | 9.0 | 文本 | 来源 ↗ |
| open jev / sponsor segment control v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 100 | 100.0 | 52.2 | 文本 | 来源 ↗ |
| open jev / tic tac toe v1
Open-Jev 运维与控制 |
S1MB | Choice | 94 | 100 | 48.5 | 3.5 | 文本 | 来源 ↗ |
| open jev / vizdoom basic v1
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 33 | 100.0 | 39.0 | 文本 | 来源 ↗ |
| open jev / vizdoom basic v1
Open-Jev 运维与控制 |
S1MB | Score | 94 | 33 | 100.0 | 29.6 | 文本 | 来源 ↗ |
| open jev / workflow controls v1 / agent trace observability
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 27.8 | 文本 | 来源 ↗ |
| open jev / workflow controls v1 / customer service
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 41.6 | 文本 | 来源 ↗ |
| open jev / workflow controls v1 / invoice processing
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 34.6 | 文本 | 来源 ↗ |
| open jev / workflow controls v1 / security incidents
Open-Jev 运维与控制 |
S1MB | Noul | 94 | 100 | 100.0 | 37.8 | 文本 | 来源 ↗ |
| openbookqa
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 97.2 | 53.7 | 文本 | 来源 ↗ |
| patent similarity
公开 NLP 数据集 |
S1MB | Score | 94 | 100 | 48.3 | 17.7 | 文本 | 来源 ↗ |
| paws
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 88.0 | 45.7 | 文本 | 来源 ↗ |
| plane
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 100.0 | 11.1 | 文本 | 来源 ↗ |
| poem sentiment
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 57.1 | 4.0 | 文本 | 来源 ↗ |
| qasper
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 88.0 | 41.6 | 文本 | 来源 ↗ |
| quartz
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 88.1 | 49.1 | 文本 | 来源 ↗ |
| robust lr
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 66.7 | 18.8 | 文本 | 来源 ↗ |
| ruletaker
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 96.0 | 27.7 | 文本 | 来源 ↗ |
| scicite
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 71.0 | 44.0 | 文本 | 来源 ↗ |
| scitail
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 98.0 | 53.0 | 文本 | 来源 ↗ |
| scone
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 92.0 | 34.2 | 文本 | 来源 ↗ |
| sdoh nli
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 92.0 | 60.8 | 文本 | 来源 ↗ |
| sgd
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 96.6 | 24.4 | 文本 | 来源 ↗ |
| snli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 98.4 | 46.0 | 文本 | 来源 ↗ |
| spartqa
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 38.7 | 4.4 | 文本 | 来源 ↗ |
| stepgame
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 82.1 | 17.8 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanoarguana
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 48.2 | 15.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanoarguana
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 36.0 | 7.7 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanodbpedia
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 52.1 | 29.0 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanodbpedia
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 44.9 | 17.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanofiqa2018
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 54.0 | 28.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanofiqa2018
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 46.7 | 15.2 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanohotpotqa
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 70.8 | 28.4 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanohotpotqa
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 63.6 | 13.9 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanomsmarco
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 62.5 | 37.3 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanomsmarco
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 52.6 | 17.8 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanonfcorpus
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 46.2 | 25.1 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanonfcorpus
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 38.6 | 10.7 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanonq
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 67.2 | 39.5 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanonq
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 49.4 | 9.3 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanoscidocs
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 400 | 41.7 | 17.3 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanoscidocs
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 400 | 36.7 | 7.2 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanotouche2020
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 392 | 47.0 | 26.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanobeir / nanotouche2020
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 392 | 44.3 | 20.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanocoir
检索相关性（NanoBEIR / 合成） |
S1MB | Noul | 94 | 800 | 73.0 | 33.6 | 文本 | 来源 ↗ |
| synthetic relevance / nanocoir
检索相关性（NanoBEIR / 合成） |
S1MB | Score | 94 | 800 | 44.3 | 4.3 | 文本 | 来源 ↗ |
| temporal nli
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 80.7 | 18.3 | 文本 | 来源 ↗ |
| tracie
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 34.0 | 8.7 | 文本 | 来源 ↗ |
| ud ewt
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 56.7 | 13.2 | 文本 | 来源 ↗ |
| winobias
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 91.3 | 30.1 | 文本 | 来源 ↗ |
| winowhy
公开 NLP 数据集 |
S1MB | Noul | 94 | 100 | 62.0 | 18.8 | 文本 | 来源 ↗ |
| wiqa
公开 NLP 数据集 |
S1MB | Choice | 94 | 100 | 58.7 | 19.3 | 文本 | 来源 ↗ |
| CV-Bench
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 76.6 | 49.1 | 图像 | 来源 ↗ |
| BLINK
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 63.0 | 32.0 | 图像 | 来源 ↗ |
| RealWorldQA
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 75.3 | 41.1 | 图像 | 来源 ↗ |
| CharXiv
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 79.7 | 48.5 | 图像 | 来源 ↗ |
| InfographicVQA
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 98.7 | 77.3 | 图像 | 来源 ↗ |
| Mind2Web
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 79.7 | 49.7 | 图像 | 来源 ↗ |
| Winoground
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 93.0 | 70.7 | 图像 | 来源 ↗ |
| KIE (CORD+FUNSD)
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 92.7 | 80.0 | 图像 | 来源 ↗ |
| Moderation (Hateful Memes)
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 54.0 | 28.6 | 图像 | 来源 ↗ |
| R-Bench-M
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 35.4 | 19.0 | 图像 | 来源 ↗ |
| MMMU-Pro vision
多模态决策（图像输入） |
Decision Index Vision | 混合 | 20 | — | 40.7 | 22.3 | 图像 | 来源 ↗ |
| MiniWoB++
tools |
Decision Index | 混合 | 1 | — | 100.0 | 100.0 | 文本 | 来源 ↗ |
| Boxoban
games |
Decision Index | 混合 | 1 | — | 0.0 | 0.0 | 文本 | 来源 ↗ |
| RTFM
games |
Decision Index | 混合 | 1 | — | 17.0 | 17.0 | 文本 | 来源 ↗ |
| ScienceWorld
tools |
Decision Index | 混合 | 1 | — | 6.7 | 6.7 | 文本 | 来源 ↗ |
| Hanabi
games |
Decision Index | 混合 | 1 | — | 0.0 | 0.0 | 文本 | 来源 ↗ |
| Codenames
games |
Decision Index | 混合 | 1 | — | 0.0 | 0.0 | 文本 | 来源 ↗ |
| OpenBookQA
knowledge |
Decision Index | 混合 | 1 | 500 | 94.0 | 94.0 | 文本 | 来源 ↗ |
| CommonsenseQA
knowledge |
Decision Index | 混合 | 1 | 1,221 | 87.5 | 87.5 | 文本 | 来源 ↗ |
| Support tickets
tools |
Decision Index | 混合 | 1 | 300 | 90.5 | 90.5 | 文本 | 来源 ↗ |
| Phishing gradient
retrieval |
Decision Index | 混合 | 1 | 800 | 94.6 | 94.6 | 文本 | 来源 ↗ |
| Email spam
retrieval |
Decision Index | 混合 | 1 | 3,000 | 97.4 | 97.4 | 文本 | 来源 ↗ |
| MMMU
B 通用多模态 |
通用多模态 | Choice | 0 | 11,500 | — | — | 图像 | 来源 ↗ |
| MMMU-Pro
B 通用多模态 |
通用多模态 | Choice | 0 | — | — | — | 图像 | |
| MMBench / MMBench-V1.1
B 通用多模态 |
通用多模态 | Choice | 0 | 3,000 | — | — | 图像 | 来源 ↗ |
| MMStar
B 通用多模态 |
通用多模态 | Choice | 0 | 1,500 | — | — | 图像 | 来源 ↗ |
| MMVP
B 通用多模态 |
通用多模态 | Choice | 0 | 300 | — | — | 图像 | |
| MathVista
B 通用多模态 |
通用多模态 | 混合 | 0 | 6,141 | — | — | 图像 | 来源 ↗ |
| MathVerse
B 通用多模态 |
通用多模态 | 混合 | 0 | 2,610 | — | — | 图像 | 来源 ↗ |
| DocVQA
B 通用多模态 |
通用多模态 | 混合 | 0 | 5,000 | — | — | 图像 | 来源 ↗ |
| InfographicVQA
B 通用多模态 |
通用多模态 | 混合 | 0 | 5,300 | — | — | 图像 | 来源 ↗ |
| ChartQA
B 通用多模态 |
通用多模态 | 混合 | 0 | 9,600 | — | — | 图像 | 来源 ↗ |
| TextVQA
B 通用多模态 |
通用多模态 | 混合 | 0 | 5,000 | — | — | 图像 | 来源 ↗ |
| OCRBench / OCRBench v2
B 通用多模态 |
通用多模态 | 混合 | 0 | 1,000 | — | — | 图像 | 来源 ↗ |
| AI2D
B 通用多模态 |
通用多模态 | Choice | 0 | 5,000 | — | — | 图像 | |
| ScienceQA
B 通用多模态 |
通用多模态 | Choice | 0 | 21,208 | — | — | 图像 | 来源 ↗ |
| RealWorldQA
B 通用多模态 |
通用多模态 | Choice | 0 | 765 | — | — | 图像 | |
| BLINK
B 通用多模态 |
通用多模态 | Choice | 0 | 3,800 | — | — | 图像 | 来源 ↗ |
| CV-Bench
B 通用多模态 |
通用多模态 | Choice | 0 | — | — | — | 图像 | 来源 ↗ |
| HallusionBench
B 通用多模态 |
通用多模态 | 混合 | 0 | 1,129 | — | — | 图像 | 来源 ↗ |
| SEED-Bench
B 通用多模态 |
通用多模态 | Choice | 0 | 19,000 | — | — | 图像视频 | 来源 ↗ |
| Winoground
B 通用多模态 |
通用多模态 | Choice | 0 | 400 | — | — | 图像 | |
| Hateful Memes
B 通用多模态 |
通用多模态 | Noul | 0 | 10,000 | — | — | 图像 | 来源 ↗ |
| Video-MME
B 通用多模态 |
通用多模态 | Choice | 0 | 900 | — | — | 视频 | 来源 ↗ |
| MVBench
B 通用多模态 |
通用多模态 | Choice | 0 | 4,000 | — | — | 视频 | 来源 ↗ |
| LongVideoBench
B 通用多模态 |
通用多模态 | Choice | 0 | 1,337 | — | — | 视频 | 来源 ↗ |
| Mind2Web
B 通用多模态 |
通用多模态 | Choice | 0 | — | — | — | 图像 | 来源 ↗ |
| KIE (CORD + FUNSD)
B 通用多模态 |
通用多模态 | 混合 | 0 | — | — | — | 图像 | |
| R-Bench-M
B 通用多模态 |
通用多模态 | Choice | 0 | — | — | — | 图像 | 来源 ↗ |
| CharXiv
B 通用多模态 |
通用多模态 | Choice | 0 | — | — | — | 图像 | 来源 ↗ |
| BFCL（Berkeley Function Calling Leaderboard）
C Agent 与工具调用 |
Agent 决策 | Noul | 0 | — | — | — | 文本 | 来源 ↗ |
| τ-bench / τ²-bench
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 | |
| GAIA
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | 466 | — | — | 文件 | |
| OSWorld
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | 369 | — | — | 图像 | 来源 ↗ |
| WebArena / VisualWebArena
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | 812 | — | — | 图像 | 来源 ↗ |
| SWE-bench Verified
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | 500 | — | — | 文本 | 来源 ↗ |
| API-Bank
C Agent 与工具调用 |
Agent 决策 | Choice | 0 | 508 | — | — | 文本 | |
| ToolRet
C Agent 与工具调用 |
Agent 决策 | Score | 0 | 685 | — | — | 文本 | 来源 ↗ |
| When2Call
C Agent 与工具调用 |
Agent 决策 | Noul | 0 | — | — | — | 文本 | 来源 ↗ |
| RouterBench
C Agent 与工具调用 |
Agent 决策 | Choice | 0 | 5,001 | — | — | 文本 | |
| Home appliance simulator
C Agent 与工具调用 |
Agent 决策 | Choice | 0 | 88 | — | — | 文本 | 来源 ↗ |
| MiniWoB++
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 | 来源 ↗ |
| ScienceWorld
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 | 来源 ↗ |
| MLE-bench
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 | |
| zero-shot-ie-bench
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 | |
| Convex Decision Evals
C Agent 与工具调用 |
Agent 决策 | Choice | 0 | 108 | — | — | 文本 | |
| JevBench
C Agent 与工具调用 |
Agent 决策 | 混合 | 0 | — | — | — | 文本 |