首页 / 模型 / jaredpalmer/kev-9b

jaredpalmer/kev-9b

Name: jaredpalmer/kev-9b
Author: Jared Palmer

Jared Palmer ChoiceNoulScore 开源权重 7.9B（活跃 6.9B） curateds1mb

代码仓库 HF · 4B HF · 9B HF · 27B OpenRouter systemonemodels.org Hugging Face 权重 S1MB 排行榜

S1MB Task Avg

42.4

第 30 名 · 覆盖 137/137（100%）

Decision Index Full

43.3

第 41 名 · public 41.5

校准 ECE

0.045

越低越好 · Brier 0.451

模型信息

厂商: Jared Palmer
类别: 开源权重
参数规模: 7.9B（活跃 6.9B）
基座模型: Qwen3.5 / Qwen3.8 系列
权重: 可下载（开源）
许可证: 未标注许可不明
输入模态: 文本
决策原语: ChoiceNoulScore
可微调: 可以
微调方法: 文档最完整的开源决策模型：koev.train --init_from <ckpt>；LoRA + pointer head；逐 checkpoint 拟合温度（0.8B T=2.35 / 9B T=2.30）
微调硬件: 0.8B bf16 仅需 4 GB 显存；4B 走 Modal 约 $1/H100

数据来源与链接

代码仓库 HF · 4B HF · 9B HF · 27B OpenRouter systemonemodels.org Hugging Face 权重 S1MB 排行榜

本站聚合自： curated、s1mb。分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理

60.0

语言理解

75.7

检索与分类

71.0

工具与自动化

81.9

艺术与人类品味

44.4

S1MB · 137 个基准

基准	类型	该模型	全场最佳	全场均值	来源
open jev / browser control v1	Choice	100.0	100.0	67.4	来源 ↗
open jev / customer control v1	Noul	100.0	100.0	58.0	来源 ↗
open jev / mailroom control v1	Choice	100.0	100.0	82.9	来源 ↗
dbpedia	Choice	98.9	98.9	83.5	来源 ↗
s1mb generalization contextual choice	Choice	98.7	100.0	82.6	来源 ↗
arc	Choice	95.6	98.5	64.4	来源 ↗
open jev / painting geometry v1	Choice	94.7	100.0	46.2	来源 ↗
open jev / drone control v1	Noul	94.1	100.0	50.2	来源 ↗
s1mb generalization diverse choice	Choice	93.4	100.0	69.5	来源 ↗
s1mb generalization diverse noul	Noul	92.0	100.0	59.2	来源 ↗
sdoh nli	Noul	88.0	92.0	60.8	来源 ↗
open jev / sponsor segment control v1	Choice	87.2	100.0	52.2	来源 ↗
bbq	Choice	86.7	98.3	53.8	来源 ↗
laya / ag news	Choice	86.6	94.0	75.4	来源 ↗
miqa	Choice	86.4	95.5	61.9	来源 ↗
banking77	Choice	86.3	93.7	54.6	来源 ↗
snli	Choice	85.5	98.4	46.0	来源 ↗
open jev / mailroom control v1	Noul	83.6	100.0	62.5	来源 ↗
quartz	Choice	83.3	88.1	49.1	来源 ↗
hatecheck	Noul	82.0	98.0	47.5	来源 ↗
open jev / silent failure control v1	Noul	82.0	100.0	38.8	来源 ↗
s1mb generalization contextual noul	Noul	82.0	98.0	62.0	来源 ↗
openbookqa	Choice	81.9	97.2	53.7	来源 ↗
scone	Choice	80.0	92.0	34.2	来源 ↗
hwu64	Choice	78.7	92.5	56.8	来源 ↗
clinc	Choice	78.6	99.3	57.3	来源 ↗
mtop	Choice	78.3	86.9	58.6	来源 ↗
open jev / customer control v1	Choice	78.3	82.6	64.3	来源 ↗
open jev / amount extraction control v1	Noul	78.1	100.0	33.3	来源 ↗
massive	Choice	78.1	96.7	64.5	来源 ↗
followir robust04	Noul	76.7	90.9	46.9	来源 ↗
scitail	Noul	76.0	98.0	53.0	来源 ↗
lonli	Choice	75.4	86.9	39.2	来源 ↗
open jev / amount extraction control v1	Choice	72.5	100.0	55.0	来源 ↗
s1mb generalization contextual score	Score	72.4	92.7	42.1	来源 ↗
open jev / entity alignment control v1	Noul	72.2	100.0	35.9	来源 ↗
qasper	Noul	72.0	88.0	41.6	来源 ↗
gretel pii	Choice	71.4	94.5	43.1	来源 ↗
laya / enron spam	Noul	70.0	100.0	54.6	来源 ↗
open jev / phone extraction control v1	Noul	70.0	100.0	50.4	来源 ↗
defeasible nli	Choice	69.6	80.4	32.8	来源 ↗
s1mb generalization diverse score	Score	69.0	95.3	42.8	来源 ↗
open jev / workflow controls v1 / security incidents	Noul	68.9	100.0	37.8	来源 ↗
canttalk	Noul	66.0	86.0	43.9	来源 ↗
impli	Noul	66.0	88.0	46.7	来源 ↗
few nerd	Choice	65.2	86.4	43.9	来源 ↗
open jev / citation control v1	Choice	65.2	100.0	40.9	来源 ↗
open jev / reasoning control v1	Choice	65.0	95.0	28.4	来源 ↗
scicite	Choice	64.5	71.0	44.0	来源 ↗
hans	Noul	64.0	100.0	43.3	来源 ↗
open jev / workflow controls v1 / customer service	Noul	63.9	100.0	41.6	来源 ↗
synthetic relevance / nanobeir / nanonq	Noul	63.1	67.2	39.5	来源 ↗
open jev / email selection control v1	Noul	61.5	100.0	40.6	来源 ↗
winobias	Choice	60.9	91.3	30.1	来源 ↗
open jev / ir control v1	Choice	60.0	88.0	44.8	来源 ↗
synthetic relevance / nanocoir	Noul	59.8	73.0	33.6	来源 ↗
contract nli	Choice	57.3	76.0	31.8	来源 ↗
open jev / ir control v1	Noul	57.1	100.0	47.3	来源 ↗
babi nli	Noul	56.0	84.0	37.0	来源 ↗
creak	Noul	56.0	88.0	38.8	来源 ↗
paws	Noul	56.0	88.0	45.7	来源 ↗
ruletaker	Noul	56.0	96.0	27.7	来源 ↗
arct	Choice	55.3	89.4	39.4	来源 ↗
open jev / vizdoom basic v1	Score	54.8	100.0	29.6	来源 ↗
open jev / phone extraction control v1	Choice	54.4	100.0	32.4	来源 ↗
crows pairs	Choice	54.2	70.8	30.4	来源 ↗
open jev / reasoning control v1	Score	53.5	90.7	27.7	来源 ↗
open jev / customer control v1	Score	51.3	99.3	36.7	来源 ↗
aegis2	Noul	50.6	62.3	32.8	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Noul	49.5	62.5	37.3	来源 ↗
go emotions	Noul	48.7	61.3	38.3	来源 ↗
ethos	Noul	48.0	76.0	43.7	来源 ↗
argument quality	Choice	46.9	95.9	37.4	来源 ↗
robust lr	Choice	46.7	66.7	18.8	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Noul	46.4	54.0	28.6	来源 ↗
open jev / reasoning control v1	Noul	46.0	100.0	25.3	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Noul	45.5	47.0	26.6	来源 ↗
temporal nli	Choice	45.2	80.7	18.3	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Noul	45.1	52.1	29.0	来源 ↗
open jev / vizdoom basic v1	Noul	44.1	100.0	39.0	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Noul	43.2	46.2	25.1	来源 ↗
open jev / workflow controls v1 / invoice processing	Noul	43.0	100.0	34.6	来源 ↗
laya / typed decisions	Score	40.6	63.5	26.5	来源 ↗
poem sentiment	Choice	40.0	57.1	4.0	来源 ↗
ethics	Noul	39.0	68.6	23.9	来源 ↗
open jev / workflow controls v1 / agent trace observability	Noul	38.7	100.0	27.8	来源 ↗
laya / typed decisions	Noul	38.7	47.8	24.4	来源 ↗
followir core17	Noul	36.8	46.6	21.2	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Noul	36.8	70.8	28.4	来源 ↗
ud ewt	Choice	34.6	56.7	13.2	来源 ↗
gsm8k	Choice	34.3	78.6	23.5	来源 ↗
open jev / painting geometry v1	Noul	34.3	100.0	27.2	来源 ↗
cladder	Noul	30.0	94.0	17.7	来源 ↗
lexcomp	Noul	30.0	52.0	22.5	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Score	28.7	44.3	20.6	来源 ↗
wiqa	Choice	28.6	58.7	19.3	来源 ↗
boardgameqa	Choice	28.1	62.5	15.6	来源 ↗
laya / typed decisions	Choice	27.6	34.5	18.9	来源 ↗
sgd	Choice	27.1	96.6	24.4	来源 ↗
civil comments	Noul	26.4	36.7	21.4	来源 ↗
stepgame	Choice	26.2	82.1	17.8	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Noul	24.5	41.7	17.3	来源 ↗
patent similarity	Score	24.2	48.3	17.7	来源 ↗
followir news21	Noul	20.7	42.7	14.9	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Noul	20.7	48.2	15.6	来源 ↗
winowhy	Noul	20.0	62.0	18.8	来源 ↗
aqua rat	Choice	19.7	77.5	10.7	来源 ↗
open jev / painting geometry v1	Score	17.8	100.0	15.2	来源 ↗
ethics	Choice	16.7	83.3	20.9	来源 ↗
open jev / email selection control v1	Choice	16.5	100.0	23.4	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Score	16.4	44.9	17.6	来源 ↗
spartqa	Choice	14.5	38.7	4.4	来源 ↗
open jev / context retention control v1	Noul	14.0	100.0	19.0	来源 ↗
esci	Choice	13.7	46.6	13.0	来源 ↗
fol nli	Choice	13.1	54.1	10.4	来源 ↗
logical entailment	Noul	12.0	72.0	12.2	来源 ↗
open jev / snake v1	Noul	6.5	100.0	9.0	来源 ↗
argument quality	Noul	5.8	23.9	5.4	来源 ↗
hh rlhf	Choice	5.1	23.1	3.1	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Score	4.8	36.0	7.7	来源 ↗
nlsat	Noul	2.0	22.0	2.1	来源 ↗
tracie	Noul	2.0	34.0	8.7	来源 ↗
corr2cause	Choice	0.0	91.7	3.8	来源 ↗
open jev / drone control v1	Choice	0.0	100.0	4.8	来源 ↗
open jev / drone control v1	Score	0.0	99.2	1.1	来源 ↗
open jev / entity alignment control v1	Score	0.0	100.0	8.1	来源 ↗
open jev / ir control v1	Score	0.0	98.6	10.1	来源 ↗
open jev / snake v1	Choice	0.0	83.5	8.1	来源 ↗
open jev / tic tac toe v1	Choice	0.0	48.5	3.5	来源 ↗
plane	Noul	0.0	100.0	11.1	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Score	0.0	46.7	15.2	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Score	0.0	63.6	13.9	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Score	0.0	52.6	17.8	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Score	0.0	38.6	10.7	来源 ↗
synthetic relevance / nanobeir / nanonq	Score	0.0	49.4	9.3	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Score	0.0	36.7	7.2	来源 ↗
synthetic relevance / nanocoir	Score	0.0	44.3	4.3	来源 ↗

Decision Index · 42 个基准

基准	类型	该模型	全场最佳	全场均值	来源
ARC-Easy	混合（Choice	97.6	99.5	87.3	来源 ↗
BFCL	混合（Choice	95.2	98.8	80.5	来源 ↗
ARC-Challenge	混合（Choice	93.9	98.2	79.4	来源 ↗
FinEntity	混合（Choice	89.7	97.1	73.8	来源 ↗
BANKING77	混合（Choice	83.3	94.1	68.7	来源 ↗
HellaSwag	混合（Choice	82.7	98.5	73.0	来源 ↗
RouterBench	混合（Choice	80.0	80.1	73.2	来源 ↗
CLINC150	混合（Choice	77.1	97.4	67.8	来源 ↗
MMLU	混合（Choice	76.1	91.9	64.4	来源 ↗
NLI4CT	混合（Choice	75.2	86.2	69.3	来源 ↗
WinoGrande	混合（Choice	75.1	97.5	69.8	来源 ↗
RAGTruth	混合（Choice	70.6	86.0	52.1	来源 ↗
BBH	混合（Choice	66.3	92.9	58.3	来源 ↗
API-Bank	混合（Choice	65.3	93.1	56.3	来源 ↗
ContractNLI	混合（Choice	65.3	86.5	59.9	来源 ↗
ToolRet	混合（Choice	63.8	69.1	55.1	来源 ↗
CLadder	混合（Choice	63.5	97.7	62.5	来源 ↗
PhishNChips	混合（Choice	61.6	99.9	62.1	来源 ↗
HoVer	混合（Choice	60.7	89.4	63.8	来源 ↗
When2Call	混合（Choice	60.7	91.7	57.8	来源 ↗
SGD	混合（Choice	60.4	73.4	47.4	来源 ↗
BPoMP	混合（Choice	58.9	97.0	73.8	来源 ↗
ANLI	混合（Choice	58.1	98.6	54.0	来源 ↗
Humicroedit	混合（Choice	57.3	75.1	57.2	来源 ↗
VAST	混合（Choice	56.7	82.0	50.1	来源 ↗
New Yorker	混合（Choice	56.6	82.0	52.9	来源 ↗
MMLU-Pro	混合（Choice	56.5	82.7	42.3	来源 ↗
MuSR	混合（Choice	56.5	86.2	56.0	来源 ↗
CRUXEval	混合（Choice	55.4	87.9	50.7	来源 ↗
GSM8K	混合（Choice	54.4	83.5	36.0	来源 ↗
cfcolor	混合（Choice	53.0	70.2	57.9	来源 ↗
Amazon ESCI	混合（Choice	49.1	61.6	40.9	来源 ↗
iSarcasmEval	混合（Choice	43.2	71.0	38.4	来源 ↗
Habermas	混合（Choice	40.0	71.8	42.2	来源 ↗
BRIGHT	混合（Choice	38.2	50.9	36.1	来源 ↗
GPQA Diamond	混合（Choice	37.8	78.3	37.7	来源 ↗
SATA-Bench	混合（Choice	30.7	37.2	20.3	来源 ↗
ACOS	混合（Choice	17.0	57.3	14.6	来源 ↗
ChessBench	混合（Choice	12.0	40.2	14.2	来源 ↗
Home appliances	混合（Choice	11.4	98.9	23.2	来源 ↗
HLE	混合（Choice	11.0	20.4	12.3	来源 ↗
POP909	混合（Choice	10.2	74.6	12.6	来源 ↗

同族条目（10）

型号	参数	Decision Index	S1MB	Vision	榜单
jaredpalmer/kev-9b 当前	7.9B（活跃 6.9B）	43.3	42.4	—	s1mb, di
kev-0.5b	4.2B（活跃 358M）	—	10.1	—	s1mb
Kev 27B	28B	58.8	—	—	di
Kev 4B r10	4.7B	39.5	—	—	di
Kev 0.8B r15	870M	13.7	—	—	di
kev-0.6b	597M（活跃 441M）	—	14.1	—	s1mb
jaredpalmer/kev-0.8b	753M（活跃 499M）	—	18.7	—	s1mb
jaredpalmer/kev-4b	4.2B（活跃 3.6B）	—	42.3	—	s1mb
kev-8b	7.6B（活跃 6.9B）	—	36.0	—	s1mb
kev-0.5b	4.2B（活跃 358M）	—	10.1	—	s1mb