Article content is shown in its original language.
AI 评测新闻不只是研究圈的争论。公司选择模型、个人选择订阅、团队决定是否把客服或代码交给 Agent，都会被一张榜单影响。如果分数来自不同提示词、不同版本、不同硬件和不同成本，最高分可能只代表一场不可复现的比赛。
榜单和普通人的关系，是买错工具后的时间
Hugging Face 介绍 UK AISI 与 EvalEval 的复现方向，社区讨论提供第二类热度信号。文章可以确认“评测复现成为问题”，不能把项目介绍写成所有基准已统一。
一个分数其实包含六个隐藏变量
至少要写清模型版本、系统提示词、输入集、评测器、运行参数和成本。还要标注是否有人工筛选、是否允许工具、是否存在缓存、是否统计失败请求。少一个变量，别人就只能相信发布者，而不能重跑。
这解释了为什么同一模型在不同榜单上会出现不一致。差异不一定是造假，也可能来自任务定义、样本难度、评分器偏好或重试规则。先把变量摊开，争论才有可验证对象。
EvalEval 的价值在于“记录”，不是再做一个总榜
可复现评测的工具应让输入、输出、配置、版本和失败留档。它不必把所有任务压成一个数字，而是允许读者按任务类型、成本和风险查看结果。一个低分但稳定、便宜、可解释的模型，可能比一个高分却无法复跑的模型更适合生产。
这符合“器与道”的分工：框架是器，复现规则是道。没有规则，仪表盘只会把不同口径的数字排在一起；有规则，团队才知道哪一项差异来自模型，哪一项来自测量。
企业评测最常见的三个假象
第一是只跑成功请求，忽略超时、拒答和工具失败。第二是把人工改写后的答案算作模型答案。第三是只比较准确率，不比较延迟、token、人工复核和数据风险。三个假象都会让采购表看起来漂亮。
更稳妥的评测要保存原始响应，并把人工修订作为另一列。质量、成本、速度和风险放在同一张结果表；如果任务有强制规则，就把规则失败单列，而不是把它平均进一个总分。
一个下午能做的复现试验
选一个公开模型和一组公开问题，冻结版本、提示词与输出格式。运行三次，保存原始响应、错误日志、耗时和费用；第二个人在另一台环境复跑。若结果不同，先查版本和输入，再查评测器，最后才讨论模型能力。
最小验收不是“分数相同”，而是差异可以解释。对带工具的任务，还要保存工具调用和外部页面版本；对中文任务，要保留原始编码和分词设置。复现成功后再扩大样本，否则只是把小样本的偶然性放大。
研究团队与采购团队要用不同语言
研究团队关心新颖性、泛化、误差分布和对照实验；采购团队关心 SLA、单位任务成本、数据边界和回滚。两套语言都需要同一份底层记录。若研究结果只在论文中，采购无法接手；若采购只看厂商分数，研究无法复核。
评测的价值不在于消灭不确定性，而是把不确定性放到可定位的位置。知道哪个版本、哪类样本、哪一步最容易失败，比拿到一个看似精确的总分更有行动价值。
从今天起，看到榜单先问五个问题
谁提供数据？模型版本是什么？失败是否计入？成本如何计算？别人能否用同一输入复跑？五个问题没有答案时，分数只能作为线索。答案齐全时，仍要做自己的小样本验证。
AI 的名实关系在榜单上很容易失真：名字是能力，分数是证据，复现才是责任。把这条链补上，团队才能在模型发布频率越来越快的环境里保住自己的判断权。
复现的终点是可解释的差异
两台机器跑出不同结果时，先保存原始输入、模型版本、提示词、评测器、重试、工具调用、失败请求和费用。差异能被定位，结果才有使用价值；如果差异无法解释，就不能把小样本分数带进采购或上线决定。
对个人用户，五个问题足够作为第一道筛选：谁提供数据、版本是什么、失败是否计入、成本怎样算、别人能否复跑。答案不齐时，榜单只能作线索。
榜单之外，企业需要自己的测量协议
公开基准适合发现方向，企业上线前还要建立和业务损失相关的样本。把失败请求、人工修订、延迟、成本和数据风险分开保存，才能在模型更新后判断退化。没有自有协议，采购团队只能追逐每周变化的总榜。
复现不是把世界变成一个固定分数，而是让差异有来源、让决定有依据、让失败有责任人。
一套榜单无法代替一套工作流
研究团队可以用公开基准寻找模型方向，产品团队要冻结自己的输入集和版本，采购团队要把质量、延迟、费用和数据边界放在同一张表。上线后还要保留回归样本，防止模型更新把旧结论悄悄推翻。
复现的价值不是让所有人得到相同数字，而是让差异可以被定位、被解释、被修复。对于个人用户，先做十到几十条自己的样本；对于企业，再扩大到带失败分支的任务集。
把复现写进更新流程
每次换模型、提示词或评分器都生成新的配置与结果文件，旧结果只读保存。出现分数变化时，先比较输入、版本和失败样本，再判断能力变化。对外公布结果时给出成本、延迟和失败率，别只给一个总分。
一张榜单能引起注意，一份可回放的测量协议才足以支撑选择。
最后看一项：结果能否交接
把配置、输入、输出、失败和成本放进一个可读目录，让另一位同事不依赖原作者的记忆完成复跑。交接成功后，评测才从一次演示变成组织能力。
复跑要留下原始响应
不要只保存最终分数。原始响应、错误、重试、工具调用和费用是结果的一部分；缺少它们，第二支团队只能复述结论，不能检查结论。
让第二个人能从目录复跑
目录至少包含模型版本、系统提示词、输入文件、评测器版本、运行参数、原始输出、错误日志、重试记录、工具调用、成本和时间。第二个人在另一台机器上复跑，若结果不同先定位输入、版本、评分器和失败分支，再讨论能力。
企业把这个目录接进模型更新流程，榜单就变成了起点而不是终点。个人用户也可以用几十条自己的任务建立小样本基线，避免被一个没有分母的总分牵着走。
给评测复现留一个停损点
版本、输入或失败记录不全时，不把分数带进采购决定，先补齐运行记录。
把榜单分数还原成可回放任务
一项评测至少要固定模型版本、系统提示、输入集、评分器、运行参数、成本、失败请求、重试和工具调用。第二支团队在另一台机器上复跑，结果不一致时，先比较输入和版本，再比较评分器和失败分支，不能一看到差异就归因于模型能力。企业还要保存人工修改和数据风险，因为生产选择关心的是任务通过率、返工时间、延迟、费用和回滚。
复现的价值不是制造一个永远不变的数字，而是把变化放进可解释的位置。能回放，才能采购；能定位，才能修复；能撤回，才能上线。
把证据写成下一步动作
评测结果要让第二个人复跑、解释和交接。原始输入、输出、错误、成本与版本被保留后，分数才可能进入采购和上线决定。
给结论加一道边界
只要第二支团队无法按同一配置复跑，榜单分数就只能作为线索，不能独立支撑上线决定。
把未知事项留在记录里
未查到的范围不要用推测填满；把未知事项、负责人和下一次回读时间写清楚，下一步才有可执行的入口。
复现结果怎样进入决定
当差异可定位、成本可计算、失败可回放，评测才可以进入采购、上线和回滚流程；否则它只能停在新闻热度层。
对小团队，先保存几十条任务的原始结果，再决定是否扩大样本。
原稿日期：2026-09-23。