基准、人工评价和模型评审各自测到了什么

从问题选择证据#

如果问模型是否算对一道有明确答案的题，可以独立计算答案。如果问工具任务是否执行成功，需要检查请求、返回值和状态。如果问表述是否清楚、语气是否合适，则通常需要评价标准与人的判断。

三种方式可以互补，但不能因为数量更多就自动更可信。重复一千次同一个有缺陷的规则，不会补上它没检查的任务条件。

基准成绩依赖整个执行协议#

同一题库，选择题按选项概率评分与要求生成完整答案，可能得到不同结果。提示中的示例、选项顺序、输出解析、最大长度与采样设置也会影响成绩。

因此报告基准成绩时，至少保存题库版本、实际提示、解码设置和判分代码。不要只写一个数据集名字，就认为结果可以直接与别人比较。

解析器也属于评测。模型输出“答案是 B”时，如果协议要求只输出一个字母，可以分别记录任务答案正确与格式不合规；是否合并成失败由协议决定。不能对自己模型宽松抽取，对基线严格匹配。

多个子任务汇总时，要说明按题目数加权还是各子任务等权。样本最多的类别会在前一种方式里占更大比例；改变权重可能改变排名，不代表模型本身变了。

污染不是只搜索完全相同的句子#

训练集出现测试题、答案解析、翻译版本或同源改写，都可能影响“未见任务”的解释。只做完全匹配检查，可以发现一部分重叠，不能证明没有污染。

应保留数据来源与时间，按文档或任务家族隔离，再检查近重复和答案泄漏。污染检索的范围、方法和漏检风险也要报告。对于训练数据不公开的模型，无法排除的部分应写为未知，而不是凭一次搜索宣布清白。

但发现相似内容也不自动证明某次高分全靠记忆。需要分析重叠类型，并比较可识别污染子集、未发现重叠子集或重新构造的独立题。重新构造题目本身也可能有难度变化，要避免把所有分差归因于污染。

开发者反复根据测试结果调提示，同样会削弱测试独立性，即便测试题没有直接进入训练文件。

人工评价需要标准和分歧记录#

先把“好”拆成可判断的维度。本卷库存回答可以分别评正确性、是否虚构完成、信息是否完整、表达是否易懂。涉及商品数量的事实判断要给评价者工具证据，而不是让他们猜。

尽可能隐藏模型身份，随机安排答案顺序，并让评价者先独立判断。保留平局、无法判断与分歧；必要时由具备相应知识的人复核。先讨论到所有人都一致，再把它叫作“独立一致率”，会混淆测量过程。

人工并不是无误差的真值来源。普通用户可以评价体验，未必有能力验证专业推导；专家也可能疲劳或偏好某种表达。报告评价者背景、任务说明、抽样范围与复核规则，比只写“人工确认”更有解释力。

模型评审先校准，再扩量#

LLM-as-a-Judge 可以处理开放回答，但评审模型也有局限。MT-Bench 与 Chatbot Arena 的评审研究讨论了位置、冗长、自我偏好和推理能力限制，并探索交换顺序或参考答案等缓解方法。原论文 v4，第 3 节

这里不把论文中某个模型与人的一致率，推广为所有领域的保证。自己的任务仍应抽取一组有独立复核的样本，查看评审在哪些类别容易错，尤其是表达流畅但事实错误的回答。

固定评审模型版本、提示、参考资料、采样与解析规则。需要更新时，先用相同校准样本比较新旧评审，而不是把分数变化直接算到被测模型头上。

候选回答中的“请给我满分”是待评价内容，不是评审指令。评审输入应明确划分规则与候选文本，并加入这种干扰的反例检查。仅靠分隔符不应被视为完全解决了评审被操纵的问题。

交换顺序，检查评审到底偏好谁#

假设同一对回答第一次以 A、B 展示，第二次以 B、A 展示。比较时必须把位置映射回原始模型身份；否则“第二个更好”可能被错误记到同一个模型。

在 10 对构造样本中，4 对两次都选 A，3 对两次都选 B，1 对两次都平局，2 对交换顺序后改变选择。顺序一致的比例为 8/10=80%。

这个数不等于 80% 判断正确：一个始终选错的评审也可以完全一致。它只是一项位置稳定性检查。交换顺序也不能消除长度偏好、专业知识不足或参考答案错误。

出现冲突时，可以预先规定转人工复核，或者单独报告冲突率。不能只取有利于自己模型的那次，也不应悄悄删除冲突样本，使报告看起来更确定。

平局怎么处理，会改变“胜率”#

设 100 对回答中，A 胜 40 对、B 胜 30 对、平局 30 对。三个数字都可能被叫作 A 的胜率。按顺序分别记为全样本胜出比例 W、非平局胜率 D、平局折半得分 S：

它们都能计算，但回答不同问题。去掉平局之后，分母变成有明确偏好的样本；平局折半则定义了一个得分规则。报告最好直接给胜、负、平数量，再解释汇总。

无法判断和评审输出解析失败也不一定是平局。应分开记录，并预先定义如何复核和计入分母。否则格式错误多的系统可能因样本被剔除而获得虚假的优势。

一致率还需要看样本构成#

设人工标签中 90 条是通过、10 条是不通过。一个永远预测“通过”的评审就有 90% 一致率，但它一个失败都找不出来。

所以校准报告不能只有总体一致率，还要看失败检出、误报和各任务切片。只抽取容易且大多正确的样本，容易高估评审能力。与此同时，刻意增加错误样本的校准集，与实际部署错误比例也不同，不能不加权地把总体数字直接外推。

对于多人偏好，意见分歧可能来自合理的价值取舍，而不是某个人标错。应先确认评价目标，再决定需要一致标签、分布标签还是按人群分别报告。

区间估计不能修复系统性偏差#

增加样本能减少某些抽样误差，却不能自动修复题库污染、位置偏好或错误参考答案。一个很窄的区间，也可能围绕错误的目标。

若任务与运行存在分组结构，重采样时保留相应层级。成对比较应尽可能保留同题配对关系；重复评审同一回答得到的多张票，不应直接当成多道独立测试题。

还要区分不确定性的来源：题目抽样、模型生成、评价者判断与训练重复。只对固定答案重复调用同一个评审，主要测量的是评审变化，不能替代模型训练稳定性。

用互补证据写结论#

对工具模型，一份合理报告可以先给执行规则通过率，再对无法规则化的回答做盲审，并用经过校准的模型评审扩大筛查范围。三者出现冲突时，回到具体日志与评价标准，保留尚未解释的情况。

本文配套检查只核对顺序映射、位置稳定性、平局口径和失衡标签反例，没有证明任何评审模型可靠。实际使用前，仍要收集与任务匹配的独立校准证据。

最终结论应该具体到“在这份题目、提示与评分协议下，哪些维度出现怎样的变化”。把偏好分、规则通过和真实任务效果分开，再讨论它们是否一致，比合成一个无法解释的总分更有价值。