偏好分更高为什么未必任务更好：长度偏差、过度优化与独立测试

假设模型在一批偏好测试对上的胜率从 0.60 涨到 0.80。训练损失在降，KL 也在控。

这支持它在该评审标准下更受偏好，但不足以证明任务能力改善。胜率是评审给的分数，是同一套偏好的另一种读法；任务正确性是另一件事。两者之间不是恒等关系，优化压力增大时，两者可能分离，并非必然如此。

本篇用同一组偏好对把这个分离算出来，再讨论长度偏差、奖励过度优化、评审模型偏好，以及必须单独准备的独立测试集。数字是教学算例，不是训练成绩。

同一组偏好对，两种量#

沿用本卷的 Cedar 实验记录和偏好对的构造方式，准备六对回答。每对记录两件事：两边各有多少 token，以及由独立核对得出的事实是否成立。

对	chosen 长度	rejected 长度	chosen 正确	rejected 正确	标注
P1	42	30	是	否	chosen
P2	51	38	是	否	chosen
P3	47	40	是	否	chosen
P4	33	45	是	否	chosen
P5	28	31	否	否	两者都不合格，排除
P6	40	36	是	是	chosen（事实都对，差别在表达）

P5 按第一篇定的政策排除，不进入二元偏好训练。剩下五对进入下面的统计。

第一个量：长度基线。 如果只用一个规则”选更长的那个”来预测标注，能对上几对？

P1、P2、P3、P6 的 chosen 更长，P4 的 chosen 更短。所以长度基线的准确率是 $4/5=0.8$ 。

第二个量：长度优势与正确率优势的关系。 令长度优势 $d=\text{len}_c-\text{len}_r$ ，正确率优势 $c=\text{ok}_c-\text{ok}_r$ ，其中 $\text{ok}$ 取 1 表示事实核对通过、取 0 表示不通过。在五对上算皮尔逊相关：

\begin{aligned}d&=[12,13,7,-12,4],\\c&=[1,1,1,1,0].\end{aligned}

\begin{aligned}u_i&=d_i-\bar d,\quad v_i=c_i-\bar c,\\r(d,c)&=\frac{\sum_i u_i v_i}{\sqrt{\sum_i u_i^2\sum_i v_i^2}}\\&\approx0.044.\end{aligned}

长度优势与正确率优势几乎不相关（ $r\approx0.04$ ）。与此同时，一个只用长度的预测器在这份数据上却有 80% 的准确率。

这两个数字放在一起就是本篇的核心：在这五对数据里，预测偏好标签很准，不等于能够判断事实正确性。接近零的样本线性相关不能证明统计独立，更不能证明长度与正确性在其他任务里无关。这里只演示一条长度规则，没有训练奖励模型。

再看 P4。chosen 只有 33 个 token，比 rejected 短，却是对的；rejected 45 个 token，把”提高了 8 个百分点”写成”提升 8 倍”。长度基线在这一对上选错了，事实核对选对了。

在另一个划分上，偏差会显形#

设想把上面五对作为训练候选，另构造四对评测样例。这里没有实际训练；下面的评审选择也是教学设定：

对	A 长度	B 长度	A 正确	B 正确	评审选择
E1	60	28	否	是	A
E2	55	25	否	是	A
E3	52	31	否	是	A
E4	30	44	是	否	A

假设 A 始终来自待测系统、B 来自固定基线，评审在四对上都选了 A，则 A 对 B 的评审胜率是 100%。但独立核对给出的正确率是：

指标	数值	读法
A 对 B 的评审胜率	1.00	由四次构造选择计算
长度基线与评审一致	0.75	这四对中有三对选择相同
评审所选回答的独立正确率	0.25	只有 E4 成立
长度规则所选回答的独立正确率	0.00	四对全错

这组反例表明，偏好选择、与评审一致、事实正确，是不同指标。长度规则与评审有 75% 一致率，却没有选中任何正确回答。

但表格不能告诉我们评审为什么选 A。长度偏好、位置偏好或其他特征都可能解释这些选择；E4 选对，也不能证明它识别了错误。需要控制回答内容和呈现方式才能进一步区分原因。

奖励过度优化：代理会跑在目标前面#

优化不完美的代理指标，可能让代理分数提高而目标表现退化。Gao、Schulman 与 Hilton 的研究用固定的“金标准”奖励模型提供合成标签，再研究优化代理奖励时金标准分数如何变化。金标准仍是模型，不应写成无误的真实人类效用；结果也不是所有任务必然退化的定律。Scaling Laws for Reward Model Overoptimization，arXiv:2210.10760

用一个教学检查点表把这条曲线画出来。表中的五个点是构造出来的教学设定，用于说明形状，不是任何一次运行的记录：

阶段	代理奖励	评审偏好胜率	独立正确率	平均长度
SFT 后	0.50	0.50	0.60	120
阶段 1	0.60	0.62	0.58	145
阶段 2	0.69	0.71	0.49	190
阶段 3	0.78	0.78	0.31	260
阶段 4	0.84	0.80	0.18	410

代理奖励从 0.50 升到 0.84（+0.34），评审胜率从 0.50 升到 0.80（+0.30），独立正确率从 0.60 掉到 0.18（−0.42），平均长度涨到原来的 3.42 倍。

用脚本复算这些列之间的相关系数。记代理奖励为 $p$ ，评审偏好胜率为 $w$ ，独立正确率为 $q$ ，平均长度为 $m$ ：

\begin{aligned}r(p,w)&=0.987,\\r(p,q)&=-0.949.\end{aligned}

\begin{aligned}r(m,w)&=0.840,\\r(m,q)&=-0.976.\end{aligned}

代理奖励与评审胜率几乎完全同步（ $r=0.99$ ），看上去一切正常；代理奖励与独立正确率却已经是强反向（ $r=-0.95$ ）。同时长度和评审胜率高度相关（ $r=0.84$ ），长度和正确率强反向（ $r=-0.98$ ）。这些相关系数只描述五个构造点，不能证明长度导致了退化。

只看第一列和第二列，任何曲线都不会报警。因此偏好分有其测量意义，却不能单独支撑任务正确性改善的结论。

评审模型偏好是什么，它自己的偏差#

“评审模型偏好”指用一个模型替代人类来判断哪条回答更好。它在第四卷里出现时是数据来源，在这里是另一个问题：评审自己也是一个有偏好的近似，而不是事实的度量。

MT-Bench 与 Chatbot Arena 的研究讨论了 LLM 评审的位置、冗长和自我偏好等局限，并同时指出强评审模型与人类偏好的一致率可以达到较高水平。这两件事必须一起读：评审不是没用，但它的偏好有方向。MT-Bench 与 Chatbot Arena，arXiv:2306.05685

上游的标注也有同样性质。第二篇说过，人类偏好是”在给定条件和标准下更愿意选哪个”，而标注规范本身可能偏好更长、更自信、更结构化的表达。偏好学习里的长度利用工作把这件事量化了：DPO 同样会利用长度，即使不单独训练奖励模型；作者同时指出 GPT-4 评审存在众所周知的冗长偏好。Disentangling Length from Quality in DPO，arXiv:2403.19159v2 更早的长度相关性研究也报告了 RLHF 结果长度与质量之间的系统性关系。A Long Way to Go: Investigating Length Correlations in RLHF，arXiv:2310.03716v2

还有一条来自第四篇的机制：DPO 的损失只约束两个对数比值之差，绝对概率可以同时下降。偏好更高的回答，其绝对生成概率反而更低，是已知会出现的结果。Unintentional Unalignment，arXiv:2410.08847v4，ICLR 2025

独立测试集要真的独立#

要发现上述任何一种退化，都需要一份没有参与训练的评测材料。它的独立性有三个层次：

不参与奖励训练。 如果某对回答既进了奖励模型的训练数据，又出现在奖励模型的测试集上，测试结果可能混入记忆与过拟合，不能作为独立泛化证据。

不参与模型选择。 用测试集挑检查点、挑 beta、挑提示模板之后，它就变成了调参集，不再独立。可行的做法是三份划分：训练集、验证集（用于选模型）、最终测试集（只在结束时用一次）。

不与训练数据共享来源。 第二篇说过，同一提示的候选要留在同一划分里；这里还要再加一条，同一原始材料改写出来的多个提示也要放在同一划分，不能跨训练、验证和测试分散。

独立性要检查实际数据血缘与使用历史：是否共享材料、是否参与梯度更新、筛选或模型选择。更换标注规则后结论变化，说明评价标准敏感，并不能用来判定数据是否独立。独立材料与独立评价信号是两个不同维度。

把两个指标分开报告#

最直接的改法是报告口径：偏好胜率和独立正确率必须分列，各自写清分母和来源，任何一个都不能替代另一个。

报告项	定义	必须写清
偏好胜率	评审或偏好对判定的胜出比例	评审是谁、提示模板、是否交换顺序复测
独立正确率	由独立核对给出的正确比例	核对规则、不可判定的处理、是否计入分母
长度分布	两类回答的平均长度与差值	截断口径、是否按长度配对
不可判定与排除	双方都不合格、信息不足的条数	排除政策与执行顺序

几条配套要求：

偏好胜率与独立正确率写在同一张表的不同行，不合并成单一”综合分”。
预先规定不可判定样本的口径。可同时报告全体中的已确认正确比例、可判定样本条件正确率和可判定覆盖率；不要悄悄排除困难样本或把未知事实标成错误。
报告长度分布。长度变化不自动使胜率不可比，但需要明确测量目标；必要时补充分层或长度控制分析，不把控制后结果当作唯一真实效果。
胜率上升而正确率不变或下降时，结论只能是”更符合偏好”，不能是”任务更好”。

假设与边界#

本篇的算例是构造出来的教学设定：六对训练样本、四对评测样本、一个五点检查点表。它们用来说明偏差的形状和可计算性，不代表任何真实数据集的统计。

真实数据里长度优势与正确率优势的关系会随任务而变，评审与人类的一致程度也随评审模型、提示和领域而变。本篇不能给出”长度偏差有多严重”的普遍结论。

一个对照设计#

要区分”评审被冗长吸引”和”任务本身偏好详细回答”，做一个长度配对实验。

先做一个诊断：在相同提示与评分规范下，按长度区间分层报告偏好和正确性。分层后变化只能提示关联，不能直接确认长度的因果效应，因为样本内容和难度可能也变了。

更强的对照是对同一回答制作简洁版与扩展版，独立核对关键信息和事实是否保持一致，再随机交换呈现位置，盲评其与固定基线的比较。保留未通过内容一致性审核的数量与原因；重复按原始提示聚合，避免把多个改写当独立样本。

即使如此，扩写也可能改变可读性和信息密度。结论应限定为这套受控改写下的效果，不写成“胜率下降必然说明标注规范有问题”。另一项任务若本来要求详细解释，长度还可能是有效帮助的一部分。

配套的第三个划分同样必要：奖励模型的训练集、调参用的验证集、只在最后用一次的测试集，三者按来源分开，并且记录每一条数据出现在哪一份里。

一手来源#

Gao、Schulman 与 Hilton，Scaling Laws for Reward Model Overoptimization，arXiv:2210.10760（2022-10-19），代理与目标的分离：https://arxiv.org/abs/2210.10760
Park 等，Disentangling Length from Quality in Direct Preference Optimization，arXiv:2403.19159v2（2024-09-09），长度利用与评审冗长偏好：https://arxiv.org/abs/2403.19159
Singhal 等，A Long Way to Go: Investigating Length Correlations in RLHF，arXiv:2310.03716v2（2024-07-10）：https://arxiv.org/abs/2310.03716
Zheng 等，Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena，arXiv:2306.05685（NeurIPS 2023 Datasets and Benchmarks Track），位置／冗长／自我偏好偏差：https://arxiv.org/abs/2306.05685
Razin 等，Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization，arXiv:2410.08847v4（2025-04-27，ICLR 2025）：https://arxiv.org/abs/2410.08847

两个检查理解的问题#

第一，假设一份偏好测试集上胜率 80%，而同一批回答的独立正确率只有 30%。你会怎样设计第三个划分，才能判断这 50 个点的差距来自评审偏差、长度捷径，还是任务本身的复杂性？

第二，如果把偏好胜率从 0.60 提高到 0.80 的同时，平均长度从 120 涨到 410，你会怎么向只关心任务效果的人陈述这次改动？哪些量必须同时给出？

第四卷到这里结束。第五卷转向推理任务的强化学习：把采样、检查器反馈和策略更新接成一条回路，并讨论奖励究竟检查了什么；上一篇讨论的在线采样正是这条回路的前半段。本站偏好对齐实验台可以在固定偏好下调节 beta 与代理偏差，观察代理奖励上升与真实效用回落的分离。

本篇完成的是算例构造与指标口径讨论，没有训练模型、没有构造真实偏好数据集，也没有在任何真实基准上测过奖励与正确性的关系。表中的六对、四对和五个阶段都是教学设定。

偏好分更高为什么未必任务更好：长度偏差、过度优化与独立测试

🌿 什么是数字花园与思想演进？

同一组偏好对，两种量#

在另一个划分上，偏差会显形#

奖励过度优化：代理会跑在目标前面#

评审模型偏好是什么，它自己的偏差#

独立测试集要真的独立#

相关不等于因果#

把两个指标分开报告#

假设与边界#

一个对照设计#

一手来源#

两个检查理解的问题#

文章概念网络

引用本文

本篇知识星丛与滑动侧栈

标准答案不唯一时，怎样提供训练信号：示范、偏好与评分

偏好对怎样构建：共同上下文、候选差异与标注偏差

奖励模型怎样从比较中学习：分数差、概率与失效边界

DPO 为什么能直接使用偏好对：目标、参考策略与 beta 的作用

离线偏好优化与在线采样有什么区别：固定答案池与重新生成

DPO 偏好对齐与古德哈特

1B 模型训练旗舰工作台