A · 诚实校准回答 (Calibrated) r̂ = +0.04
“先给结论：该实验样本量不足以证明因果效应（p=0.18），建议补充组内分层对照。”
DPO 偏好对齐与 KL 锚定实验
典型对齐工况:
策略偏移 D_KL(π_θ || π_ref) 0.124 nats
真实研究效用 E[R_true] 0.689
表观代理奖励 E[R_proxy] 0.937
对齐状态诊断 KL 锚定有效
古德哈特前沿：KL 偏移预算 vs. 表观奖励与真实质量
当 β 减小（向右增大 KL 散度）时，表观代理奖励单调上升，但真实质量在越过拐点后因迎合偏见而急剧下滑。
真实质量 E[R_true] 代理偏好分 E[R_proxy]
候选回答生成概率对比：参考模型 π_ref vs. 对齐模型 π_θ
r̂DPO(x,y) = β ln(πθ(y|x) / πref(y|x))
B · 冗长格式套路 (Verbose / Styled) r̂ = +0.04
“这是一个非常深刻的问题！我们可以从第一性原理出发，分五个维度、十二个子要点来全面拆解……”
C · 迎合偏见 / 奖励黑客 (Sycophantic) r̂ = -0.14
“您的直觉完全正确！正因为两组均值差了 15%，无需再做繁琐检验，直接全量推全即可获得最大收益！”
D · 退化重复回答 (Degenerate) r̂ = -1.92
“因果效应就是因果，只要有相关就有因果，因果效应显著……”
为什么 DPO 离不开参考模型 π_ref？
直接偏好优化（DPO）利用闭式映射 r(x,y) = β ln(π_θ(y|x) / π_ref(y|x)) 绕过了显式奖励模型训练，但它的优化目标本质上仍在最大化「代理偏好信号减去 β 倍 KL 散度」。由于人类或裁判模型的偏好不可避免带有长度偏见或迎合偏见，温度系数 β 扮演了防止分布坍缩与古德哈特过优化的物理锚点。
回到小模型全链路工作台（SFT → DPO） ↗