标准答案不唯一时，怎样提供训练信号：示范、偏好与评分

先给比较双方相同的材料#

假设材料写道：

Cedar 模型在同一份验证集上，原方案成功 70 条，新方案成功 78 条，共 100 条。只记录了一次运行，没有独立测试集结果，也没有耗时记录。

用户问：“这次改动可以得出什么结论？请简洁说明。”

回答 A：

新方案在这份验证集上的成功率提高了 8 个百分点。但目前只有一次运行，尚不能判断提升是否稳定，也不能比较成本。

回答 B：

新方案全面优于旧方案，证明这种方法能够稳定提升模型能力，而且更适合部署。

依据材料，A 更合适。B 增加了稳定性和部署结论，却没有相应证据。这里的差异主要是结论是否受证据支持，不是文风是否讨喜。

再考虑回答 C：

这次验证结果从 70% 到 78%，净增 8 个百分点。建议补充重复运行、独立测试和耗时记录，再决定是否采用。

A 与 C 都可能合理。若用户只想知道已有结论，A 更直接；若还想知道下一步，C 更有帮助。偏好标准必须包含这类任务意图，不能只写“选更好的”。

示范与比较提供的信号不同#

在 SFT 中，我们给出一个值得模仿的回答。模型主要学习提高该回答的条件概率。

在成对偏好中，我们给出同一输入下两个回答及其相对选择。较优回答不一定完美，较差回答也不一定每句话都错。

这些反馈可以组合，但不能未经设计就互相替代。一个通过格式规则的回答，可能事实错误；一对回答里更好的那个，也可能仍然不适合作为 SFT 示范。

先确定不可违反的要求，再比较取舍#

对“解释实验结论”任务，可以把判断顺序写清楚：先检查是否忠于材料、有无无依据断言，再比较是否回答了问题、解释是否清楚、是否符合简洁要求。

这不是适用于所有任务的永久排序，而是当前任务的规范。它让“短但错误”和“稍长但准确”的比较有明确依据。

如果直接把准确、简洁、礼貌都各打五分再相加，可能出现事实错误被其他高分抵消的情况。是否允许这种补偿，是设计选择，不应由随手写下的总分公式决定。

一种起步方案是保留事实支持检查与表达偏好两个记录。事实支持明显失败的回答先标出问题，再对满足基本要求的回答比较表达。训练如何使用这些记录，后续再决定。

chosen 只是比较中的胜者#

假设两个回答都把“8 个百分点”写成“提升 8 倍”，其中一个还补写了耗时结论。我们可能认为前者相对没那么差，但它仍然错误。

如果不记录“两者都不合格”，后续直接把 chosen 导出成 SFT 数据，就会教模型重复这个错误。

因此，比较记录最好保留绝对可接受性或错误标记。成对排序和“是否能交付”是两个维度。

InstructGPT 将示范、比较数据和后续优化区分为不同阶段；其对齐目标也依赖所采用的标注群体与规范，而不是抽象地代表所有人的价值判断。InstructGPT 方法与讨论

对我们的任务，同样需要明确：是谁按什么规范作出的比较，规范覆盖了什么，又遗漏了什么。

平局和不确定不应该被强行抹掉#

A 与 C 可能都合格，差异很小。标注者也可能缺少必要背景，无法判断某个技术结论。

这些情况不应全部随机压成“左边赢”或“右边赢”。可以分别记录：明显偏好、轻微偏好、难分高下、两者都不合格、信息不足。

后续某个训练目标只接受严格二元标签时，可以按明确政策筛选、转换或采用支持其他反馈的目标。但转换过程会丢掉信息，要记录下来。

同样，“五个人中三个人选 A”不能直接理解成“A 有 60% 的概率事实正确”。它描述的是这些人对这对回答的选择比例，受样本数、标准与个人判断影响。

偏好分歧有时在提示任务定义不清#

如果一部分人始终选更短的回答，另一部分人重视解释限制，先检查提示是否明确了篇幅与用途。

分歧可能来自可修复问题：标注说明含糊、材料缺失、显示顺序或模型身份造成干扰。也可能是真实取舍：某些用户要快速结论，另一些要完整论证。

不应一律把不同意见称为噪声。先抽样阅读理由，区分规范缺陷、能力不足和合理偏好差异，再决定是否修订任务或保留不同条件。

研究反馈时，记录分项往往比只保留一枚胜负标签更有解释力。但这些理由是审核依据，不自动变成正确的模型推理链。

规则检查可以帮助比较，但有覆盖范围#

本例中，“70 到 78 是 8 个百分点”可以机械核对。“没有耗时记录，所以不能判断速度更快”也有明确的材料依据。

然而，一个回答是否把关键限制讲得清楚，通常还需要语义判断。不能因为几条规则通过，就给整段回答贴上绝对正确的标签。

反过来，可机械检查的算术不应完全交给风格偏好。一个写得流畅的错误数字，仍然应该被指出。

反馈设计的目标是让不同检查各司其职：确定性条件做明确核对，开放取舍按清晰标准比较，未覆盖部分保留边界。

在训练之前，先做一次小规模标注试验#

取一批提示，每条生成或人工编写若干候选。随机交换展示顺序，隐藏不必要的模型身份，让标注者使用同一份规则。

先检查他们是否能一致区分明显有依据与明显夸大的结论，再看合理回答之间的分歧。对少量样本重复标注，可以观察同一人的稳定性；对相同样本多人标注，可以观察群体分歧。两者不是同一个指标。

这一步产物不是一个训练分数，而是一份修订后的规范、带来源的比较记录和未解决问题清单。若大家连“稳定提升”需要什么证据都没有一致规则，先修规范比立刻运行 DPO 更有价值。

两个检查理解的问题#

第一，一对回答都包含错误，但其中一个错误更少。它能被标为 chosen 吗？如果能，为什么还不能直接把它当作合格 SFT 示范？

第二，五名标注者有三人偏好 A，能否据此宣称 A 有 60% 的事实正确率？还需要明确哪些条件，才能解释这个比例？

下一篇讨论偏好对怎样构建，把这些判断落到可训练、可审计的数据记录。