离线偏好优化与在线采样有什么区别：固定答案池与重新生成

先分开数据来源与更新公式#

离线偏好优化在训练期间使用固定比较数据。在线偏好优化持续生成回答并取得新反馈；实际系统也可能分轮收集、重复使用一批数据，而不是每次参数更新都重新生成。

OAIF 的一种做法是每次从当前模型生成两条回答，请评审选择较好的一条，再用偏好损失更新。Direct Language Model Alignment from Online AI Feedback，第 3 节 TRL 0.23.1 的 Online DPO 接收提示数据，并支持评审或奖励模型提供反馈。Online DPO Trainer

on-policy强调样本是否来自要评价或更新的策略分布。固定历史数据通常不再匹配当前策略，但差距不一定随训练单调增大；在线系统也可能因为异步生成、数据复用而使用稍旧的策略样本。

不要把在线等同于 PPO。Online DPO 仍可使用偏好对损失；PPO 的旧策略概率比与裁剪，是另一种具体更新方法的组成。它们不能作为“只要在线就必须加”的通用步骤。第五卷会单独讨论PPO 的概率比与裁剪。

四个回答，只有两条比较#

固定一个提示，把四条完整回答看成四个类别，用四个独立分数 z 经过 softmax 得到概率。这里不是共享参数语言模型，只是便于手算的分类模型。

已有标注只告诉我们 y1 优于 y3、y1 优于 y4。它没有说明 y2 比其他回答好还是差。

按上一篇的 DPO 定义，beta=0.1，两对的结果是：

拉动系数是 beta·sigmoid(−beta·h)，它会随当前概率比改变。因此不能说它“与当前策略概率无关”。离线数据让低概率的 y1 仍被拿来比较，不必等它先被当前模型采到；这是数据出现频率与损失系数的区别。

没出现在比较里，概率也会变化#

对两条损失求和，使用普通梯度下降，学习率记作 eta。由于参考均匀，h=z_chosen−z_rejected，softmax 的归一化项在相减时抵消。因此分数更新为：

这里更新的是分数 logits，不是对数概率。若把两条损失取平均，以上更新还要除以 2。分数变化之和为零，也不是概率归一化的充分条件；概率之和为 1 是 softmax 保证的。

对数概率的一阶变化要减去所有分数变化的概率加权平均：

本例加权平均除以 eta 约为 −0.0387。因此 y2 虽然自己的分数没有变化，对数概率的一阶变化却约为 +0.0387·eta。脚本用小步长实际更新后重新计算 softmax，验证了这个结果。

没有直接比较监督与概率完全不变是两回事。真实语言模型还共享词表和网络参数，未出现回答可能因泛化或干扰而变好，也可能变差。固定池无法直接告诉模型这些新回答的质量，却不意味着模型永远生成不了它们。

采到一次，不等于有一份有效比较#

假设暂时固定上述分布，独立采样 200 条，四类回答的期望数量是 10、30、60、100。期望不是每次运行必然得到的计数；策略开始更新后，也不能把这组概率沿用到所有训练步骤。

y1 的概率为 5%，独立采样 N 次至少见到一次的概率是：

N=20 时约为 64.2%，N=200 时约为 99.9965%。这是覆盖概率，不是训练成功概率。

若每个提示独立采两条，恰好一条是 y1 的概率为 2×0.05×0.95=0.095。100 个这样的候选对，期望有 9.5 对包含 y1 和一个其他回答。它们是否形成有效偏好，还取决于对手是谁、质量差异、平局处理和评审是否可靠。

所以不能直接宣布“在线关于 y1 的梯度被稀释 20 倍”。实际梯度还依赖配对规则、损失归一化、当前概率差、反馈以及样本复用。采样罕见好答案可能昂贵，但固定池重复训练也不等于反复获得独立的新证据。

新反馈补充覆盖，也带来新的错误来源#

在线循环有机会比较之前未标注的 y2，从而得到新的质量信息。这个信息是否有用，取决于评审能否识别优劣。如果评审把更长、更自信当成更正确，持续收集只会不断提供带偏差的信号。

评审是反馈来源，不等于生成策略本身。应分别记录生成模型、评审模型或检查器、提示模板、版本与失败处理。可执行检查器也可能耗时、超时或漏判，不能因为能运行就视作完美奖励。

同一条旧比较的标签不会因策略更新自动失效。更常见的问题是，新输出已经落在比较数据没有覆盖的区域；这时应补充独立评价，而不是把所有旧数据判作无用。

成本表先统一“回答”和“偏好对”#

下面构造一个明确口径：每步处理 100 个提示，每提示一对回答；离线池恰有这 100 对，重复使用 50 步；在线每步重新生成 100 对。假设没有重试、平局重采样，每对只评审一次。

这里数的是回答和评审事件，不是底层模型前向调用或网络请求。批处理会合并请求，生成又包含多个 token 步，不能把“200 条回答”直接称为“200 次前向”。

如果用逐回答打分再比较，每步有 200 个回答评分，而不是 100 个成对评审；如果交换顺序复审，事件数还会增加。参考对数概率可针对固定回答缓存；在线产生新回答时，需要计算这些新序列的参考值，不能沿用旧缓存冒充零成本。

两组每步仍都需要训练计算。离线只是没有每步新生成开销，不是训练期间不消耗 token。要比较真实成本，应另外记录目标 token、生成 token、评分 token、墙钟时间和失败重试，不能把这张教学计数表当作速度测量。

怎样设计能解释差异的比较#

先明确研究问题。如果想隔离“刷新反馈”的作用，可以固定初始模型、提示分布、损失、参考策略、评审与每步偏好对数量，比较固定池与刷新池。它主要控制训练事件数，不代表总算力或反馈预算相同。

如果想回答“同样成本下哪种方案更好”，就应把数据准备、生成、评审与训练一起计入预算，允许两组训练步数不同。这是另一种实验，不能把两种公平口径混成一句“其他完全一致”。

两组都用未参与训练和选择的任务集，报告独立任务正确性、偏好胜率、失败类型、长度与成本。响应类型数量只能作为覆盖描述；数量更多且分数更高，并不能单独证明探索导致提升。固定池版本也可能通过泛化生成新类型。

进一步区分反馈质量与刷新效应，可以在预留子集上做独立评审，检查新比较是否真实增加有效信息。所有额外评价都计入研究成本，且不要把最终测试反馈继续用于训练。

与推理强化学习的区别#

Online DPO 用新采集的比较更新偏好目标；推理强化学习还会研究可验证奖励与策略梯度。原始 GRPO 的结果监督形式使用组内奖励均值与标准差计算相对优势，不是仅保留排序。DeepSeekMath，第 4.1.2 节

例如奖励 [0,1,2] 与 [0,1,100] 排序一样，标准化后的优势却不同。下一卷的GRPO 篇会进一步解释分组、方差和归一化的边界。

读完后可以检查两件事：为什么 y2 没有参与比较，概率仍可能上升？如果在线组用了更多生成与评审预算，你能声称它在相同成本下更好吗？

本篇完成的是局部 softmax 推导、采样算例和实验设计，没有进行离线／在线模型训练，也没有测量吞吐或 GPU 时间。下一篇回到偏好分与独立正确性，检查反馈到底代表什么。