策略梯度怎样使用奖励：从四种回答到 baseline

从四个候选开始#

沿用 a=2、b=12 时求最小 n 的任务。为了能完整手算，暂时只允许四种回答。

单次期望奖励 J 是 0.2。我们给四个候选各设一个可调的分数 z，再用 softmax 得到概率。这里的 z 是四个独立参数；真实语言模型通过共享网络生成 token 分数，远比这个例子复杂。

可以取 z_i=log p_i，得到表里的起点。把某个 z 增大，通常会提高相应概率，但其他概率必须一起变化，因为总和仍需为一。

直接算一次准确梯度#

在这个有限例子里，期望可以直接展开：

对 z_j 求导，利用 softmax 的导数，得到：

四个分量分别是：

第一项为正，说明沿这个局部方向增加正确候选的分数可以提高期望奖励。其余项为负，并不是检查器给它们发了负分，而是概率归一化把它们与正确候选联系起来了。

采用梯度上升，取教学步长 0.1，把 z 加上 0.1 倍上述向量，再算 softmax，正确候选概率约变成 0.203624。这个变化可以逐项复算，不能据此推断真实网络的一步更新一定改善全部题目。

真实回答太多，无法逐个枚举#

一个模型可以生成海量不同回答，我们不能把它们全部列出来求和。策略梯度的作用，是把这份全量计算改写成可以用采样估计的形式。

先固定一道题 x。设奖励 R(x,y) 不直接依赖训练参数，回答空间固定，并满足交换求和与求导所需条件。对概率为正的回答，有：

因此可以把期望奖励的导数改写为：

这就是这里需要的似然比梯度。检查器不用可微；可微的是模型赋给采到答案的 log probability。若奖励本身显式依赖 θ，还需处理相应导数，不能直接套这个只含固定奖励的推导。

OpenAI Spinning Up 的官方推导给出了同样的 log-derivative 变换及采样估计条件；本文把它缩小到一个可枚举回答空间，便于检查数值。策略优化推导

一次采样的更新为什么噪声大#

在四候选例子里，如果采到正确答案，R=1，关于 z 的梯度估计是：

如果采到其他任一答案，R=0，这个最简单估计器给出零向量。正确答案以 0.2 的概率出现，因此估计向量的平均正好是上一节的准确梯度。

无偏说的是重复采样后的期望，并不意味着每一小批都接近准确梯度。连续几次没有采到正确答案完全可能发生。增大样本量可以改善估计，但需要更多生成与评分成本。

也不能先只保留成功样本，再把它们当作未筛选的当前策略样本套原式。筛选改变了分布；若改做成功样本的监督微调，那是另一个明确的目标。

baseline 为什么能减而不改期望#

假设给这道题设置一个不随本次回答变化的数 b(x)，把奖励换成 R−b。这里的 b 叫 baseline，可以理解为“这道题通常能拿到多少分”的参照。

它不改变期望梯度，原因不是经验，而是下面这个恒等式：

展开后，它就是全部概率之和一的导数。因此，不依赖本次动作的 b 乘到这个零向量上，不增加期望梯度。

回到例子，取 b=0.2。成功样本的权重变成 0.8，失败样本变成 −0.2。失败样本现在也会贡献非零估计，全部样本的加权平均仍然是原梯度。

但任何 baseline 都降低方差是错的。对第一个 z 分量，本例 b=0 时估计方差为 0.1024，b=0.2 时为 0.0576，b=2 时则增大到 0.2304。这些数描述的是这个坐标的单样本方差，不是整个网络梯度的统一方差。

常用的状态价值估计能提供参照，但期望奖励也不必然是所有参数坐标、所有度量下的最优方差 baseline。讨论“更稳定”时应说明实际估计和比较方式。

baseline 不能偷偷包含自己的答案#

“同题所有回答的平均奖励”看起来是自然的 baseline，却需要检查它是否包含正在加权的那个样本。

设独立同分布采 G 个回答，用这 G 个奖励的均值给每个样本减去 baseline。因为每个样本的奖励也进入均值，简单奖励加权估计的期望会变成原梯度的 (G−1)/G。G=1 时甚至直接为零。

这是当前这个简单估计式的结论，不是说所有组内方法都无效，也不是对 GRPO 完整目标的概括。若使用其余 G−1 个样本的均值，即 leave-one-out baseline，在独立采样、G>1 等前提下，不包含自己的奖励，可以恢复这里需要的独立性。若再除以样本标准差，又引入了新的随机权重，不能继续未经证明地称为相同目标的无偏估计。

后文讲组内算法时，需要分别看“减均值”“除标准差”“裁剪概率比”和“如何平均 token”，不能把它们揉成一句“降低方差”。

回到语言模型，答案概率怎样计算#

一段回答的 log probability 是逐 token 的条件 log probability 之和：

所以终局反馈可以乘到这份总和上，再通过网络反向传播。对于这里没有中途奖励的设定，这是从整段动作走回 token 的连接；它不代表每一个 token 都被检查器独立判为正确。

有效位置只包含要优化的生成动作，不能顺手把 prompt 和 padding 算进去。正常结束标记按轨迹定义处理，长度截断按采样协议记录。沿用第二、三卷的方法，先检查标签位置和 mask，再看训练曲线。

如果为了“不同长度公平”而把每段求和改为除以自己的长度，就改变了不同回答的权重。对固定回答空间和不变长度定义，它对应奖励按长度缩放后的另一种估计，不再自动等于原来最大化完整任务成功率的梯度。

同样，温度和 top-p 会改变实际采样分布。生成时用一种分布、计算 log probability 时用另一种分布，不能直接援引上面的同分布无偏证明。实际训练需要明确行为策略与目标策略，或者采用合适的校正；只记录模型名称是不够的。

loss 的负号与停止梯度#

优化器通常最小化 loss，而前面是最大化奖励。因此单批样本常写成负的“权重乘 log probability”均值。实现示意为：

1
# 示例张量接口，不是完整训练脚本。
2
# logp: 每条回答的有效生成位置 log probability 之和
3
# reward、baseline: 每条回答对应的标量
4
advantage = (reward - baseline).detach()
5
loss = -(advantage * logp).mean()

这里的 .detach() 表示策略损失把权重视为固定值，不沿 baseline 或奖励的计算图求导。若价值模型需要训练，应有自己的监督目标；共享网络参数时，还要检查两类损失如何合并。

这段代码也不能拿一批旧样本无限训练。参数更新后，固定样本不再来自新的当前分布，原来的一步梯度解释就不再直接成立。PPO 等方法要处理的正包括如何有限地复用样本、如何限制更新；下一篇会展开 PPO。

用什么检查一次实现#

先在本篇的四候选空间中计算准确梯度，再用有限差分核对。然后枚举每种采样结果，以对应概率加权，检查有无 baseline 的期望相同；另枚举两次采样，确认包含自身均值与 leave-one-out 的差别。

这些检查适合发现负号、概率归一化、错误权重等问题。进入真实语言模型后，还需要检查生成设置、有效 token 范围、奖励与回答是否配对、梯度是否有限，以及更新前后的独立任务收益。

训练日志里的 surrogate loss 下降，不等于平均奖励必然提高。它首先是构造更新方向的工具。一次小批估计可能有噪声，过大的步长可能破坏局部近似，奖励漏洞也可能让更高 reward 对应更差答案。

第一道自检题：为什么奖励只有 0 和 1，准确梯度的失败候选分量仍然可以为负？请从 softmax 的归一化解释。

第二道自检题：把所有样本的平均奖励减掉，为什么 G=1 时没有信号？若用独立的 baseline，又需要检查哪些计算图和采样条件？