怎样设计能回答问题的训练对照：假设、基线与重复实验

把“想试一试”写成可以否定的假设#

一个可检查的研究假设需要说明改什么、看什么，以及什么结果不支持它。

本例的干预是训练数据配比。A 条件使用干净示范；B 条件在固定目标 token 预算下，用一部分经过验证的恢复示范替换干净示范。恢复样本的错误历史仅作为输入，修正动作才是目标。

主指标可以选固定错误历史上的恢复率。另设首次闭环完成率与全样本调用成本作为保护指标。比如事先约定：恢复率至少提高 3 个百分点，首次完成率下降不超过 1 个百分点，才值得进入更大规模实验。这些阈值是教学设定，实际应由目标场景与测量精度决定。

如果恢复率提高，但首次错误显著增加，原假设并没有完整得到支持。也不能看到结果之后，把主指标从首次成功改成“多次重试至少成功一次”，再宣布实验成功。

先决定在比较哪一种预算#

“加入数据”常常同时增加训练量。若 A 训练 1 万个目标 token，B 训练 2 万个，B 更好可能来自更多监督，而不只是恢复样本更有效。

因此要分清两类问题：固定预算时，替换数据是否更划算；允许增加预算时，加入数据是否改善最终效果。两者都能研究，但回答不同问题。

固定目标 token 也不等于固定全部计算。恢复样本包含错误历史，输入可能更长，读取 token 与注意力计算可能增加。应同时记录实际输入、目标 token、更新步数和耗时，不把“目标数相同”写成“成本完全相同”。

同样，固定训练步数也不保证固定监督量：动态长度、打包、被掩码位置与梯度累积都会影响每步实际处理的内容。实验设计必须选一个主要预算口径，再披露其余差异。

基线不止一个数字#

至少保留未做本轮更新的起始模型，以及使用干净数据的训练基线。前者回答训练整体有没有作用，后者帮助判断恢复样本是否优于同预算的常规监督。

两组应从相同模型版本出发，使用相同任务划分、模板、损失定义、优化器设置与评测协议。若 B 必须改变某项设置，写进干预定义，不要把它藏在“实现细节”里。

最小可行性检查可以先在极少量数据上确认标签、调用格式和日志正常，但这种检查不能代替正式效果评测。能够拟合几条示范，只说明训练链路可能连通，不代表对未见任务有帮助。

一次只改一个因素，也有适用边界#

只比较 A 与 B，适合回答“在当前固定配置下，改变数据有什么影响”。但不同改动可能相互作用。

假设还想知道推理时反馈是否有帮助，可以设计一个两因素对照：是否训练恢复样本 × 是否允许推理反馈。下面是构造的完成率，不是实测：

没有反馈时，训练改动带来 2 个百分点；有反馈时，带来 9 个百分点。差中之差为：

单位是百分点。这说明在这组假设数据里，两项改动的效果不能简单独立相加。不能只展示 60% 到 74%，然后把全部 14 个百分点归给恢复训练。

这种交互作用需要明确的设计才能识别；不意味着每个小实验都必须遍历所有超参数。先围绕最关键的问题设计少量对照，再决定是否需要扩大因素组合。

用成对重复减少无关变化#

训练起始状态、数据顺序或运行环境可能影响结果。可把可控制的条件组织为区组，在每个区组内比较 A 与 B。NIST 的实验设计手册将这种思路用于控制与主要因素无关的变化，并结合随机化安排运行。随机区组设计

在训练实验中，可以为每个重复编号准备对应的初始化和数据抽样计划，让两个条件都出现，并记录实际执行顺序。共享一个种子整数不保证两种程序经历相同随机事件；数据结构改变后，随机数消耗次序也可能改变。

下面仍是教学数据：

平均成对差约为 2.33 个百分点。选取 B 的最好一次 72%，再与 A 的最差一次 60% 比较，会得到 12 个百分点，但那不是这组实验的平均改进。

三个重复只是演示，不是通用的充分样本量。需要多少重复取决于波动、关心的效应大小与预算。预算不够时，应报告证据有限，而不是从少量运行里挑一个最好看的数字。

重复训练与重复评测，回答不同的不确定性#

同一个训练检查点在 100 道题上多次生成，观察的是该检查点的解码与任务抽样变化。重新训练多个检查点，则涉及训练随机性。两者不能互相替代。

同一任务的改写、同一家族的多个实例和同一检查点的重复生成，也不应一律当成相互独立的数据点。估计不确定性时，要保留任务家族和训练运行层级。

报告可以先给逐次运行结果与成对差，再选择适合设计的区间估计。不要看到两个区间重叠就自动判定“没有差异”，也不要因为某一次均值更高就宣布稳定提升。统计方法需要匹配被估计的量，下一篇会进一步讨论评测证据。

失败运行必须留在记录里#

显存不足、训练发散、数据读取异常和评测服务故障不是同一种失败。事先规定哪些属于方法的稳定性问题，哪些属于基础设施无效测量，以及能否重跑。

例如 B 在较长上下文上更容易显存不足，这可能就是该方法的实际成本与可用性，不应悄悄排除后只报告完成的运行。若机器意外断电导致日志损坏，则可以按预定规则标记无效并补跑，但仍保留原始失败记录。

失败没有合法指标时，不一定要机械地填零；也不能完全消失。分别报告成功启动、完成训练、完成评测的数量，再说明有效结果的分母。

同一配置重复十次，直到有一次分数很高才停止，会把随机幸运包装成效果。停止规则、最大尝试次数和检查点选择规则应在查看最终测试成绩前确定。

一个简单反例：每类都变差，总分却提高#

假设 A 在 90 道容易题上成功 81 道，在 10 道困难题上成功 2 道，总分 83%。B 在 99 道容易题上成功 88 道，在 1 道困难题上没有成功，总分却是 88%。

A 的容易题通过率是 90%，困难题是 20%；B 分别约为 88.9% 和 0%。B 在每类都更低，但因为题目构成不同，总分反而更高。

这不是任何模型的实测，而是提醒：对照应使用相同测试实例或预先定义的相同权重。若样本构成确实改变，至少分层报告并解释变化，不能把总体分差直接叫作训练收益。

在启动前写一张实验卡#

实验卡不需要很长，但至少说明：研究问题、干预与基线、主要预算、主指标与保护指标、数据和环境版本、重复方案、失败处理、停止与检查点选择规则。

再写下结果可能怎样改变下一步：如果只改善恢复而损害首次表现，调整配比；如果成本增加却收益不稳定，缩小范围或保留基线；如果多个重复一致改善，再用独立测试确认。这样实验即便失败，也能减少下一轮的不确定性。

本文配套脚本只复算了交互作用、成对差、挑最好结果的偏差以及题目混合反例。它没有证明恢复训练有效。真正值得积累的结论，不只是“B 比 A 高”，而是“在什么数据、预算、环境与判定规则下，这种改动得到什么证据，还有什么解释未被排除”。