递归自我改进:机制与评估

第一张手记 / 改变

搜索、参数更新与方法改进

下一步棋想得更久,模型从反馈中更新参数,系统修改寻找改进的方法——它们都可能带来更好的结果,但留下的东西不一样。一次搜索留下当前问题的统计;训练可以把经验写进参数;对改进过程的修改,则可能影响下一轮如何提出和检验想法。

先选一种改变,看看它发生在哪里。

01一次尝试正在改变这里
02会留下的参数·
03如何产生下一次改进·
搜索统计

沿着同一套搜索规则再走几步,更新访问次数与回报估计。眼前这道题可能做得更好;这次操作没有修改模型参数,也没有改写搜索算法。

换一道题后,留下的是哪些知识?又有哪些统计需要重新积累?

在搜索树里多走几步 ↗

这是概念图,三个位置可以同时变化,并非一条自动通向 AGI 的等级阶梯。元学习关注学习方法如何获得或调整;方法改进与递归自我改进需要分别给出证据。

01 / 先找到改变的位置,再问它是否有用。这里的三个位置是可以重叠的观察视角。

递归自我改进(RSI)关心一个更进一步的问题:改进后的系统,能否更有效地产生后续改进?一次分数上涨、一次自改代码,都是值得研究的事件;要回答这个问题,还需要看它们在后续轮次、可比较的预算和未见任务中,究竟带来了什么。

Darwin Gödel Machine 提供了一个具体研究案例:编码 Agent 提出代码修改,借助任务评测筛选,并保留可继续探索的 Agent 档案。它让“改进自身”有了可以检查的实现;其编程任务证据,需要连同实验设置一起理解,不能直接当作已经实现 AGI 的结论。 [1]

把“自己改了自己”写进记录之后,还应留一行:谁设定了题目,谁检查了结果?

第二张手记 / 迁移

分布变化与规则泛化

想象一排卡片:三角形恰好都是颜色甲,也恰好站在第 1、3、5 个位置。现在要选出三角形,三条完全不同的规则都能答对。只看正确率,我们无法知道哪条线索在起作用。

先选一条规则,再只改变配色或位置。最后,把题目本身换掉。每一次操作都保留一点东西,也拿走一点东西。

这次的题目:选出所有三角形

  1. 1 颜色甲 选入 ✓
  2. 2 颜色乙 略过 ✓
  3. 3 颜色甲 选入 ✓
  4. 4 颜色乙 略过 ✓
  5. 5 颜色甲 选入 ✓
  6. 6 颜色乙 略过 ✓
6 / 6 个选入或略过的判断符合题意

在这一排卡片里,颜色甲、奇数位置和三角形恰好重合。三种规则都能全对;只看这个结果,还分不出它们依据了什么。

所有结果均由你选的固定规则即时计算。这里没有训练、识别模型或 AGI 评分;卡片只用于看清一种迁移与一种失效。

02 / 一个固定规则的迁移示意。选入和略过都算一次判断;没有把规则选择称为模型训练。

Chollet 在《On the Measure of Intelligence》中区分了完成特定任务的技能与获得新技能的效率,并提醒我们把已有知识、经验和泛化难度纳入评价。这提供了一种读结果的方式:除了“答对多少”,也记录“见过什么、付出多少、换到哪里还有效”。这是一种研究主张,而非唯一的智能定义。 [2]

卡片上的失效很容易看见。真实系统里,线索可能藏在数据来源、标注习惯或评测方式中。一次失败因而可以成为一张有用的手记:它帮我们写清楚,先前的成功究竟依赖了什么。

第三张手记 / 判断

改进目标与评估标准

想象一张图书修补台。多检查一本完好的书,会占用一点时间;漏掉一本已经破损的书,则把问题留给了下一位读者。两种差错可以被写进同一个公式,但它们并不是同一件事。

下面有八张事先写好的教学记录,以及两种分拣规则。移动滑块,让“漏掉修补”变得更值得在意。书没有变,规则没有变,推荐却可能改变。

把八本书送到修补台之前,先决定愿意承担哪一种差错。

多检查一本完好的书 = 1 份代价。下面的数字是手工构造的教学记录,不是模型预测或图书馆实测。

多检查一些

线索分 ≥ 4 就检查

多余检查
3
漏掉修补
0
按你的标准计算
3

3 × 1 + 0 × 1 = 3

只查明显的

线索分 ≥ 8 才检查

多余检查
0
漏掉修补
1
按你的标准计算
1

0 × 1 + 1 × 1 = 1

按你给出的代价,“只查明显的”更合适。它省下三次多余检查,但漏掉了书 E。这笔账没有替你决定遗漏是否可以接受。

你改变了“更好”的含义,没有改变任何一本书。

翻开八张记录,核对这笔账

线索分是本例预设的分拣依据:它可能提示破损,也可能误导。实际状态同样由本例预设。计价只含多余检查和漏检,未含所有工作的完整成本。

书线索分实际状态
A9需要修补
B8需要修补
C7完好
D6完好
E5需要修补
F4完好
G3完好
H2完好
03 / 一个可以逐项核对的代价计算。它呈现标准如何影响选择;标准本身仍需由人解释。

这也是自改进系统绕不过去的页边问题。反馈可以很精确,目标却可能很狭窄。一个系统更擅长提高既定分数,并不自动回答那个分数是否代表我们在意的东西。评价不只是实验结束后的打分,它也在塑造系统努力的方向。

再追问一步:观察到的差异,真的是改进造成的吗? ↗

留在下一页的问题 / AGI

研究问题与技术框架

谈论 AGI 时,我们还需要把目光放到任务之外。《Levels of AGI》提出从能力的深度与广度描述进展,并把自主性与部署情境纳入讨论。沿着这个提醒,这里分别记录几个问题,不把它们压成一个“完成百分比”。 [3]

能做什么,又在什么地方失效?

记录具体任务、可比较的基线和错误案例。把“这道题做得好”写准确,是继续谈论智能的起点。

换了任务,需要多少新经验?

区分外观变化、分布变化和目标变化;说明系统见过哪些数据,迁移时允许多少学习与计算。卡片实验只覆盖其中很小的一角。

有多少判断仍然由人在承担?

谁设定目标、提供反馈、处理异常,谁可以暂停或撤回改变?自主性描述系统如何行动;它不能替代能力广度与可靠性的证据。

它会变得更会改进吗?

追踪多轮修改及其代价,用独立评价检查有效改进是否更容易产生,同时保留失败与回退。RSI 是这里持续追问的机制问题;它与 AGI 的关系需要研究来回答。

下一页不一定写着更高的分数。也可能写着:这次,我们终于知道该换哪一个问题。

搜索

正在载入索引…