递归自我改进:机制与评估
第一张手记 / 改变
搜索、参数更新与方法改进
下一步棋想得更久,模型从反馈中更新参数,系统修改寻找改进的方法——它们都可能带来更好的结果,但留下的东西不一样。一次搜索留下当前问题的统计;训练可以把经验写进参数;对改进过程的修改,则可能影响下一轮如何提出和检验想法。
先选一种改变,看看它发生在哪里。
沿着同一套搜索规则再走几步,更新访问次数与回报估计。眼前这道题可能做得更好;这次操作没有修改模型参数,也没有改写搜索算法。
换一道题后,留下的是哪些知识?又有哪些统计需要重新积累?
在搜索树里多走几步 ↗这是概念图,三个位置可以同时变化,并非一条自动通向 AGI 的等级阶梯。元学习关注学习方法如何获得或调整;方法改进与递归自我改进需要分别给出证据。
递归自我改进(RSI)关心一个更进一步的问题:改进后的系统,能否更有效地产生后续改进?一次分数上涨、一次自改代码,都是值得研究的事件;要回答这个问题,还需要看它们在后续轮次、可比较的预算和未见任务中,究竟带来了什么。
Darwin Gödel Machine 提供了一个具体研究案例:编码 Agent 提出代码修改,借助任务评测筛选,并保留可继续探索的 Agent 档案。它让“改进自身”有了可以检查的实现;其编程任务证据,需要连同实验设置一起理解,不能直接当作已经实现 AGI 的结论。 [1]
把“自己改了自己”写进记录之后,还应留一行:谁设定了题目,谁检查了结果?
第二张手记 / 迁移
分布变化与规则泛化
想象一排卡片:三角形恰好都是颜色甲,也恰好站在第 1、3、5 个位置。现在要选出三角形,三条完全不同的规则都能答对。只看正确率,我们无法知道哪条线索在起作用。
先选一条规则,再只改变配色或位置。最后,把题目本身换掉。每一次操作都保留一点东西,也拿走一点东西。
这次的题目:选出所有三角形
- 1 颜色甲 选入 ✓
- 2 颜色乙 略过 ✓
- 3 颜色甲 选入 ✓
- 4 颜色乙 略过 ✓
- 5 颜色甲 选入 ✓
- 6 颜色乙 略过 ✓
在这一排卡片里,颜色甲、奇数位置和三角形恰好重合。三种规则都能全对;只看这个结果,还分不出它们依据了什么。
所有结果均由你选的固定规则即时计算。这里没有训练、识别模型或 AGI 评分;卡片只用于看清一种迁移与一种失效。
Chollet 在《On the Measure of Intelligence》中区分了完成特定任务的技能与获得新技能的效率,并提醒我们把已有知识、经验和泛化难度纳入评价。这提供了一种读结果的方式:除了“答对多少”,也记录“见过什么、付出多少、换到哪里还有效”。这是一种研究主张,而非唯一的智能定义。 [2]
卡片上的失效很容易看见。真实系统里,线索可能藏在数据来源、标注习惯或评测方式中。一次失败因而可以成为一张有用的手记:它帮我们写清楚,先前的成功究竟依赖了什么。
第三张手记 / 判断
改进目标与评估标准
想象一张图书修补台。多检查一本完好的书,会占用一点时间;漏掉一本已经破损的书,则把问题留给了下一位读者。两种差错可以被写进同一个公式,但它们并不是同一件事。
下面有八张事先写好的教学记录,以及两种分拣规则。移动滑块,让“漏掉修补”变得更值得在意。书没有变,规则没有变,推荐却可能改变。
把八本书送到修补台之前,先决定愿意承担哪一种差错。
多检查一本完好的书 = 1 份代价。下面的数字是手工构造的教学记录,不是模型预测或图书馆实测。
多检查一些
线索分 ≥ 4 就检查
- 多余检查
- 3
- 漏掉修补
- 0
- 按你的标准计算
- 3
3 × 1 + 0 × 1 = 3
只查明显的
线索分 ≥ 8 才检查
- 多余检查
- 0
- 漏掉修补
- 1
- 按你的标准计算
- 1
0 × 1 + 1 × 1 = 1
按你给出的代价,“只查明显的”更合适。它省下三次多余检查,但漏掉了书 E。这笔账没有替你决定遗漏是否可以接受。
你改变了“更好”的含义,没有改变任何一本书。
翻开八张记录,核对这笔账
线索分是本例预设的分拣依据:它可能提示破损,也可能误导。实际状态同样由本例预设。计价只含多余检查和漏检,未含所有工作的完整成本。
| 书 | 线索分 | 实际状态 |
|---|---|---|
| A | 9 | 需要修补 |
| B | 8 | 需要修补 |
| C | 7 | 完好 |
| D | 6 | 完好 |
| E | 5 | 需要修补 |
| F | 4 | 完好 |
| G | 3 | 完好 |
| H | 2 | 完好 |
这也是自改进系统绕不过去的页边问题。反馈可以很精确,目标却可能很狭窄。一个系统更擅长提高既定分数,并不自动回答那个分数是否代表我们在意的东西。评价不只是实验结束后的打分,它也在塑造系统努力的方向。
再追问一步:观察到的差异,真的是改进造成的吗? ↗留在下一页的问题 / AGI
研究问题与技术框架
谈论 AGI 时,我们还需要把目光放到任务之外。《Levels of AGI》提出从能力的深度与广度描述进展,并把自主性与部署情境纳入讨论。沿着这个提醒,这里分别记录几个问题,不把它们压成一个“完成百分比”。 [3]
能做什么,又在什么地方失效?
记录具体任务、可比较的基线和错误案例。把“这道题做得好”写准确,是继续谈论智能的起点。
换了任务,需要多少新经验?
区分外观变化、分布变化和目标变化;说明系统见过哪些数据,迁移时允许多少学习与计算。卡片实验只覆盖其中很小的一角。
有多少判断仍然由人在承担?
谁设定目标、提供反馈、处理异常,谁可以暂停或撤回改变?自主性描述系统如何行动;它不能替代能力广度与可靠性的证据。
它会变得更会改进吗?
追踪多轮修改及其代价,用独立评价检查有效改进是否更容易产生,同时保留失败与回退。RSI 是这里持续追问的机制问题;它与 AGI 的关系需要研究来回答。
下一页不一定写着更高的分数。也可能写着:这次,我们终于知道该换哪一个问题。