注意力探针：归纳回路与机制可解释性
| Q \ K | [BOS] 0 | Alice 1 | visited 2 | Paris 3 | . 4 | Later 5 | Alice 6 | visited 7 | Rome 8 |
|---|---|---|---|---|---|---|---|---|---|
| [BOS] 0 | 100 | ||||||||
| Alice 1 | 57 | 43 | |||||||
| visited 2 | 25 | 56 | 19 | ||||||
| Paris 3 | 21 | 16 | 47 | 16 | |||||
| . 4 | 18 | 14 | 14 | 41 | 14 | ||||
| Later 5 | 16 | 12 | 12 | 12 | 36 | 12 | |||
| Alice 6 | 14 | 11 | 11 | 11 | 11 | 32 | 11 | ||
| visited 7 | 92 | ||||||||
| Rome 8 | 91 |
注意力流向流线 (当前 Query 词元聚焦路径)
[BOS] 1%
Alice 1%
visited 1%
Paris 91%
. 1%
Later 1%
Alice 1%
visited 2%
Rome 1%
什么是归纳回路（Induction Circuit）？
在 Anthropic 的《Transformer 机制可解释性框架》中，归纳回路是解释大语言模型具有上下文学习（In-Context Learning）能力的关键微观结构。第一层的‘前驱词头’负责把前一个词元的信息转移到当前词向量中；第二层的‘归纳头’通过查询该合成向量，回溯匹配历史序列中同样出现的模式 [A]，进而直接预测先前紧随其后的 [B]。
查看 Transformer 架构推导与多头注意力笔记 ↗