计算透明化：Transformer 单步前向推演与回路消融
预设语料:
当前序列与注意力光流射线: (悬停词元可高亮该位置投射给历史词元的注意力射线)
+ 补词:
第 3 步：因果下三角自注意力点积热力图
\( A_{ij} = \text{Softmax}\left(\frac{Q_i K_j^T}{\sqrt{d_k}} + M_{ij}\right) \in [0, 1] \) （上三角被因果掩码 \(-\infty\) 遮蔽，无法偷看未来）
注意力头 0: 局部语法流转回路
Q \ K [BOS]thecat
[BOS]
100
—
—
the
50
50
—
cat
33
33
33
注意力头 1: 远距语义连贯回路
Q \ K [BOS]thecat
[BOS]
100
—
—
the
51
49
—
cat
34
33
34
⚡ 各层激活向量 L2 模长能量计 (表征流转): 实时检验深层隐向量模长，防止数值漂移
Embed
0.63
MHA
0.09
Res 1
0.62
FFN
0.35
Res 2
3.97
FinalNorm
4.00
机制可解释性与超参数调谐器:
神经回路消融:
为什么需要端侧透明推演（The Computational Explainer）？
在传统深度学习教材中，自注意力机制（Self-Attention）与前馈网络往往停留在抽象的静态矩阵公式 \( \text{Softmax}(QK^T / \sqrt{d_k}) V \) 上。本实验遵循 Andrej Karpathy (nanoGPT) 与 Distill.pub 的可计算解释学哲学，把完整的前向传播网络内嵌到浏览器端：每个浮点数、每层 RMSNorm 的方差归一、每头注意力的因果下三角遮蔽都是确定性计算出来的。读者不仅可以‘看’公式，更可以亲手‘消融’注意力头、调节温度超参数，建立对大模型内部齿轮的物理直觉。
查看 Transformer 架构推导与训练技巧长文 ↗