Transformer 架构剖析：五幕交互计算巡礼
向下滚动页面，右侧计算舞台将随叙事篇章无缝演变，带你亲眼目睹词元如何一步步汇聚注意力并最终塌缩为下一个预测。
第一幕：词元投影与连续向量流形
X_0 = W_e \cdot \text{one\_hot}(w_t)自然语言是由离散符号构成的链条。计算机无法直接理解‘注意力’这三个汉字，因此必须通过嵌入矩阵（Embedding Matrix）将其映射为连续的高维向量。
在这个 16 维的隐层几何空间中，语义相近的词元（如‘神经网络’与‘反向传播’）在欧几里得距离与余弦相似度上自然聚拢，构成算法可微优化的基础表征。
第二幕：旋转位置编码（RoPE）的时空星盘
\mathbf{R}_{\Theta, m}^d \vec{x} = \begin{pmatrix} \cos m\theta & -\sin m\theta \\ \sin m\theta & \cos m\theta \end{pmatrix} \vec{x}自注意力机制本身是置换对称的（Permutation Invariant）——若无位置编码，‘我吃苹果’与‘苹果吃我’在计算上毫无分别。
现代前沿大模型普遍采用 RoPE。它将向量切分为两两成对的特征通道，并随着时序位置 m 进行角度为 mθ 的逆时针旋转。点积时，两词元之间的几何内积仅取决于相对距离 (m - n)，完美契合长文本外推需求。
第三幕：因果下三角注意力点积矩阵与掩码切片
A = \text{softmax}\left( \frac{Q K^T}{\sqrt{d_k}} + M_{\text{causal}} \right)Query 向量代表‘当前词元在寻找什么’，Key 向量代表‘其他词元具有什么特征’。二者的点积除以标度因子 \sqrt{d_k} 后，经过 Softmax 归一化为概率权重。
在自回归（Decoder-only）语言模型中，未来位置被施加 -\infty 强度的因果掩码遮蔽（Causal Mask），使得注意力热力图呈现出严格的下三角阶梯形态，严禁向后偷看。
第四幕：多头归纳回路与神经分工消融
\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_0, \text{head}_1) W_O单个注意力头难以兼顾多样化的语言模式，多头注意力（MHA）通过并行子空间实现劳动分工。
在这里：Head 0 专司局部相邻词元的语法过渡与复制回路（[A][B]...[A] ➔ [B]），而 Head 1 负责跨越长距离追踪主题连贯性。一旦通过消融实验归零 Head 0，模型的局部句法立刻出现断崖式崩溃。
第五幕：SwiGLU 前馈门控、温度缩放与最终采样
P(w_{t+1}) = \text{softmax}(\vec{z} / T)注意力的本质是‘信息聚合’，而前馈网络（FFN）才是存储世界事实的‘非线性知识库’。SwiGLU 通过门控向量与激活函数的乘积，过滤并增强特征表达。
最终，解嵌入头（LM Head）将 16 维表征投影至词表 Logits，并通过采样温度 T 控制分布的尖锐程度。高温让分布更平坦（高熵发散），低温让概率急剧收敛在最高置信度的候选项上。