通道 0 · 极高频 (局部邻近)
θ=1.0000RoPE 旋转位置编码与注意力星盘
相对位置平移不变性检验
观察所有指针同步旋转，但夹角 Δ = m − n 与注意力内积保持严格不变。
相对词元距离 Δ = m − n +7
多频叠加注意力内积核 0.4206
最高频通道波长 (k=0) 6.3 tokens
最低频通道波长 (k=5) 292 tokens
通道 1 · 高频 (短语语法)
θ=0.4642通道 2 · 中高频 (子句边界)
θ=0.2154通道 3 · 中低频 (段落结构)
θ=0.1000通道 4 · 低频 (跨段指代)
θ=0.0464通道 5 · 极低频 (全局长程)
θ=0.0215多频旋转叠加后的相对距离衰减包络 K(Δ) = (1/K) Σ cos(Δ · θ_k)
尽管每个复平面只是纯粹的周期余弦旋转，不同频率通道在 Δ=0 附近相干增强、远距离相位抵消，自然涌现出远程衰减特性。
Query (m·θk) Key (n·θk)
多尺度时间日晷与上下文窗口扩展
RoPE 将特征维度拆分为多组二维复平面，从高频（秒针，捕捉相邻词元语序）到低频（时针，捕捉长程篇章结构）。当直接把上下文窗口扩大 s 倍时，线性位置插值（PI）把所有指针转速除以 s，导致高频秒针变慢、相邻词元分辨力下降；而 NTK-Aware 基底缩放通过改变频率底数 b，让高频指针保持原有分辨精度，仅对低频长波长通道进行平滑拉伸。
回到小模型全链路工作台（架构与预训练） ↗