INTERACTIVE LAB · ESSAYS · SANDBOXES

交互实验室与专题长卷

把抽象的数学公式、连杆几何与模型训练流程拆解成可以亲手拨弄的舞台。这里汇集了三篇沉浸式交互长卷、八座端侧算法实验台,以及三维研究花园。

PART I · INTERACTIVE MONOGRAPH ESSAYS

专题交互长卷(可操作长文)

查看 20 条智能路线的全部交互透镜 ↗

ESSAY 02 / SCROLLYTELLING THEATRE

Transformer 计算漫游:五幕交互长卷

跟随滚轮下潜,如何亲手解剖离散词元、RoPE 星盘、因果自注意力与 SwiGLU 计算舞台?

交互控制:双栏同步滚轮驱动,左侧阅读推导叙事,右侧实时触发矩阵与流形演化

DISTILL EXPLORER / TRANSFORMER / FIVE ACTS展开长卷 ↗

PART II · ALGORITHM & MODEL WORKBENCHES

核心算法与模型实验台

FEATURED WORKBENCH / FROM DATA TO MODEL

小模型全流程训练与评估工作台

数据、分词、随机初始化预训练、SFT、DPO、评测与部署。选择阶段,检查输入输出,再安排第一次训练的预算。

打开模型工作台 ↗
~30M → ~100M → ?

01 / SEARCH & FEEDBACK

蒙特卡洛树搜索实验

有限的搜索次数,应该花在看起来最好的分支,还是尚未探索的分支上?

改变预算、探索权重与随机种子

观察四个搜索阶段、访问次数与根动作的变化。

02 / CAUSAL EVALUATION

因果效应与选择偏差实验

拿到优惠券的人消费更多,是券起了作用,还是两组人本来就不同?

改变发券偏好与真实效果

观察直接比较与组内比较怎样产生差异。

03 / IMPERFECT-INFO GAME & NASH

Kuhn Poker 反事实遗憾最小化实验

当对手看不到你的底牌时,为什么「从不诈唬」反而是可被剥削的劣势策略?

调节自我博弈轮数 T,切换单步策略与历史平均策略,并亲自与 CFR 对局一手

观察 12 个信息集怎样收敛至 J 诈唬与 K 价值下注 1:3 的纳什均衡。

04 / PREFERENCE ALIGNMENT & GOODHART

DPO 偏好对齐与 KL 锚定实验

当偏好标注隐含「喜欢冗长或迎合」的偏差时,把对齐强度拉满会发生什么?

调节 KL 温度系数 β 与偏好迎合偏差权重 α_bias

观察古德哈特前沿拐点:表观奖励继续上升,而真实质量因阿谀奉承而崩塌。

05 / GEOMETRIC POSITION ENCODING

RoPE 旋转位置编码与注意力星盘

每个词元只乘上自己的绝对位置旋转角,为什么注意力内积却只认识「相对距离」?

拨动 Query/Key 词元位置 (m, n),切换线性插值 PI 与 NTK-Aware 上下文扩展

在六个多频复平面日晷上验证平移不变性与相对距离衰减包络。

06 / MECHANISTIC INTERPRETABILITY

Transformer 注意力探针与归纳回路

模型没有更新任何权重,仅仅靠上下文,它是怎么学会从前面的文字中‘抄答案’的?

输入任意序列,切换归纳头、前驱头与注意力水槽,直观观察 N×N 权重矩阵与流动

直观揭示大模型在上下文学习(ICL)与长程词元复制中的微观回路结构。

07 / IN-BROWSER MICRO-TRANSFORMER

Transformer 前向推演与回路消融

在对话框敲下回车时,Transformer 内部千亿参数矩阵乘法到底是如何在毫秒间吐出一个词元的?

选择或补入词元,步进查看嵌入、QKV投影、下三角掩码热力图与SwiGLU门控,消融注意力头与调节温度

完整端侧可计算流水线,直观观察信息熵跃变、概率分布重构与下一个词元的采样过程。

PART III · LIVE PROOFS & 3D INSTALLATIONS

响应式公式证明与三维机械装置

进入全屏三维研究岛花园 (/world/) ↗

搜索

正在载入索引…