MONOGRAPH II七卷本全集完结 · v1.0 Complete Edition

从零锻造语言模型:七卷全链路实证手记

涵盖语料工程、预训练动力学、指令微调、偏好对齐、强化学习推理、工具交互与可复现评测的 42 章系统专著

“不要把大模型当作靠魔法咒语召唤的黑盒神谕。当你亲手切分每一个字节对、计算每一层激活显存、屏蔽每一处监督损失并审计每一条强化学习轨迹时,神话就会还原为精密而诚实的工程因果。”
专著总序 · PROLOGUE & INTERACTIVE SANDBOX

本专著共七卷四十二章,完整记录了从原始互联网网页清洗到可验证推理智能体交付的全链路研究与工程实证。每一卷均坚持一手论文溯源、精确教学算例与诚实的失败边界分析。

COGNITIVE LENS 06

流形解耦与连续表征变换沙盒

联结主义与表征学习假说:智能不依赖显式符号规则,而是将离散感知映射入高维连续向量空间,通过逐层非线性几何变换,将高度纠缠的复杂流形逐步展平解缠。

神经网络层级深度 (Layer) L = 0 (Input Space)
0: 原始输入空间 1: 特征扭曲 2: 拓扑展开 3: 线性可分隐空间
激活函数类型
语义概念类 A (内环流形)
语义概念类 B (交织外环)
几何拓扑状态: ✗ 纠缠非线性空间:单层感知机无法线性切分 (异或困境)。
🌐
为什么连续表征获得了现代统治力: 离散符号中‘猫’与‘猫科动物’在比特层面上毫无重叠;而高维向量空间赋予概念语义距离与平滑梯度。深层网络如同一台高维揉面机,通过逐层坐标扭曲将现实混沌感官揉捏成规则的几何超平面。
第一卷 · VOLUME I

预训练数据与可追溯语料工程

模型能力的上限首先铸造于语料分布、清洗算子、MinHash 去重与退火配比之中。

第二卷 · VOLUME II

预训练基座、前向力学与优化器动力学

从字节级分词器信息密度到 RoPE 旋转位置编码、RMSNorm 残差流与余弦学习率退火。

第三卷 · VOLUME III

监督微调(SFT)、对话模板契约与参数高效适配

预训练赋予模型世界知识分布,监督微调则教会模型以受控角色与对话边界激发这些潜能。

第四卷 · VOLUME IV

人类偏好对齐、奖励建模与直接偏好优化(DPO)

当‘写出一篇好回答’比‘判别哪篇回答更好’更难时,比较偏好看似捷径,却暗藏奖励黑客与分数异化。

第五卷 · VOLUME V

强化学习推理、可验证奖励(RLVR)与 PPO/GRPO

在数学证明与代码合成等具备客观验证器的领域,强化学习让模型从‘模仿人类笔迹’跃迁至‘自主试错搜索’。

第六卷 · VOLUME VI

工具调用、环境交互契约与多步智能体训练

连接延展心智路线:让语言模型走出封闭权重,在编译器、搜索引擎与外部工具的真实反馈中闭环修正。

第七卷 · VOLUME VII

实验设计、统计显著性、成本核算与可复现交付

没有控制变量、方差区间与开源复现脚本的跑分榜单只是营销噪音。科学始于诚实的实验台账。

搜索

正在载入索引…