分布式表征与连接主义
概念不是孤立标签，而是由高维隐空间中大量神经元的联合激活来表征。
ROUTE 06表征、推断与控制母轨道 · 语言与表征核心追问 · 机制与实现
连接主义、统计学习与表征路线Connectionism & Deep Representation
00
交互认知透镜：一眼看懂本路线核心机制
COGNITIVE LENS 06
流形解耦与连续表征变换沙盒
联结主义与表征学习假说：智能不依赖显式符号规则，而是将离散感知映射入高维连续向量空间，通过逐层非线性几何变换，将高度纠缠的复杂流形逐步展平解缠。
为什么连续表征获得了现代统治力： 离散符号中‘猫’与‘猫科动物’在比特层面上毫无重叠；而高维向量空间赋予概念语义距离与平滑梯度。深层网络如同一台高维揉面机，通过逐层坐标扭曲将现实混沌感官揉捏成规则的几何超平面。
01
重要分支与代表理论
深层表征与流形学习
多层非线性变换逐级解耦数据流形，形成适于分类、生成与对齐的高层语义空间。
预测与自监督学习
以输入自身为监督信号（如下一个词预测），从无标注海量语料中汲取世界知识压缩。
Scaling Law 经验路线
算力、数据量与参数规模呈现出平滑幂律关系，驱动涌现现象。
02
解释价值与关键盲区
✦ 解释价值与推进
在多模态感知、自然语言直觉、高维特征提取上展现了前所未有的经验威力与 Scaling 规律。
⚠ 局限、盲区与不能过度推断之处
易产生幻觉与对抗脆弱性；‘随规模扩大而改善’并不等价于‘这就是智能的唯一本质’。
03
理论天平：核心分歧轴定位
将此路线置于人类探索智能的根本分歧坐标系中，观察其立论重心与张力平衡点：
怎样解释行为？倾向：内部连续表征流形
核心在于隐空间连续几何向量变换与权重激活模式形成的内部表征。
需要多少先验？倾向：通用空白统计学习 (Scaling)
Scaling Law 假说认为只需通用 Transformer 架构与海量算力，极力减少手工领域预设。
是否存在统一机制？倾向：统一自监督预测原则
主张统一的自监督预测损失与梯度反传可以贯穿视觉、语言到具身的多模态理解。
03.5
思想交锋与互补走廊：跨路线批判与合流
没有任何单一学派垄断了智能的全部真相。顺着批驳与互补的引力线，跳转到与本路线深度咬合的相邻探索家族：
04
动手验证：交互实验工作台
05
归属于该路线的探索笔记
40 篇收录从数据到部署：在 Mac 上规划小模型全链路训练
以约 30M 模型建立从数据、分词、随机初始化预训练到 SFT、DPO、评测和部署的完整闭环，再依据实测逐步扩展至约 100M 与 0.5B。
怎样积累可复用的实验结论：版本、失败记录与下一轮决策
大模型训练研究笔记第七卷之六：把数据、运行、评测与结论连起来，区分失败和反证，用可比较的记录决定下一步实验。
模型交付后为什么表现变了：模板、量化与行为回归
大模型训练研究笔记第七卷之五：从同一条请求出发，检查输入编码、权重转换、生成设置和结果解析，用分层回归定位交付差异。
为什么换一套训练环境结果会变：数值精度、数据顺序与断点恢复
大模型训练研究笔记第七卷之四：区分逐位一致与结论复现，用动量更新检查权重恢复的局限，并梳理精度、并行与数据游标。
怎样核算训练成本：token、计算量、耗时与峰值显存
大模型训练研究笔记第七卷之三：分清有效输入与监督目标、近似 FLOPs 与实测耗时、模型权重与训练显存，并核算完整实验成本。
基准、人工评价和模型评审各自测到了什么
大模型训练研究笔记第七卷之二：区分任务正确与偏好评价，检查污染、评审顺序、平局口径和统计不确定性。
怎样设计能回答问题的训练对照：假设、基线与重复实验
大模型训练研究笔记第七卷之一：用恢复样本训练设计对照，区分预算口径、交互作用与随机性，保留失败运行和结论边界。
如何评估工具使用模型：任务成功、运行可靠性与实际成本
大模型训练研究笔记第六卷之六：区分单次成功、至少一次成功和连续可靠完成，结合约束、超时、成本与独立环境报告工具模型表现。
失败轨迹怎样用于下一轮训练：错误分类、修正监督与筛选偏差
大模型训练研究笔记第六卷之五：从错误库存调用出发，区分重试、上下文反思和参数训练，说明恢复样本的监督范围与成功筛选的偏差。
工具评测怎样保持独立：环境重置、随机性与轨迹重放
大模型训练研究笔记第六卷之四：用库存缓存残留说明跨任务污染，区分环境随机性、模型采样与日志重放，建立可复查的评测实例。
多步任务的奖励应该给谁：终局反馈、调用成本与失败恢复
大模型训练研究笔记第六卷之三：用库存查询解释回报与信用分配，推导调用成本和过程奖励如何改变目标，并区分模型错误与环境故障。
怎样用 SFT 学会工具接口：格式、参数与任务完成要分开检查
大模型训练研究笔记第六卷之二：把库存交互拆成可监督的决策，检查聊天模板、损失范围和条件分支，区分离线预测与实际执行。
工具调用样本为什么不是普通问答：从库存查询到完整交互轨迹
大模型训练研究笔记第六卷之一：用库存查询解释工具定义、调用参数、执行结果和最终回答，区分模型动作与环境观察，并用反例检查轨迹是否可信。
偏好分更高为什么未必任务更好：长度偏差、过度优化与独立测试
大模型训练研究笔记第四卷之六：用同一组偏好对构造长度与正确率背离的算例，说明奖励过度优化与评审偏差为何让偏好分与任务正确性分离，并给出分开报告偏好胜率与独立正确率的做法。
离线偏好优化与在线采样有什么区别：固定答案池与重新生成
大模型训练研究笔记第四卷之五：比较固定偏好池上的 DPO 与在线按当前策略采样的更新，说明直接比较覆盖与概率变化的差别、分布漂移、采样预算与校验成本，并指出在线并不自动更好。
DPO 为什么能直接使用偏好对：目标、参考策略与 beta 的作用
大模型训练研究笔记第四卷之四：从 KL 约束的奖励最大化推出偏好对上的闭式目标，手算二元词表上的损失与梯度，说明参考策略、序列概率与 beta 各自控制什么，并列出已知失效模式。
奖励模型怎样从比较中学习：分数差、概率与失效边界
大模型训练研究笔记第四卷之三：手算 Bradley–Terry 偏好概率与排序损失，解释奖励分数的相对意义、平移不变性、校准和分布外评价。
偏好对怎样构建：共同上下文、候选差异与标注偏差
大模型训练研究笔记第四卷之二：把 chosen/rejected 还原为有条件的比较，检查共同提示、候选来源、长度与位置偏差、平局、来源划分和截断后的标签有效性。
标准答案不唯一时，怎样提供训练信号：示范、偏好与评分
大模型训练研究笔记第四卷之一：从解释实验结果的任务区分示范、比较、评分和规则反馈，明确偏好标准、平局与分歧，避免把更受欢迎等同于事实正确。
怎样判断 SFT 改善了什么：格式、准确率与能力退化
大模型训练研究笔记第三卷之六：为结构化提取设计分层评价，检查缺失与补写、配对收益、来源独立和能力退化，区分验证损失、规则检查与模型评审。
全参数微调与 LoRA 怎样选择：更新空间、显存与量化
大模型训练研究笔记第三卷之五：手算低秩更新与参数量，区分 LoRA、全参数和 QLoRA 的资源组成，说明初始化、目标层、合并与公平比较的边界。
指令数据怎样选和生成：任务覆盖、答案审核与合成数据
大模型训练研究笔记第三卷之四：围绕结构化提取建立数据覆盖表，区分答案正确、格式通过与材料支持，设计合成数据审核、来源分组和可比较的数据实验。
哪些 token 应该计算损失：回答监督、多轮对话与标签边界
大模型训练研究笔记第三卷之三：逐位置检查 assistant-only loss，解释首个回答 token、结束标记、多轮监督、变长加权与截断，并用小例子验证标签。
一条指令样本应该包含什么：消息角色、聊天模板与任务边界
大模型训练研究笔记第三卷之二：把结构化提取任务写成可检查的消息，区分角色、模板和 token 序列，处理多轮历史、结束标记、截断与数据来源。
监督微调在教模型什么：从文本续写到任务示范
大模型训练研究笔记第三卷之一：用实验记录信息提取解释 SFT 怎样改变输出行为，区分训练目标、任务定义和评价，并设计提示基线与微调对照。
怎样完成一个可解释的预训练实验：基线、日志与恢复验证
大模型训练研究笔记第二卷之六：把分词、目标、模型和 batch 串成可验证的实验，区分工程冒烟、小样本拟合、验证改善与任务能力，并检查训练恢复和成本口径。
训练为什么会不稳定：学习率、梯度累积与数值精度
大模型训练研究笔记第二卷之五：从一次参数更新理解学习率与 AdamW，区分梯度累积、梯度裁剪和混合精度的作用，并建立训练异常的排查顺序。
训练块怎样组成一个 batch：打包、边界与有效 token
大模型训练研究笔记第二卷之四：用两篇短文检查 padding、packing、EOS、attention mask 和 loss mask，解释有效 token 计数与梯度累积的加权方式。
一次前向计算怎样处理上下文：向量、注意力与位置
大模型训练研究笔记第二卷之三：沿着一条短序列追踪张量形状，手算注意力加权，解释因果遮罩、位置编码、残差与输出层各自的作用。
语言模型究竟在预测什么：标签错位、交叉熵与训练损失
大模型训练研究笔记第二卷之二：逐位置检查下一个 token 的预测，用小词表手算交叉熵，解释因果约束、标签错位、有效位置平均与困惑度的边界。
文本怎样变成 token：分词、词表与训练成本
大模型训练研究笔记第二卷之一：从一个可手算的 BPE 例子理解分词，再检查中文切分、特殊 token、词表兼容性与训练成本。
构建一份可追溯的小型预训练语料
大模型训练研究笔记第一卷之六：从训练结果变化却查不出原因的问题出发，把来源、处理、划分和读取记录组织成可以检查与重建的数据版本。
中英文数据怎样混合：从语料比例到实际训练分布
大模型训练研究笔记第一卷之五：用中英文各抽一半的例子，解释文档比例、token 比例、重复次数和实际训练用量为什么不同。
去重与评测污染：模型究竟学到了什么
大模型训练研究笔记第一卷之四：从同文转载讲到精确指纹、MinHash 和 LSH，再说明怎样分组、选代表，以及避免测试题混进训练。
什么是高质量预训练数据：从规则到模型评分
大模型训练研究笔记第一卷之三：从教程、API 文档和论坛的取舍出发，讲清参考分类、教育评分、困惑度和重采样各自在判断什么。
从网页到训练文本：预训练数据清洗到底在做什么
大模型训练研究笔记第一卷之二：用一张技术网页解释正文抽取、格式处理、语言识别和规则过滤，看看清洗为什么会误删，以及怎样比较一次改动。
预训练数据从哪里来：中英文开放语料地图与选型框架
大模型训练研究笔记第一卷之一：从中文技术模型的选数问题出发，认识主要中英文语料的构建方法，区分文件规模与训练用量，做出可解释的选型。
LLM推理优化与部署
先分析预填充与解码两个阶段的瓶颈，再从量化原理与方法对比讲到 KV-Cache 与 PagedAttention，以及 Attention 加速与部署考量。属工程优化综述，速度与显存数字为引用值，未在自己的硬件上复测。
LLM Agent开发指南
从大脑与手脚的类比说明 Agent 的构成与分类，再拆 ReAct 的推理行动交替与从零实现、OpenAI Function Calling 与工具库设计、记忆机制与规划。是开发指南式梳理，以示例代码为主，不含真实任务成功率评测。
Transformer架构详解
以《Attention is All You Need》为起点交代 Transformer 的动机，拆解自注意力、前馈网络、残差与位置编码，再给出完整模型拼装、Label Smoothing 与 Warmup 等训练技巧及应用场景。属架构讲解，以原论文与常见实现为参照，不含训练实验或下游效果对比。