ROUTE TIMELINE · 14 NODES

连接主义、统计学习与表征路线

分布式连接如何学习表示，训练规模如何改变能力与限制？

第二轮至第三轮历史索引加第六轮增量；前者使用索引选定的批次，同ID不同批次阅读范围不自动合并。第六轮来源均为指定片段阅读。 年份先后不自动表示思想影响；时间间距以记录年份为准，纵向仅为排版。

问题何时发生转折？

点按图中的节点，进入问题、方法与原文定位。手机可横向滑动查看大图。

连接主义、统计学习与表征路线：已审校节点时间线横轴为原记录中的年份，点按节点打开问题和证据；纵向只用于排版，不表示历史影响。年代未定文本列在页面独立区域。连接主义、统计学习与表征路线横轴：记录年份；行距为排版，不表示影响或强弱1900195020001943 · 固定神经网络能够实现哪些逻辑关系？；问题：怎样从连接结构计算网络行为，又从指定的逻辑条件构造网络？；方法：以全或无活动、阈值、抑制与离散延迟构造时序命题表达式，并分析无环网络的可实现性。；限制：形式等价不等于生理机制解释；这里没有从数据自动学出网络的算法。作者对心理过程的广泛解释超出已核查定理，不作为现代经验事实。1. 固定神经网络能够实现哪些逻辑关系19431958 · 识别偏向怎样随经验改变？；问题：在连接结构含随机性的系统中，记忆与泛化能否由物理参数和环境统计关系解释？；方法：感觉、联想及响应单元组织为网络；活动和强化改变联想单元的输出效力，进而改变响应竞争。；限制：作者区分多种模型与学习协议，并承认关系抽象困难；本次没有复核完整统计推导或重跑仿真。生物类比仍是模型假设。2. 识别偏向怎样随经验改变？19581986 · 隐藏单元怎样获得学习信号？；问题：任务只指定输入和目标输出时，怎样学习未被直接指定的内部表示？；方法：前向计算活动，反向用链式法则传播误差导数，再以梯度及动量更新连接；内部特征随任务形成。；限制：下降方向不保证全局最优；四个留出家族关系的成功不是任意组合泛化的证明。作者明确否认当时算法已是可信的脑学习模型。3. 隐藏单元怎样获得学习信号？19861988 · 相关认知能力为什么成组出现？；问题：理解某种关系为什么通常伴随理解相关的角色交换，而不是互不相关的能力清单？；方法：从系统性、组合性与推理一致性论证：表征需要组成结构，处理过程需要对该结构敏感；系统性论证不依赖无界生产性的理想化。；限制：这不是证明任何神经网络都无法完成组合任务。作者承认网络可以表现系统性，争点是架构如何解释并产生这种规律；人类系统性的范围也需任务与表现约束。4. 相关认知能力为什么成组出现？19881988 · 分布式状态能否具有组成结构？；问题：连接主义是否只能把一个完整思想当成没有结构的原子？；方法：Smolensky在概念层把活动模式分解成子模式，在次概念层分析单元活动；咖啡例中组成部分随语境变化，符号描述作为近似高层描述。；限制：目标文§7.2明说复杂结构仍有难题；作者回应区分共同抽象的不同实现与精确执行符号原语。Fodor与Pylyshyn对语境变化下如何保证推理有效提出直接异议。5. 分布式状态能否具有组成结构？19881990 · 分布式向量怎样保存谁处于哪个角色？；问题：把多个对象的特征叠加以后，怎样保留对象与角色的绑定并取回它们？；方法：先把结构分解为填充值与角色，以外积表示每个绑定，再求和；通过作用于角色侧的向量取回填充值。；限制：该表示不能独自保证学习成功或一般系统性；作者保留维度增长、递归处理与记忆存储限制。数学存在的操作不等于网络已经学会执行。6. 分布式向量怎样保存谁处于哪个角色19901999 · 层间反馈能解释哪些视觉反应？；问题：局部视觉响应为何受更大范围的情境与高层反馈影响？；方法：高层向低层传递预测，低层向上传递残差；在生成模型、噪声与先验下优化隐状态，并以较慢时间尺度学习连接权重。；限制：神经对应是机制假说；侧向相互作用是作者承认的替代解释。正文时序扩展未用于所报告模拟，不能把静态重建直接说成未来预测。7. 层间反馈能解释哪些视觉反应？19992012 · 深层视觉模型怎样在大数据上训练并控制过拟合？；问题：如何让大容量卷积网络在有限计算与大量标注图像下取得有效识别结果？；方法：组合卷积先验、ReLU、双GPU训练、数据增广、dropout及带动量的随机梯度下降。；限制：15.3%来自包含额外预训练的七网络组合，不能写成单网络成绩；分类结果不自动支持通用理解。官网摘要与链接PDF有差异，本文固定采用PDF。8. 深层视觉模型怎样在大数据上训练并20122017 · 用注意力构造序列变换；问题：序列建模如何减少循环造成的训练串行依赖？；方法：编码器和解码器使用多头注意力、位置逐点前馈、残差和位置表示；解码自注意力使用因果掩码。；限制：原论文指定翻译与句法任务结果不证明当代语言模型一般理解；未独立复现。9. 用注意力构造序列变换20172020 · 高测试分数究竟来自哪条决策规则？；问题：当多种规则都能拟合训练与同分布测试时，怎样判断学到了预期能力？；方法：改变候选线索与标签的关系，比较同分布与分布外表现；联合审查架构、数据、损失和优化带来的偏向。；限制：玩具任务不能证明卷积网络总能避开捷径；“总选择最容易解”的表述是作者概括，不是本文证明的一般定理。所读为2023年v5，未对照2020各版。10. 高测试分数究竟来自哪条决策规则？20202020 · 规模规律预测什么？；问题：模型、数据与计算预算如何影响语言模型的交叉熵损失？；方法：在受测范围拟合模型、数据与计算规模的经验关系，并估计固定计算预算下的配置。；限制：拟合结果依赖模型族、数据及计算口径，不能直接作为智能、体验或所有任务能力的定律。11. 规模规律预测什么？20202021 · 能否同时学习程序库和搜索程序的方法？；问题：预先设计专用语言限制了程序合成，怎样从已解任务中学出可复用抽象？；方法：清醒阶段搜索程序；抽象阶段重构已找到的程序形成库；梦阶段用已解任务和库中采样程序训练神经搜索策略。；限制：主消融覆盖六个领域，另有两个特殊实验；递归基础学习实验没有使用识别网络。少量任务例不等于低总训练成本，完整DSL学习仍是开放问题。 图7中的生成文本任务使用每字符预测似然，不能与其他任务的解题率混为同一指标；EC2各领域运行次数也不同。12. 能否同时学习程序库和搜索程序的方20212022 · 同一训练预算，模型和数据如何配比？；问题：对固定训练FLOPs，应怎样配置模型大小和训练token数量？；方法：用三类拟合与多个训练时长估计最优前沿，并将Chinchilla与Gopher等比较。；限制：三种拟合给出相近但不完全相同的指数；未在本项目重训或重拟合。13. 同一训练预算，模型和数据如何配比20222024 · 为什么两条规模规律的指数不同？；问题：Kaplan与Chinchilla的最优规模指数分歧可能来自什么？；方法：从Chinchilla拟合训练曲线出发，模拟较小规模和非嵌入参数口径下的最优前沿。；限制：结果不是对全部模型与训练数据的独立复现，也不排除所有优化或数据差异。14. 为什么两条规模规律的指数不同？2024
下载SVG · 编辑Mermaid · 下载路线数据

沿节点阅读问题、方法与证据

14 / 14

筛选作用于下方节点清单；上方图始终显示完整路线。点击图中的节点会恢复完整清单并跳转。

1943形式神经元与可实现性A批

固定神经网络能够实现哪些逻辑关系？

问题
怎样从连接结构计算网络行为，又从指定的逻辑条件构造网络？
方法与核心变化
以全或无活动、阈值、抑制与离散延迟构造时序命题表达式，并分析无环网络的可实现性。
限制
形式等价不等于生理机制解释；这里没有从数据自动学出网络的算法。作者对心理过程的广泛解释超出已核查定理，不作为现代经验事实。
接下来的问题
如果结构事先未知，怎样通过经验改变网络，并区分可以表达与可以学会？
前提、原文定位与阅读范围

前提：原文采用五项理想化假设，包括结构不随时间改变、抑制绝对生效；扩展等价允许时间延迟不同。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-mcculloch-pitts-1943-c1 · 原文主张

无环网络与原文定义的时序命题表达式之间存在构造性对应；定理III要求所有输入命题为假时结果也为假。

定位：§II，118–121页，定理I–III · mcculloch-pitts-1943

e-mcculloch-pitts-1943-c2 · 原文主张

网络结构固定是所用假设之一；以固定网络替代可变过程的形式等价，作者明确不视为事实性的生理解释。

定位：117–118页 · mcculloch-pitts-1943

e-mcculloch-pitts-1943-c3 · 原文主张

具有相同行为的网络可以拓扑不同；仅从外显行为反推实际神经网络并不唯一。

定位：121页定理II后；132页 · mcculloch-pitts-1943

A Logical Calculus of the Ideas Immanent in Nervous Activity ↗

Warren S. McCulloch · Walter Pitts

版本：The Bulletin of Mathematical Biophysics 5:115–133；19页原刊扫描，非1990重印本

已读：PDF1–8／115–122页：引言、五项假设、时序命题表达式及定理I–III；另读129、131–133页。121页定理III已视觉核对。 (指定片段)

未读／未核验：123–128页的等价变换及循环网络详细推导未读；图1未逐项复核；129页关于图灵计算的结论未独立证明，不将有限网络直接等同于无界图灵机。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

1958经验改变识别偏向A批

识别偏向怎样随经验改变？

问题
在连接结构含随机性的系统中，记忆与泛化能否由物理参数和环境统计关系解释？
方法与核心变化
感觉、联想及响应单元组织为网络；活动和强化改变联想单元的输出效力，进而改变响应竞争。
限制
作者区分多种模型与学习协议，并承认关系抽象困难；本次没有复核完整统计推导或重跑仿真。生物类比仍是模型假设。
接下来的问题
固定输入特征与可学习内部特征各自限制了哪些新任务和关系泛化？
前提、原文定位与阅读范围

前提：本文比较多种增益、判别及强化设置；相似性依赖网络组织和刺激环境，不能简化为一个不带条件的现代线性分类器。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-rosenblatt-1958-c1 · 原文主张

原文的感知机包含感觉、联想和响应阶段，并讨论不同反馈和增益规则；学习改变的是响应倾向。

定位：389–392页，图1、表1 · rosenblatt-1958

e-rosenblatt-1958-c2 · 原文主张

记忆测试重现训练刺激；泛化测试使用独立位置等变化的新刺激。两两响应偏好概率也不同于在全部响应中正确选择的概率。

定位：395–396页 · rosenblatt-1958

e-rosenblatt-1958-c3 · 原文主张

作者把相对判断与时空关系抽象列为当前感知机的能力边界，而未宣称已解释完整人类学习。

定位：404–406页 · rosenblatt-1958

The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain ↗

Frank Rosenblatt

版本：Psychological Review 65(6):386–408；23页原刊扫描

已读：PDF1–11／386–396页的动机、架构、增益方式及记忆／泛化协议；PDF19–23／404–408页的关系抽象边界、结论和参考文献。图1与表1已视觉核对。 (指定片段)

未读／未核验：397–403页的详细学习曲线、推导及扩展尚未完整读；未复现仿真，也未将后来的感知机收敛定理或教材更新式倒填到本篇。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

1986隐藏层误差分配A批

隐藏单元怎样获得学习信号？

问题
任务只指定输入和目标输出时，怎样学习未被直接指定的内部表示？
方法与核心变化
前向计算活动，反向用链式法则传播误差导数，再以梯度及动量更新连接；内部特征随任务形成。
限制
下降方向不保证全局最优；四个留出家族关系的成功不是任意组合泛化的证明。作者明确否认当时算法已是可信的脑学习模型。
接下来的问题
相同优化方法在不同结构先验和训练分布下，会学出什么表示和外推行为？
前提、原文定位与阅读范围

前提：本文采用可微单元和给定输入输出样例；训练结果依赖架构、随机初值及优化设置。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-rumelhart-1986-c1 · 原文主张

误差导数可以逐层反传，使隐藏单元输入连接得到训练信号；正文给出梯度与动量更新。

定位：533–535页，式1–9 · rumelhart-1986

e-rumelhart-1986-c2 · 原文主张

家族关系任务使用两个同构家族树；作者报告训练104个关系三元组中的100个后，对留出的4个正确泛化。

定位：534–535页，图2–4及正文 · rumelhart-1986

e-rumelhart-1986-c3 · 原文主张

原文承认局部极小值与生物可信性限制，并注明Parker与Le Cun独立发现相关变体。

定位：535–536页 · rumelhart-1986

Learning Representations by Back-propagating Errors ↗

David E. Rumelhart · Geoffrey E. Hinton · Ronald J. Williams

版本：Nature 323:533–536，1986-10-09；作者网站提供的4页期刊扫描

已读：533页本文标题起至536页本文参考文献止，全文及式1–9、图1–5已逐页视觉阅读；同页其他文章不属于本文。 (正文已读)

未读／未核验：未重跑对称性与家族关系实验；参考文献中的PDP长章、Le Cun 1985及更早历史原文未读，不据本文宣称反向传播首次发明。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

1988系统性争论A批

相关认知能力为什么成组出现？

问题
理解某种关系为什么通常伴随理解相关的角色交换，而不是互不相关的能力清单？
方法与核心变化
从系统性、组合性与推理一致性论证：表征需要组成结构，处理过程需要对该结构敏感；系统性论证不依赖无界生产性的理想化。
限制
这不是证明任何神经网络都无法完成组合任务。作者承认网络可以表现系统性，争点是架构如何解释并产生这种规律；人类系统性的范围也需任务与表现约束。
接下来的问题
训练诱导的规则能否在新角色、新长度与新分布下持续工作？这些检验分别触及原论证哪一前提？
前提、原文定位与阅读范围

前提：作者把相关能力成组出现视作需要解释的经验前提；从语言到思想还使用表达思想的桥接前提；关于非语言动物的论证包含待经验检验的主张。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-fodor-pylyshyn-1988-c1 · 原文主张

§3.2将系统性表述为某些理解或表达能力之间的内在联系，并明确它不需要无界能力的理想化。

定位：印刷36–40页，§3.2 · fodor-pylyshyn-1988

e-fodor-pylyshyn-1988-c2 · 原文主张

§3.4和§3.5承认可以构造表现系统性的网络；作者要求说明为什么相关能力由机制成组产生，而非仅额外规定其存在。

定位：印刷47–50页，尤其50页 · fodor-pylyshyn-1988

e-fodor-pylyshyn-1988-c3 · 本站分析

把SCAN或MLC某一切分得分直接视为整场架构争论的裁决，会跨过能力定义、训练机制及泛化范围的对齐步骤。

定位：Fodor与Pylyshyn §3.2–3.5；比较依据另见关联来源SCAN PDF5–6及MLC 119页Discussion；本站分析 · fodor-pylyshyn-1988

e-fodor-pylyshyn-1988-c4 · 原文主张

作者将节点的说法扩展到聚合活动模式，并区分认知架构与神经实现；不能把其论证简单还原为只批评局部单元表征。

定位：印刷5页脚注1、10–11页层次区分、15页脚注10 · fodor-pylyshyn-1988

Connectionism and cognitive architecture: A critical analysis ↗

Jerry A. Fodor · Zenon W. Pylyshyn

版本：Cognition 28(1–2):3–71；扫描期刊版

已读：PDF1–49／印刷3–51页：§1、§2、完整§3.1–3.5与§4开头；扫描文字识别辅助阅读，图形及少量识别不清符号不据OCR重建 (指定片段)

未读／未核验：PDF50–69／印刷52–71页尚未完整读；不能称全文完成

只核对所列原文主张；独立验证另见节点记录。

Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks ↗

Brenden M. Lake · Marco Baroni

版本：Generalization without systematicity；Lake & Baroni；ICML/PMLR80

已读：§2及§4实验，PDF2、4–7；未逐页读全部附录；本批复核PDF2、5–6：任务定义、隔离原语实验及与Fodor思想实验的联系 (指定片段)

未读／未核验：第二轮所列未覆盖范围仍保留；本批未补读全部Methods、附录、代码，也未复现实验

仅核对所列原文主张；未独立复现论文结果。

Human-like systematic generalization through a meta-learning neural network ↗

Brenden M. Lake · Marco Baroni

版本：Human-like systematic generalization through a meta-learning neural network；Lake & Baroni；Nature623,115–121

已读：正文PDF2–6；未全面核对Methods与补充材料；本批复核PDF5／119页表2与Discussion：直接讨论Fodor与Pylyshyn，并保留分布外及新符号限制 (指定片段)

未读／未核验：第二轮所列未覆盖范围仍保留；本批未补读全部Methods、附录、代码，也未复现实验

仅核对所列原文主张；未独立复现论文结果。

1988分布式组成结构A批

分布式状态能否具有组成结构？

问题
连接主义是否只能把一个完整思想当成没有结构的原子？
方法与核心变化
Smolensky在概念层把活动模式分解成子模式，在次概念层分析单元活动；咖啡例中组成部分随语境变化，符号描述作为近似高层描述。
限制
目标文§7.2明说复杂结构仍有难题；作者回应区分共同抽象的不同实现与精确执行符号原语。Fodor与Pylyshyn对语境变化下如何保证推理有效提出直接异议。
接下来的问题
能否构造具有明确绑定与解绑定规则的分布式表征，再分开检验结构表达、操作和学习？
前提、原文定位与阅读范围

前提：这是一种研究纲领及表征分析；不能把作者认为可行的方向当作已经完成的普遍系统性保证。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-smolensky-1988-bbs-c1 · 原文主张

§7.2直接点名Fodor与Pylyshyn1988，并以分布式子模式的组成结构反对把批评推广到所有分布式网络。

定位：PDF/印刷16–17页，§7.2 · smolensky-1988-bbs

e-smolensky-1988-bbs-c2 · 原文主张

作者回应图1区分精确执行符号原语和直接以连接主义形式实现认知抽象；后一方向要求重建架构。

定位：PDF/印刷62页，回应§1.1图1 · smolensky-1988-bbs

e-smolensky-1988-bbs-c3 · 原文主张

Fodor与Pylyshyn明确批评Smolensky的咖啡例与近似语境等价，追问关系相似怎样保证推理有效。

定位：印刷45–46页，§3.3 · fodor-pylyshyn-1988

On the proper treatment of connectionism ↗

Paul Smolensky

版本：Behavioral and Brain Sciences 11，目标文1–23页；所读74页文件另含评论与作者回应，DOI对应目标文章

已读：PDF/印刷15–17页，重点§7.2；作者回应62、67–70页。68–69页原先被提取截断的正文已补齐阅读。 (指定片段)

未读／未核验：其他正文、评论和回应未完整读；同年另文 The Constituent Structure… 的全文入口失败，不能用此文件冒充该文

只核对所列原文主张；独立验证另见节点记录。

Connectionism and cognitive architecture: A critical analysis ↗

Jerry A. Fodor · Zenon W. Pylyshyn

版本：Cognition 28(1–2):3–71；扫描期刊版

已读：PDF1–49／印刷3–51页：§1、§2、完整§3.1–3.5与§4开头；扫描文字识别辅助阅读，图形及少量识别不清符号不据OCR重建 (指定片段)

未读／未核验：PDF50–69／印刷52–71页尚未完整读；不能称全文完成

只核对所列原文主张；独立验证另见节点记录。

1990角色绑定与结构表示A批

分布式向量怎样保存谁处于哪个角色？

问题
把多个对象的特征叠加以后，怎样保留对象与角色的绑定并取回它们？
方法与核心变化
先把结构分解为填充值与角色，以外积表示每个绑定，再求和；通过作用于角色侧的向量取回填充值。
限制
该表示不能独自保证学习成功或一般系统性；作者保留维度增长、递归处理与记忆存储限制。数学存在的操作不等于网络已经学会执行。
接下来的问题
怎样控制角色编码、容量和训练经验，区分精确结构操作与近似串扰？
前提、原文定位与阅读范围

前提：精确解绑定理要求单值角色及当前绑定角色向量线性独立；直接用角色向量查询与对偶向量查询的条件不同。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-smolensky-1990-c1 · 原文主张

结构可表示为填充值向量与角色向量外积之和；角色和填充值均可采用分布式表示。

定位：§2.2.3–2.2.4，173–176页 · smolensky-1990

e-smolensky-1990-c2 · 原文主张

单值角色的向量线性独立时，对偶向量支持精确解绑；自寻址查询对非正交角色一般会混入其他填充值。

定位：§3.1，186–187页，定理3.1与3.3 · smolensky-1990

e-smolensky-1990-c3 · 原文主张

作者明确说本研究始于对Fodor与Pylyshyn的回应，同时在结论中承认绑定单元增长和结构处理仍有困难。

定位：§1.2，165页；§4，212–213页 · smolensky-1990

Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems ↗

Paul Smolensky

版本：Artificial Intelligence 46(1–2):159–216；58页期刊版，作者任职机构公开文件

已读：159–176页§1、§2.1–2.2；185–190页§2.4、§3.1–3.2；211页末§3.9引入至213页结论；214–216页参考文献。186–187页精确／自寻址解绑定理及证明已视觉核对。 (指定片段)

未读／未核验：177–184页特殊表示、191–211页大部分实现／递归操作／记忆推导尚未完整读；未实现TPPS或验证学习结果。读取211页结尾不等于审查此前存储定理证明。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

1999视觉层级中的预测误差A批

层间反馈能解释哪些视觉反应？

问题
局部视觉响应为何受更大范围的情境与高层反馈影响？
方法与核心变化
高层向低层传递预测，低层向上传递残差；在生成模型、噪声与先验下优化隐状态，并以较慢时间尺度学习连接权重。
限制
神经对应是机制假说；侧向相互作用是作者承认的替代解释。正文时序扩展未用于所报告模拟，不能把静态重建直接说成未来预测。
接下来的问题
操纵高层反馈与局部侧向联系，能否产生可区分的反应预测？
前提、原文定位与阅读范围

前提：模型拟合静态自然图像；最大后验目标包含方差加权误差及状态／权重先验，不仅是无条件误差最小化。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-rao-ballard-1999-c1 · 原文主张

模型的前馈信号是预测残差，反馈携带预测；神经活动与突触学习分别由生成模型目标的梯度更新。

定位：80页图1；85–86页Methods，式1–7 · rao-ballard-1999

e-rao-ballard-1999-c2 · 原文主张

图5模拟的32个误差单元中，28个在有反馈时呈现超过50%的端点抑制，取消反馈后剩5个；这些是作者模型结果。

定位：83–84页，图5及相邻正文 · rao-ballard-1999

e-rao-ballard-1999-c3 · 原文主张

作者承认侧向作用也可能解释部分现象，并说明本文结果均来自静态图像，时序预测是后续扩展方向。

定位：84页Discussion；86页Methods末 · rao-ballard-1999

Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-classical Receptive-field Effects ↗

Rajesh P. N. Rao · Dana H. Ballard

版本：Nature Neuroscience 2:79–87，1999年1月；1998为收稿／接受年

已读：全文79–87页；80页图1、84页图5及86页式3–9已视觉核对。 (正文已读)

未读／未核验：未复现模型，未独立重读所引神经生理实验；模型与神经回路的对应仍按假说记录。

核对所列原文及图表；未独立重跑论文实验或全面复核证明。

2012大规模监督视觉训练A批

深层视觉模型怎样在大数据上训练并控制过拟合？

问题
如何让大容量卷积网络在有限计算与大量标注图像下取得有效识别结果？
方法与核心变化
组合卷积先验、ReLU、双GPU训练、数据增广、dropout及带动量的随机梯度下降。
限制
15.3%来自包含额外预训练的七网络组合，不能写成单网络成绩；分类结果不自动支持通用理解。官网摘要与链接PDF有差异，本文固定采用PDF。
接下来的问题
在外观、背景或位置变化后，高分类成绩所依赖的特征是否仍有效？
前提、原文定位与阅读范围

前提：评价依赖指定ImageNet版本、数据划分、测试裁剪和模型组合；不同组件并非都通过完全隔离的因果实验评估。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-krizhevsky-2012-c1 · 原文主张

所读系统使用五层卷积与三层全连接，并通过数据增广和dropout抑制过拟合；训练使用带动量和权重衰减的随机梯度下降。

定位：§3.5–5，4–7页；图2 · krizhevsky-2012

e-krizhevsky-2012-c2 · 原文主张

PDF表1的ILSVRC-2010错误率为top-1 37.5%、top-5 17.0%；该结果包含十裁剪预测平均。

定位：7页表1及脚注5；5页§4.1 · krizhevsky-2012

e-krizhevsky-2012-c3 · 原文主张

ILSVRC-2012单CNN的18.2%是验证集top-5错误率；15.3%测试错误率属于七CNN组合，其中两个使用额外数据预训练。

定位：7页§6、表2 · krizhevsky-2012

ImageNet Classification with Deep Convolutional Neural Networks ↗

Alex Krizhevsky · Ilya Sutskever · Geoffrey E. Hinton

版本：NIPS 2012官方9页PDF；同一入口网页摘要的训练数、神经元数和2010错误率与PDF不同，本记录采用固定指纹PDF及其表1–2

已读：PDF1–8全部正文与第9页参考文献；图2和表1–2已视觉核对。另打开官方摘要页用于检查版本差异。 (正文已读)

未读／未核验：补充材料、原代码、完整逐层尺寸一致性和训练实验未复核；图1、3、4未逐项视觉核验；网页摘要与PDF差异的编辑历史未确定。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

2017注意力与序列建模第六轮

用注意力构造序列变换

问题
序列建模如何减少循环造成的训练串行依赖？
方法与核心变化
编码器和解码器使用多头注意力、位置逐点前馈、残差和位置表示；解码自注意力使用因果掩码。
限制
原论文指定翻译与句法任务结果不证明当代语言模型一般理解；未独立复现。
接下来的问题
模型结构、训练分布、资源预算与泛化如何分别影响结果？
前提、原文定位与阅读范围

前提：原论文为编码器—解码器翻译模型；训练并行与自回归推理并行是不同问题。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-vaswani-2017-r6c1 · 原文主张

模型去掉循环结构；编码器和解码器仍使用前馈层、残差和层归一化。

定位：PDF 3，§3.1 · vaswani-2017-v7

e-vaswani-2017-r6c2 · 原文主张

缩放点积注意力对QKᵀ除以√d_k，经softmax加权V；解码掩码防止访问未来位置。

定位：PDF 4–5，§3.2.1、§3.2.3 · vaswani-2017-v7

Attention Is All You Need ↗

Ashish Vaswani · Noam Shazeer · Niki Parmar · Jakob Uszkoreit · Llion Jones · Aidan N. Gomez · Łukasz Kaiser · Illia Polosukhin

版本：2017会议论文；本次实读arXiv v7，2023-08-02，不能把该载体日期当作原始发表年。

已读：PDF 1–5摘要、§1、§3.1–3.3与式1、多头及掩码描述；结果只按摘要范围记录。 (指定片段)

未读／未核验：未逐项复算表格、训练代码、计算成本与全部版本异文；不把翻译基准直接升级为一般理解。

仅据所列原文选段登记作者主张；未独立复现实验、统计拟合或证明。

2020捷径学习与分布外检验A批

高测试分数究竟来自哪条决策规则？

问题
当多种规则都能拟合训练与同分布测试时，怎样判断学到了预期能力？
方法与核心变化
改变候选线索与标签的关系，比较同分布与分布外表现；联合审查架构、数据、损失和优化带来的偏向。
限制
玩具任务不能证明卷积网络总能避开捷径；“总选择最容易解”的表述是作者概括，不是本文证明的一般定理。所读为2023年v5，未对照2020各版。
接下来的问题
控制预期规则与捷径规则的可用性后，哪些训练条件改变模型依赖的线索？
前提、原文定位与阅读范围

前提：需要明确目标能力、可解的分布变化及对应对照；本文是观点文章，实例证据与普遍解释应分别判断。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-geirhos-2020-c1 · 原文主张

同分布测试可能无法区分形状、像素数量与位置等候选规则；分布外测试须明确预期解和改变的条件。

定位：§3，4–6页；§6.2，12–13页 · geirhos-2020-v5

e-geirhos-2020-c2 · 原文主张

星月玩具实验中，位置与类别在训练时相关；附录报告位置随机化测试下MLP为51.0%，特定CNN为100%，两者训练准确率均为100%。

定位：5页图2；28页Appendix A · geirhos-2020-v5

e-geirhos-2020-c3 · 原文主张

作者以架构、训练数据、损失和优化四方面分析学习偏向，并强调大规模数据仍可保留捷径机会。

定位：§4.1，7页；Box II及§6.3，15页 · geirhos-2020-v5

Shortcut Learning in Deep Neural Networks ↗

Robert Geirhos · Jörn-Henrik Jacobsen · Claudio Michaelis · Richard Zemel · Wieland Brendel · Matthias Bethge · Felix A. Wichmann

版本：2020年首次预印本及期刊文章；实际读取arXiv:2004.07780v5（2023-11-21），29页，页码不采用期刊665–673

已读：PDF1–18，§1–8及Boxes I–II；PDF28 Appendix A玩具实验方法；图2与附录A已视觉核对。固定v5下载指纹与第二轮暂存但未读的文件相同。 (指定片段)

未读／未核验：未逐篇核查其引用的视觉、语言、医疗、教育等研究；未运行作者代码、核对多种子稳定性或比较v1到v5的改动；不能用本次阅读声称2020初稿逐字相同。

核对所列原文主张、条件与范围；本次未独立重跑其论文实验。

2020规模、损失与预算第六轮

规模规律预测什么？

问题
模型、数据与计算预算如何影响语言模型的交叉熵损失？
方法与核心变化
在受测范围拟合模型、数据与计算规模的经验关系，并估计固定计算预算下的配置。
限制
拟合结果依赖模型族、数据及计算口径，不能直接作为智能、体验或所有任务能力的定律。
接下来的问题
同预算下不同参数口径和训练时长会怎样改变最优配置？
前提、原文定位与阅读范围

前提：主要指标是WebText2等分布上的语言模型损失；论文参数N和计算C排除嵌入部分。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-kaplan-2020-r6c1 · 原文主张

作者报告损失与模型规模、数据和计算的经验幂律，在其他资源未成为瓶颈的条件下比较。

定位：PDF 3，图1与§1.1 · kaplan-2020

e-kaplan-2020-r6c2 · 原文主张

定义中的N排除嵌入参数；报告的计算最优模型大小指数约0.73，采用相应的非嵌入计算口径。

定位：PDF 6 §2.1；PDF 16 §6、式6.1 · kaplan-2020

Scaling Laws for Neural Language Models ↗

Jared Kaplan · Sam McCandlish · Tom Henighan · Tom B. Brown · Benjamin Chess · Rewon Child · Scott Gray · Alec Radford · Jeffrey Wu · Dario Amodei

版本：arXiv:2001.08361v1，2020-01-23。

已读：PDF 1–4摘要与§1.1；PDF 6 §2；PDF 16 §6与式6.1；PDF 20表6。 (指定片段)

未读／未核验：未执行训练、重拟合曲线或审读全部附录；非嵌入参数和训练计算口径不可直接等同总参数。

仅据所列原文选段登记作者主张；未独立复现实验、统计拟合或证明。

2021程序归纳与学习搜索A批

能否同时学习程序库和搜索程序的方法？

问题
预先设计专用语言限制了程序合成，怎样从已解任务中学出可复用抽象？
方法与核心变化
清醒阶段搜索程序；抽象阶段重构已找到的程序形成库；梦阶段用已解任务和库中采样程序训练神经搜索策略。
限制
主消融覆盖六个领域，另有两个特殊实验；递归基础学习实验没有使用识别网络。少量任务例不等于低总训练成本，完整DSL学习仍是开放问题。 图7中的生成文本任务使用每字符预测似然，不能与其他任务的解题率混为同一指标；EC2各领域运行次数也不同。
接下来的问题
在新数据类型、不同任务分布和更现实的噪声下，库与搜索策略能否继续迁移？
前提、原文定位与阅读范围

前提：输入仍需基本语言和具有共享结构、难度递进的任务语料；后验计算使用有限候选束等近似，不是从无先验开始。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-ellis-2021-c1 · 原文主张

§2明确要求基本语言足以表达任务，并要求容易与困难任务共享可复用抽象。

定位：837页§2 · dreamcoder-2021

e-ellis-2021-c2 · 原文主张

算法将程序搜索、抽象库学习和识别网络训练分成三阶段，并使用有限候选束近似程序空间的求和。

定位：837–839页§2.1–2.4 · dreamcoder-2021

e-ellis-2021-c3 · 原文主张

作者报告主评测中两类学习部件均有贡献；列表任务测试集和EC2批处理方式改变，不能直接与旧论文数字比较。

定位：843–844页§5 · dreamcoder-2021

e-ellis-2021-c4 · 原文主张

特殊递归语言实验禁用识别网络；作者仍将自动学习DSL的数据类型、惯用法和设计模式列为开放问题。

定位：847页特殊实验与§6 Outlook · dreamcoder-2021

e-ellis-2021-c5 · 原文主张

图7生成文本面板报告预测似然；误差条为运行间标准差，EC2的运行次数存在领域差异。

定位：845页图7及图说 · dreamcoder-2021

DreamCoder: Bootstrapping Inductive Program Synthesis with Wake-Sleep Library Learning ↗

Kevin Ellis · Catherine Wong · Maxwell Nye · Mathias Sablé-Meyer · Lucas Morales · Luke Hewitt · Luc Cary · Armando Solar-Lezama · Joshua B. Tenenbaum

版本：PLDI 2021正式论文，835–850页；2020预印本题名与组织不同，本批不混用

已读：PDF1–5／835–839页的问题、算法及近似目标；PDF9–10／843–844页评测设置与结果；PDF13–14／847–848页特殊实验、讨论和图说；PDF11／845页图7曲线、图例、误差条与图说已视觉核对，并读该页正文 (指定片段)

未读／未核验：PDF6–8重构细节、PDF12特殊实验中段、15–16参考文献未完整读；另册附录和代码未核验，未复现结果

核对指定原文主张，未独立重复所引用实验。

2022资源分配的竞争估计第六轮

同一训练预算，模型和数据如何配比？

问题
对固定训练FLOPs，应怎样配置模型大小和训练token数量？
方法与核心变化
用三类拟合与多个训练时长估计最优前沿，并将Chinchilla与Gopher等比较。
限制
三种拟合给出相近但不完全相同的指数；未在本项目重训或重拟合。
接下来的问题
不同参数定义、模型规模范围及推理成本会怎样影响结论？
前提、原文定位与阅读范围

前提：估计目标是给定训练计算下的语言模型损失，依赖数据与训练配置；不等于全生命周期成本最优。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-hoffmann-2022-r6c1 · 原文主张

作者训练400余个模型，用三种方法估算计算最优模型与token规模；表2的三个参数指数分别为0.50、0.49、0.46。

定位：PDF 2 §1；PDF 8，表2 · hoffmann-2022

e-hoffmann-2022-r6c2 · 原文主张

作者报告Chinchilla采用70B参数与约1.4万亿token，并在所测条件下比较Gopher。

定位：PDF 2，引言末段；PDF 27，附录D.3 · hoffmann-2022

Training Compute-Optimal Large Language Models ↗

Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch · Elena Buchatskaya · Trevor Cai · Eliza Rutherford · Diego de Las Casas · Lisa Anne Hendricks · Johannes Welbl · Aidan Clark · Tom Hennigan · Eric Noland · Katie Millican · George van den Driessche · Bogdan Damoc · Aurelia Guy · Simon Osindero · Karen Simonyan · Erich Elsen · Jack W. Rae · Oriol Vinyals · Laurent Sifre

版本：arXiv:2203.15556v1，2022-03-29；NeurIPS正式版本书目单独记录。

已读：PDF 1–2引言及式1；PDF 7–8 §3.4与表2；PDF 27附录D.3对照。 (指定片段)

未读／未核验：未重训模型或复算拟合；训练损失及近无限数据条件不涵盖所有推理成本或数据约束。

仅据所列原文选段登记作者主张；未独立复现实验、统计拟合或证明。

2024参数口径与拟合尺度第六轮

为什么两条规模规律的指数不同？

问题
Kaplan与Chinchilla的最优规模指数分歧可能来自什么？
方法与核心变化
从Chinchilla拟合训练曲线出发，模拟较小规模和非嵌入参数口径下的最优前沿。
限制
结果不是对全部模型与训练数据的独立复现，也不排除所有优化或数据差异。
接下来的问题
用独立训练记录和统一参数／计算口径，能否复核差异归因？
前提、原文定位与阅读范围

前提：模拟基于拟合模型；参数计数与规模范围是作者提出的解释，需与其他可能原因比较。

以下是原批次记录的主张类型；“原文报告”与独立复现分别登记。

e-pearce-song-2024-r6c1 · 原文主张

作者指出Kaplan约0.73与Chinchilla约0.50的配置指数不同。

定位：PDF 1摘要、图1 · pearce-song-2024

e-pearce-song-2024-r6c2 · 原文主张

文章认为非嵌入参数口径与较小研究规模可解释相当部分差异；该判断来自拟合曲线模拟。

定位：PDF 1–2摘要、§1；PDF 6 §3 · pearce-song-2024

Reconciling Kaplan and Chinchilla Scaling Laws ↗

Tim Pearce · Jinyeop Song

版本：arXiv:2406.12907v3，2024-11-21；TMLR 2024。

已读：PDF 1–2摘要、图1与§1；PDF 6 §3参数口径推导入口。 (指定片段)

未读／未核验：未执行作者代码或独立检验全部解释；这是一种基于Chinchilla拟合曲线的比较模型，不是所有差异原因已被排除。

仅据所列原文选段登记作者主张；未独立复现实验、统计拟合或证明。

已登记的关系

以下关系来自既有批次，仅列两端都在本路线中的记录。编辑性比较不表示已经证实历史影响。

直接回应 · e-fodor-pylyshyn-1988 → e-smolensky-1988-bbs

直接点名并回应；同年往复，不推断明确先后顺序。

类型：direct-response · 状态：source-checked · 定位：§7.2，印刷16–17页 · 来源：smolensky-1988-bbs · round-three-a

直接批评 · e-smolensky-1988-bbs → e-fodor-pylyshyn-1988

直接批评咖啡例及语境近似；关系图应允许同年双向争论。

类型：direct-critique · 状态：source-checked · 定位：§3.3，印刷45–46页 · 来源：fodor-pylyshyn-1988 · round-three-a

直接批评 · e-mcculloch-pitts-1943 → e-rosenblatt-1958

Rosenblatt明确讨论并批评包含McCulloch与Pitts在内的确定性模型，转向未知随机连接的统计分析；这是作者立场，不表示早期形式结果已被否定。

类型：direct-critique · 状态：source-supported · 定位：387–388页及408页参考文献11 · 来源：rosenblatt-1958 · round-three-a

editorial-comparison · e-rosenblatt-1958 → e-rumelhart-1986

本站比较经验调整响应与学习隐藏表示；1986论文引用的是Rosenblatt专著，不能据此画成对1958论文的直接引用边。

类型：editorial-comparison · 状态：editorial · 定位：Rosenblatt 389–392页；Rumelhart等533–535页 · 来源：rosenblatt-1958、rumelhart-1986 · round-three-a

直接回应 · e-fodor-pylyshyn-1988 → e-smolensky-1990

作者明确说明这项工作始于回应Fodor与Pylyshyn的表征挑战；1990是期刊节点，不表示研究直到该年才开始。

类型：direct-response · 状态：source-supported · 定位：165页§1.2及214页参考文献11 · 来源：smolensky-1990 · round-three-a

明确采用 · e-smolensky-1988-bbs → e-smolensky-1990

1990文章明确沿用BBS论文的理论立场并形式化结构表示问题；本边不宣称BBS是张量积方法的首次提出。

类型：explicit-adoption · 状态：source-supported · 定位：159页引文41；165–167页；216页参考文献41 · 来源：smolensky-1990 · round-three-a

editorial-comparison · e-rumelhart-1986 → e-krizhevsky-2012

本站比较梯度训练隐藏表示与大规模卷积训练的实现条件；没有把缺乏直接引文的两篇文章写成已考证的单线影响史。

类型：editorial-comparison · 状态：editorial · 定位：Rumelhart等533–535页；AlexNet §4.2–5，6–7页 · 来源：rumelhart-1986、krizhevsky-2012 · round-three-a

editorial-comparison · e-krizhevsky-2012 → e-geirhos-2020

本站将基准分类成果与决策规则诊断并置；捷径学习的玩具实验不是对AlexNet表1结果的复现或推翻。

类型：editorial-comparison · 状态：editorial · 定位：AlexNet §6，7页；捷径学习§3、§6.1–6.2 · 来源：krizhevsky-2012、geirhos-2020-v5 · round-three-a

明确采用 · e-vaswani-2017 → e-kaplan-2020

Kaplan明确以Transformer为主要研究架构；模型使用关系不代表从架构直接推导规模规律。

类型：explicit-adoption · 状态：source-supported · 定位：Kaplan PDF 2 §1 · 来源：kaplan-2020 · round-six

直接批评 · e-kaplan-2020 → e-hoffmann-2022

Hoffmann明确比较并修订对计算最优模型大小与token分配的估计；原指标与口径需要分别保留。

类型：direct-critique · 状态：source-supported · 定位：Hoffmann PDF 1–2，引言 · 来源：hoffmann-2022 · round-six

方法比较 · e-hoffmann-2022 → e-pearce-song-2024

后文基于Chinchilla拟合曲线研究两组估计的口径差异，不是全部原始模型训练的独立复制。

类型：method-comparison · 状态：source-supported · 定位：Pearce PDF 1–2，摘要和图1 · 来源：pearce-song-2024 · round-six

未覆盖与下一步

  • 十个节点覆盖本批指定转折，不代表完整连接主义史。
  • C批已选读Hebb的1988重印所列片段；1949原书完整论证与版本校勘、感知机专著及Minsky–Papert 1969仍待补。不能用1958选段替代收敛定理。
  • 张量积表示的网络实现、递归操作及Fodor–McLaughlin 1990后续批评尚未完成原文审校。
  • 第六轮选读Transformer、Kaplan与两项规模规律竞争解释；其余现代模型、完整训练代码和较新数据仍未系统审校。

第一轮未映射候选与各来源的未读部分仍需继续审校；本页不代表这条路线的全部历史。

继续比较

搜索

正在载入索引…