RESEARCH REVISIT · ROUND 06
让关键缺口
接受原文与反方的检验。
定义智能、解释机制以及比较训练资源，都需要先说明研究对象和证据能支持什么。
查看24项候选的优先顺序与阅读状态
顺序依据核心问题的相关性、区分争论的价值、跨路线影响和原典可获得性，并非对作品重要性的客观排名。
- 汇集不同智能定义：不同领域对 intelligence 使用了哪些不相同的标准？；本轮选读。直接影响智能定义、解释层次或模型能力与资源边界；可取得并定位原文
- 解释计算的多个层次：只知道神经实现是否足以理解视觉计算？；本轮选读。直接影响智能定义、解释层次或模型能力与资源边界；可取得并定位原文
- 规模与损失的经验关系：模型、数据和训练计算怎样影响语言建模损失？；本轮选读。直接影响智能定义、解释层次或模型能力与资源边界；可取得并定位原文
- 以注意力组织序列建模：序列建模能否摆脱循环结构的部分限制？；本轮选读。直接影响智能定义、解释层次或模型能力与资源边界；可取得并定位原文
- 感知机能力边界：一类感知机的表示能力受哪些结构限制？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 多种基本能力：测验相关必须用一个总因素解释吗？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 把认知分析单位扩展到系统：导航计算怎样分布在人、工具和操作规程中？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 全局工作空间：局部处理如何成为可被多个系统使用的信息？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 文化传递的演化模型：文化变化如何与遗传和个体学习相互作用？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 概率图中的不确定性推理：怎样在不完整证据下组合知识与推断？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 用描述长度选择模型：拟合程度与模型复杂度怎样共同权衡？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 通用序贯决策的形式化：能否统一未知环境中的预测与行动选择？；优先回访。与核心问题相关；需进一步核对原始版本、反方材料及阅读条件
- 文化积累与人类认知：人类认知的特殊性如何与文化学习联系？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 跨任务的统一认知理论：分散的局部实验如何约束一个整体理论？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 多机制协作的心智解释：复杂思考能否由许多简单过程共同产生？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 认知架构与知识使用：记忆、技能获得和执行怎样由一套架构解释？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 累积文化与认知生态：个体并不理解的知识为何仍能长期积累？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 搜索与自我对弈相互改进：能否用自我对弈数据改进策略与价值估计？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 局部信息与群体方向：少数知情个体怎样影响群体行动？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 情感与决策：理性决策能否脱离身体状态和情感？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 比较不同基底上的认知：怎样研究非常规身体与基底的认知能力？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 意向立场与预测：何时把系统解释为有信念和欲望有用？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- Orch OR 的修订与回应：原假说面对批评与新证据怎样调整？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
- 非算法心智与物理问题：心智是否需要超出常规计算的物理解释？；后续专项。影响特定分支或版本争论；需与相邻路线及其他待审材料一同排期
从原始问题到反方
智能是否只有一种定义？
不同研究者所说的智能究竟包括哪些能力或目标？
汇集集体、心理学和AI研究者的定义，并讨论能否提取共同特征。
边界：作者倾向统一定义是研究立场，不由定义汇编直接证明；未逐条回读被引原典。
进入时间线与定位主张 →解释计算的三个层次
只知道物理实现，能否完整理解视觉中的信息处理？
分别说明计算目标与适当性、表示和算法，以及算法的物理实现。
边界：原书选读不能验证某个视觉算法已在脑中实现；不同层次不是可互相替换的测量。
进入时间线与定位主张 →用注意力构造序列变换
序列建模如何减少循环造成的训练串行依赖？
编码器和解码器使用多头注意力、位置逐点前馈、残差和位置表示；解码自注意力使用因果掩码。
边界：原论文指定翻译与句法任务结果不证明当代语言模型一般理解；未独立复现。
进入时间线与定位主张 →规模规律预测什么？
模型、数据与计算预算如何影响语言模型的交叉熵损失？
在受测范围拟合模型、数据与计算规模的经验关系，并估计固定计算预算下的配置。
边界：拟合结果依赖模型族、数据及计算口径，不能直接作为智能、体验或所有任务能力的定律。
进入时间线与定位主张 →同一训练预算，模型和数据如何配比？
对固定训练FLOPs，应怎样配置模型大小和训练token数量？
用三类拟合与多个训练时长估计最优前沿，并将Chinchilla与Gopher等比较。
边界：三种拟合给出相近但不完全相同的指数；未在本项目重训或重拟合。
进入时间线与定位主张 →为什么两条规模规律的指数不同？
Kaplan与Chinchilla的最优规模指数分歧可能来自什么？
从Chinchilla拟合训练曲线出发，模拟较小规模和非嵌入参数口径下的最优前沿。
边界：结果不是对全部模型与训练数据的独立复现，也不排除所有优化或数据差异。
进入时间线与定位主张 →规模规律中的竞争解释
Kaplan报告的模型规模指数约为0.73，采用非嵌入参数和对应计算口径。Hoffmann的三种估算分别给出0.50、0.49和0.46；Pearce与Song基于拟合曲线认为，参数口径与较小规模可解释相当部分差异。这些是所读作者的报告与解释，未在本站重训或重拟合，也不是统一智能分数。
对既有结论的补充
资源、训练与评价目标的约束同样适用于规模规律；语言损失不是跨任务智能总分。
回到原结论与反方 →Marr的三层说明计算目标、表示算法与实现各需证据；不能以病损定位直接唯一确定算法。
回到原结论与反方 →Kaplan、Hoffmann与Pearce比较说明结论与口径、模型类、尺度依赖相连；拟合与独立训练要分开。
回到原结论与反方 →本轮来源与实际阅读范围
2007 · A Collection of Definitions of Intelligence
Shane Legg · Marcus Hutter
版本：arXiv:0706.3639v1，2007-06-25。
已读：PDF 2–3 §1–2；PDF 7–9 §4–5；比较集体、心理学与AI定义的组织方式及作者统一定义的立场。
未读／未复算：未逐一回读70余条定义的原始文献；汇编不等于学科共识。
1982 · Vision: A Computational Investigation into the Human Representation and Processing of Visual Information
David Marr
版本：1982原书第一章扫描，19页PDF；每张扫描图包含两页，页眉装订侧部分裁切。
已读：PDF第11–12页图像，原书22–25页：计算、过程、表示和实现，图1–4及其后关于层次联系的论述。
未读／未复算：第一章其他页及全书其他章节未系统审读；未将视觉论证自动推广为全部认知机制已验证。
2017 · Attention Is All You Need
Ashish Vaswani · Noam Shazeer · Niki Parmar · Jakob Uszkoreit · Llion Jones · Aidan N. Gomez · Łukasz Kaiser · Illia Polosukhin
版本：2017会议论文；本次实读arXiv v7，2023-08-02，不能把该载体日期当作原始发表年。
已读：PDF 1–5摘要、§1、§3.1–3.3与式1、多头及掩码描述；结果只按摘要范围记录。
未读／未复算：未逐项复算表格、训练代码、计算成本与全部版本异文；不把翻译基准直接升级为一般理解。
2020 · Scaling Laws for Neural Language Models
Jared Kaplan · Sam McCandlish · Tom Henighan · Tom B. Brown · Benjamin Chess · Rewon Child · Scott Gray · Alec Radford · Jeffrey Wu · Dario Amodei
版本：arXiv:2001.08361v1，2020-01-23。
已读：PDF 1–4摘要与§1.1；PDF 6 §2；PDF 16 §6与式6.1；PDF 20表6。
未读／未复算：未执行训练、重拟合曲线或审读全部附录；非嵌入参数和训练计算口径不可直接等同总参数。
2022 · Training Compute-Optimal Large Language Models
Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch · Elena Buchatskaya · Trevor Cai · Eliza Rutherford · Diego de Las Casas · Lisa Anne Hendricks · Johannes Welbl · Aidan Clark · Tom Hennigan · Eric Noland · Katie Millican · George van den Driessche · Bogdan Damoc · Aurelia Guy · Simon Osindero · Karen Simonyan · Erich Elsen · Jack W. Rae · Oriol Vinyals · Laurent Sifre
版本：arXiv:2203.15556v1，2022-03-29；NeurIPS正式版本书目单独记录。
已读：PDF 1–2引言及式1；PDF 7–8 §3.4与表2；PDF 27附录D.3对照。
未读／未复算：未重训模型或复算拟合；训练损失及近无限数据条件不涵盖所有推理成本或数据约束。
2024 · Reconciling Kaplan and Chinchilla Scaling Laws
Tim Pearce · Jinyeop Song
版本：arXiv:2406.12907v3，2024-11-21；TMLR 2024。
已读：PDF 1–2摘要、图1与§1；PDF 6 §3参数口径推导入口。
未读／未复算：未执行作者代码或独立检验全部解释；这是一种基于Chinchilla拟合曲线的比较模型，不是所有差异原因已被排除。
尚未解决
选读4项不等于4部作品全文完成；Minsky–Papert感知机原书等其余20项仍待原典阅读或映射。书目整理、原文阅读与独立验证保持不同状态。