English interface selected · this article is currently written in Chinese.
审查抓到了什么:一份“怎么骗自己”的清单
English overview →萌芽想法
初步构想、学习摘录或开放性猜想,结构精简,处于持续发酵中。
数字花园
🌿 什么是数字花园与思想演进?
遵循 Maggie Appleton 与 Andy Matuschak 的常青笔记理念:这里不是按时间沉底的流水账,而是持续修剪打磨的知识生态。文章按成熟度经历:
- 🌱 萌芽 (Seedling): 发散灵感、读书摘录、开放猜想
- 🌿 演进 (Budding): 结构渐明、初步代码推导、积极修正
- 🌳 常青 (Evergreen): 逻辑闭环、持久经得起检验的基石
- 🔬 实验待证 (Speculative): 结合沙盒与仿真探针的理论探索
项目代码与全部实验记录:https://github.com/meiluosi/fly-connectome-study(目录 fly-v4/verification/)
这个项目的每一阶段都跑过独立审查:一个没有上下文的子 agent,只读代码、登记文件和结果,核实每一条发现后再报告。每一轮都改掉了一部分结论。这一篇把它们整理成清单,每一条都对应一次真实发生的错误。
1. 清单:十二种容易自己骗自己的做法
| # | 做法 | 出现在 | 怎么被发现 | 改了什么 |
|---|---|---|---|---|
| 1 | 阳性对照用同一个特征源,循环 | 阶段 0 | 审查指出教师和真实学生共享同一套连线 | 改成非循环教师(重排 30%、新抽的打乱连线) |
| 2 | 指标的实现与名字不符 | 阶段 0 | 审查运行代码:“50 次后”读的是第 40 次,“沉默”变成最大抑制 | 修正并重跑,旧列标注作废 |
| 3 | 把“被超过”写成“等价” | 持续学习审计 | 审查对照数据 | 更正措辞 |
| 4 | 读出的是一般性质,却当作对连线的检验 | 阶段 2 | 审查:只有稀疏编码加误差驱动就能产生 | 只算正常性检查,不算证据 |
| 5 | 把几个混在一起的差别归到一个原因 | 阶段 2 | 审查:单位权重学习器的编码不稳定(同一气味两次编码只重叠 0.61),不是“突触强度” | 删去机制归因 |
| 6 | 固定学习率下的通过与否 | 阶段 2 | 审查重跑:改学习率后原来不通过的学习器也通过 | 标注依赖学习率 |
| 7 | “匹配”的是数量,不是有效剂量 | 阶段 5 | 审查算出沉默 818 个高频 KC 去掉 93% 的编码位置,随机沉默只去掉 40% | 结论改成“没有检测到”,主结论族的 4 项近乎同义反复 |
| 8 | 排序指标与通道活跃度混杂 | 阶段 5b | 审查用与连线无关的“最活跃通道”排序,超额损失更大 | hub 的效应归因到活跃度,“bridger”(参与系数 0.50 到 0.65)几乎不是桥接器 |
| 9 | 不同连线各算各的排序后比较 | 阶段 5b | 审查:打乱连线的扇出几乎平坦,hub 集合与真实只重叠 1 到 4 个,零效应几乎是必然的 | 改称“比较的是不同的通道集合” |
| 10 | 调参网格最优点贴边 | 阶段 6b | 三个隔间学习器的最佳学习率都在网格上界 | 放宽网格重跑 |
| 11 | 更新没有上界 | 阶段 6c | 审查检查突触值:学习率 4.0 时落在 [−6.9, +9.5];截断到 [0, 1] 的对照里优势消失(约 8 对 54) | 有界版本重跑,优势归零 |
| 12 | 把“没有显著”写成“没有稳定优势或劣势” | 阶段 6c | 审查:区间 [+2.4, +14.6] 与 [−14.9, −3.7] 都不含 0,符号相反 | 措辞改为“无法下结论” |
2. 规律:三种共同的错位
- “看起来的优势”大多来自对照不匹配。 第 1、5、7、9、11 条都是对照与被比较的对象在别的维度上不同:特征源、编码稳定性、有效剂量、通道集合、更新的数值范围。每次比较,先检查两侧除了要检验的那一项之外,还差在哪里。
- 审查必须能运行代码。 第 2、7、11 条是审查跑了几行代码才发现的,光读文档发现不了。
- “没有效应”要看设计能不能看见它。 第 1 条之后补的阳性对照,是后面所有零结果的前提。
3. 自查:多重比较、重新实现与文献
- 全局多重比较: 各阶段内部按各自的族校正。把 67 个头条对比放进同一个族,用从区间反推的正态近似做 Holm 校正,42 个仍显著,其中阶段内判定“有意义(严格)”的 16 个全在其中;阶段内判定为有意义或小但真实的结果里,只有两个在全局校正后不再显著。统一校正不改变各阶段的头条结论,主要的不确定性来自效应量和设计,不是多重比较。
- 独立重新实现: 三个阶段由另一个子 agent 根据文字说明重新实现,不看原代码和结果。阶段 0b 和阶段 4 的数值与原结果吻合;阶段 3 方向一致,量级小 2 到 4 倍,原因主要是 KC 数不同。
- 文献核对: 5 个研究 agent 读了相关文献,凡是只读到摘要或凭记忆的都标注为未核实;因此“KC 连线接近随机”“多巴胺信号是预测误差”“与 Lin 2014 一致”这类说法都收窄了。
4. 局限:审查者是同一模型家族
- 审查者是同一个模型家族。 证据(跨模型的研究)显示,同一家族的模型对错误的相关性更高,而且倾向于附和;所以它们不是独立的误差来源。这里的做法是让审查者运行代码、核实每条发现,并把审查称为“同模型、上下文隔离的审查”,不称为同行评审。
- 重新实现者读的是原实现者写的文字说明。 说明本身的缺陷不会被发现。
- 没有人类专家审阅。 神经科学一侧的判断(比如 PAM/PPL1 的效价规则)没有被专家检验。
- 最小有意义效应 0.03 是预先选定的。 没有独立论证它高于测试集噪声下限,严格说“等价”只是“在这个界内未检出”。
- 文献读得浅。 抓取工具返回的是经过模型总结的页面,只有少数几篇读到大部分正文。
5. 做法:七条可以直接拿走
- 每个对比之前先写“两侧还差在哪里”。
- 阳性对照要非循环:教师不能是学生拥有的那个实例。
- 调参网格画出最优点位置,贴边就放宽重跑。
- 学习规则检查数值范围(突触值是否越界)。
- 审查者必须运行代码,每条发现先核实再报告。
- 对照与对象不一致时,把“匹配”的标准写清楚:数量、剂量、学习水平。
- 零结果之后,写“没有检测到”,不写“不存在”。
6. 下一篇
第 11 篇:总结。
文件位置:fly-v4/verification/review_stage0.md、review_stage2.md、review_stage4.md、review_stage5.md、review_stage6.md、verification/replication/、MULTIPLICITY.md、literature/REVIEW.md。
文章概念网络
从章节进入正文概念。实线表示所属层级,虚线连接跨章节重复出现的概念,不代表因果关系。
32 / 32 个节点 · 正文标记术语与关键词概念
审查抓到了什么:一份“怎么骗自己”的清单
审查抓到了什么:一份“怎么骗自己”的清单
回到原文 ↗最后更新于 2026-10-21
BIBTEX
引用本文
@article{2026-10-21-fly-connectome-10-review-checklist,
author = {枫语},
title = {审查抓到了什么:一份“怎么骗自己”的清单},
journal = {枫语},
year = {2026},
month = {oct},
url = {https://meiluosi.github.io/posts/2026-10-21-fly-connectome-10-review-checklist/}
}本篇知识星丛与滑动侧栈
审查抓到了什么:一份“怎么骗自己”的清单 当前主轴