审查抓到了什么:一份“怎么骗自己”的清单

萌芽想法

初步构想、学习摘录或开放性猜想,结构精简,处于持续发酵中。

ℹ数字花园

🌿 什么是数字花园与思想演进?

遵循 Maggie Appleton 与 Andy Matuschak 的常青笔记理念:这里不是按时间沉底的流水账,而是持续修剪打磨的知识生态。文章按成熟度经历:

  • 🌱 萌芽 (Seedling): 发散灵感、读书摘录、开放猜想
  • 🌿 演进 (Budding): 结构渐明、初步代码推导、积极修正
  • 🌳 常青 (Evergreen): 逻辑闭环、持久经得起检验的基石
  • 🔬 实验待证 (Speculative): 结合沙盒与仿真探针的理论探索
浏览全站数字花园与笔记全景 →

项目代码与全部实验记录:https://github.com/meiluosi/fly-connectome-study(目录 fly-v4/verification/)

这个项目的每一阶段都跑过独立审查:一个没有上下文的子 agent,只读代码、登记文件和结果,核实每一条发现后再报告。每一轮都改掉了一部分结论。这一篇把它们整理成清单,每一条都对应一次真实发生的错误。

1. 清单:十二种容易自己骗自己的做法#

#做法出现在怎么被发现改了什么
1阳性对照用同一个特征源,循环阶段 0审查指出教师和真实学生共享同一套连线改成非循环教师(重排 30%、新抽的打乱连线)
2指标的实现与名字不符阶段 0审查运行代码:“50 次后”读的是第 40 次,“沉默”变成最大抑制修正并重跑,旧列标注作废
3把“被超过”写成“等价”持续学习审计审查对照数据更正措辞
4读出的是一般性质,却当作对连线的检验阶段 2审查:只有稀疏编码加误差驱动就能产生只算正常性检查,不算证据
5把几个混在一起的差别归到一个原因阶段 2审查:单位权重学习器的编码不稳定(同一气味两次编码只重叠 0.61),不是“突触强度”删去机制归因
6固定学习率下的通过与否阶段 2审查重跑:改学习率后原来不通过的学习器也通过标注依赖学习率
7“匹配”的是数量,不是有效剂量阶段 5审查算出沉默 818 个高频 KC 去掉 93% 的编码位置,随机沉默只去掉 40%结论改成“没有检测到”,主结论族的 4 项近乎同义反复
8排序指标与通道活跃度混杂阶段 5b审查用与连线无关的“最活跃通道”排序,超额损失更大hub 的效应归因到活跃度,“bridger”(参与系数 0.50 到 0.65)几乎不是桥接器
9不同连线各算各的排序后比较阶段 5b审查:打乱连线的扇出几乎平坦,hub 集合与真实只重叠 1 到 4 个,零效应几乎是必然的改称“比较的是不同的通道集合”
10调参网格最优点贴边阶段 6b三个隔间学习器的最佳学习率都在网格上界放宽网格重跑
11更新没有上界阶段 6c审查检查突触值:学习率 4.0 时落在 [−6.9, +9.5];截断到 [0, 1] 的对照里优势消失(约 8 对 54)有界版本重跑,优势归零
12把“没有显著”写成“没有稳定优势或劣势”阶段 6c审查:区间 [+2.4, +14.6] 与 [−14.9, −3.7] 都不含 0,符号相反措辞改为“无法下结论”

2. 规律:三种共同的错位#

  • “看起来的优势”大多来自对照不匹配。 第 1、5、7、9、11 条都是对照与被比较的对象在别的维度上不同:特征源、编码稳定性、有效剂量、通道集合、更新的数值范围。每次比较,先检查两侧除了要检验的那一项之外,还差在哪里。
  • 审查必须能运行代码。 第 2、7、11 条是审查跑了几行代码才发现的,光读文档发现不了。
  • “没有效应”要看设计能不能看见它。 第 1 条之后补的阳性对照,是后面所有零结果的前提。

3. 自查:多重比较、重新实现与文献#

  • 全局多重比较: 各阶段内部按各自的族校正。把 67 个头条对比放进同一个族,用从区间反推的正态近似做 Holm 校正,42 个仍显著,其中阶段内判定“有意义(严格)”的 16 个全在其中;阶段内判定为有意义或小但真实的结果里,只有两个在全局校正后不再显著。统一校正不改变各阶段的头条结论,主要的不确定性来自效应量和设计,不是多重比较。
  • 独立重新实现: 三个阶段由另一个子 agent 根据文字说明重新实现,不看原代码和结果。阶段 0b 和阶段 4 的数值与原结果吻合;阶段 3 方向一致,量级小 2 到 4 倍,原因主要是 KC 数不同。
  • 文献核对: 5 个研究 agent 读了相关文献,凡是只读到摘要或凭记忆的都标注为未核实;因此“KC 连线接近随机”“多巴胺信号是预测误差”“与 Lin 2014 一致”这类说法都收窄了。

4. 局限:审查者是同一模型家族#

  • 审查者是同一个模型家族。 证据(跨模型的研究)显示,同一家族的模型对错误的相关性更高,而且倾向于附和;所以它们不是独立的误差来源。这里的做法是让审查者运行代码、核实每条发现,并把审查称为“同模型、上下文隔离的审查”,不称为同行评审。
  • 重新实现者读的是原实现者写的文字说明。 说明本身的缺陷不会被发现。
  • 没有人类专家审阅。 神经科学一侧的判断(比如 PAM/PPL1 的效价规则)没有被专家检验。
  • 最小有意义效应 0.03 是预先选定的。 没有独立论证它高于测试集噪声下限,严格说“等价”只是“在这个界内未检出”。
  • 文献读得浅。 抓取工具返回的是经过模型总结的页面,只有少数几篇读到大部分正文。

5. 做法:七条可以直接拿走#

  1. 每个对比之前先写“两侧还差在哪里”。
  2. 阳性对照要非循环:教师不能是学生拥有的那个实例。
  3. 调参网格画出最优点位置,贴边就放宽重跑。
  4. 学习规则检查数值范围(突触值是否越界)。
  5. 审查者必须运行代码,每条发现先核实再报告。
  6. 对照与对象不一致时,把“匹配”的标准写清楚:数量、剂量、学习水平。
  7. 零结果之后,写“没有检测到”,不写“不存在”。

6. 下一篇#

第 11 篇:总结。


文件位置:fly-v4/verification/review_stage0.md、review_stage2.md、review_stage4.md、review_stage5.md、review_stage6.md、verification/replication/、MULTIPLICITY.md、literature/REVIEW.md。

文章概念网络

从章节进入正文概念。实线表示所属层级,虚线连接跨章节重复出现的概念,不代表因果关系。

32 / 32 个节点 · 正文标记术语与关键词概念

审查抓到了什么:一份“怎么骗自己”的清单同一概念 / Shared concept审查抓到了什么:一份“怎么骗自己”的清单审查抓到了什么:一份“怎么骗自己”的清单fly-v4/verification/fly-v4/verification/1. 清单:十二种容易自己骗自己的做法1. 清单:十二种容易自己骗自己的做法2. 规律:三种共同的错位2. 规律:三种共同的错位“看起来的优势”大多来自对照不匹配“看起来的优势”大多来自对照不匹配审查必须能运行代码审查必须能运行代码“没有效应”要看设计能不能看见它“没有效应”要看设计能不能看见它3. 自查:多重比较、重新实现与文献3. 自查:多重比较、重新实现与文献全局多重比较全局多重比较独立重新实现独立重新实现文献核对文献核对4. 局限:审查者是同一模型家族4. 局限:审查者是同一模型家族审查者是同一个模型家族审查者是同一个模型家族重新实现者读的是原实现者写的文字说明重新实现者读的是原实现者写的文字说明没有人类专家审阅没有人类专家审阅最小有意义效应 0.03 是预先选定的最小有意义效应 0.03 是预先选定的文献读得浅文献读得浅5. 做法:七条可以直接拿走5. 做法:七条可以直接拿走6. 下一篇6. 下一篇fly-v4/verification/reviewstage0.mdfly-v4/verification/reviewstage0.mdreviewstage2.mdreviewstage2.mdreviewstage4.mdreviewstage4.mdreviewstage5.mdreviewstage5.mdreviewstage6.mdreviewstage6.mdverification/replication/verification/replication/MULTIPLICITY.mdMULTIPLICITY.mdliterature/REVIEW.mdliterature/REVIEW.mdAgentAgent实验实验AgentAgent记忆记忆测试集测试集
审查抓到了什么:一份“怎么骗自己”的清单

审查抓到了什么:一份“怎么骗自己”的清单

回到原文 ↗
BIBTEX

引用本文

@article{2026-10-21-fly-connectome-10-review-checklist,
  author  = {枫语},
  title   = {审查抓到了什么:一份“怎么骗自己”的清单},
  journal = {枫语},
  year    = {2026},
  month   = {oct},
  url     = {https://meiluosi.github.io/posts/2026-10-21-fly-connectome-10-review-checklist/}
}
🌐

本篇知识星丛与滑动侧栈

审查抓到了什么:一份“怎么骗自己”的清单 当前主轴

搜索

正在载入索引…