隔间与多巴胺:把效价专门化放进模型之后,得到了什么

实验待证

配合仿真与实验探针的假设探索,等待更多证据或边界检验。

ℹ数字花园

🌿 什么是数字花园与思想演进?

遵循 Maggie Appleton 与 Andy Matuschak 的常青笔记理念:这里不是按时间沉底的流水账,而是持续修剪打磨的知识生态。文章按成熟度经历:

  • 🌱 萌芽 (Seedling): 发散灵感、读书摘录、开放猜想
  • 🌿 演进 (Budding): 结构渐明、初步代码推导、积极修正
  • 🌳 常青 (Evergreen): 逻辑闭环、持久经得起检验的基石
  • 🔬 实验待证 (Speculative): 结合沙盒与仿真探针的理论探索
浏览全站数字花园与笔记全景 →

项目代码与全部实验记录:https://github.com/meiluosi/fly-connectome-study(目录 fly-v4/)

这个项目最初想问的是:蘑菇体的隔间按效价分成奖励和惩罚两类,多巴胺的时序又决定记忆的符号,把这两点放进学习器,持续学习和觅食会不会变好?前面的模型没有这两点。这一篇补上,并把每个看起来的“优势”交给审查。

1. 模型:PAM 簇、PPL1 簇和只抑制的规则#

  • 簇: 按 MBON 所在隔间,PAM 簇(γ3、γ4、γ5、β1、β2、β′1、β′2、α1)对应奖励多巴胺,PPL1 簇(γ1、γ2、α′1、α′2、α′3、α2、α3)对应惩罚多巴胺;48 个 MBON 里 20 个属于 PAM,28 个属于 PPL1,1 个(calyx)不学习。
  • 读出: PAM 簇的 MBON 驱动回避,PPL1 簇的 MBON 驱动趋近。
  • 规则: 多巴胺是预测误差:奖励多巴胺 = max(目标 − 预测, 0),惩罚多巴胺 = max(预测 − 目标, 0);活跃 KC 到该簇 MBON 的突触按多巴胺抑制,没有增强和遗忘项。
  • 对照: 原规则(双向、全局);真实簇标签在 MBON 之间随机重排的版本;重排但两个簇的 KC→MBON 突触总量保持在真实值 ±10% 内的版本。

簇划分的数据检验: 用 MaleCNS 里 DAN→MBON 的直接突触,给每个 MBON 重新判定簇(主要的 DAN 输入是 PAM 还是 PPL1),与按隔间标签的划分 48/48 一致,唯一不同的是 calyx 的那个 MBON。这个检验很弱:DAN 的簇来自类型名,一致几乎是定义性的;它不验证“PAM 就是奖励”。

文献怎么说: Aso 等 2014 自己用“generally”之类的词描述这条规则;文献里有例外(PAM 的 MB-M3 和 γ3 在某些条件下驱动厌恶记忆,PPL1-γ2α′1 参与奖励记忆的消退,α′3 与新奇有关)。MBON 的递质与簇的方向一致:PAM 簇 20 个 MBON 里 15 个是抑制性递质,PPL1 簇 28 个里 19 个是乙酰胆碱,但 GABA 能的 MBON 两个簇里都有,所以递质符号不能直接当作读出符号。

2. 时序现象:后向配对反转记忆的符号#

单个气味,多巴胺脉冲在气味之后(前向)或之前(后向):

  • 奖励前向 → 价值为正,奖励后向 → 价值为负;惩罚相反。
  • 脉冲与气味相隔 8 秒时效应降到约 3%。
  • 消融 PAM 簇的可塑性只废掉奖励学习,消融 PPL1 簇只废掉惩罚学习。
  • 去掉后向增强项后,后向配对的效应归零。

三种簇分配(真实、重排、质量平衡重排)都通过,所以这只是规则自洽的检查,不能区分真实结构。文献方面,Handler 等 2019 报告了多巴胺与气味的时序决定记忆符号,但这个符号反转需要显式的时序项,单靠对预测误差的 delta 规则产生不了,这里的规则带有这一项。

3. 样本效率:不优于原规则#

四个学习任务(真实气味 + 随机类别标签、线性教师、两个真实连线教师)里,隔间学习器与原规则相当或略差:真实气味任务 −0.006(等价),线性教师 −0.018,真实连线教师 −0.027 到 −0.065。隔间学习器明显好于簇标签重排的对照,但独立审查指出,重排的对照主要差在学习水平:在刚学完准确率相近的重排里,最终准确率没有差别。

4. 持续学习:边缘的保留优势#

每个世界 40 个气味、随机 ±1 标签,分成 4 个任务依次训练,最后测全部 40 个。

持续学习的前沿
持续学习的前沿

学习器刚学完最终
原规则(各自调参)0.9400.802
原规则(匹配学习量)0.9020.798
隔间规则(真实簇)0.9050.846
重排簇标签0.7270.645
  • 隔间规则的最终准确率比原规则高 +0.044,比匹配学习量的原规则高 +0.048;99.3% 区间的下界是 +0.024 和 +0.029,都低于 0.03,只能算边缘。
  • 在刚学完准确率相同的几个点上,优势是 +0.028、+0.048、+0.041、+0.004,报告的 +0.048 是最有利的一个。
  • 独立重新实现: +0.0395、+0.0425,与原结果相符。

审查的结论:不能说隔间化减少了遗忘。 差别来自规则族:新规则只抑制突触、不增强,旧痕迹不会被覆盖;把所有 MBON 对任何误差都抑制的版本在所有任务上学不会,所以分簇是只抑制规则能工作的前提,两者混在一起。真实划分也不特殊:重排 200 次(质量平衡)里约 7.5% 不低于真实划分,在刚学完准确率接近的重排里,最终准确率没有优势。能说的只是:真实划分属于能学会的那一类。

5. 觅食:窄网格、宽网格与有界更新#

把隔间学习器放进觅食场(200 个全新世界,第 3000 步奖励反转,consistent 与 conflict 两种世界)。

  1. 窄网格(学习率上限 0.8): 隔间学习器的净奖励只有 +4.9 与 +13.4,原规则 +51.9 与 +36.2。三个隔间学习器的最佳学习率都落在网格上界。
  2. 放宽网格: consistent 世界里隔间学习器 +53.8,对原规则 +8.6;conflict 世界 −9.3,都只是边缘。
  3. 审查发现: 隔间学习器的抑制没有上界,学习率 4.0 时突触值落在 [−6.9, +9.5],不再是抑制而是变号放大;把抑制截断到 [0, 1] 的对照里,consistent 世界的优势消失(约 8 对 54)。
  4. 有界版本重跑: consistent 世界里隔间学习器比原规则低 22.3;conflict 世界 −2.6,无法区分;真实簇划分与重排的划分在两种世界里都无法区分。

结论:觅食里没有证据表明隔间学习器优于原规则。阶段 4 里 comp_real 的学习率都在 0.05 以下,抑制步长不超过 0.1,不受这个问题影响。

6. 局限:假设、规则与任务#

  • PAM = 奖励、PPL1 = 惩罚是通行的粗略规则,文献里有例外,也没有行为或活动数据验证。
  • 规则只有抑制,没有对侧增强和遗忘项;时序常数是选的,没有拟合。
  • 持续学习任务是记忆(随机标签),不是泛化;觅食场是玩具设定,单个世界的奖励噪声大。
  • “预测误差由多巴胺编码”强于证据:仅有的两项果蝇阻断实验是阴性的,Zhao 等 2021 只是 28 个数据点的模型拟合。应当写成“误差驱动的更新是一个假设”。

7. 下一篇#

第 10 篇:审查抓到了什么,一份“怎么骗自己”的清单。


文件位置:fly-v4/PREREG_v4_stage4.md、PREREG_v4_stage6b.md 到 PREREG_v4_stage6d.md、NOTES_v4_stage4.md、NOTES_v4_stage6a.md、NOTES_v4_stage6b.md、verification/review_stage4.md、review_stage6.md、verification/replication/COMPARISON_3_4.md、literature/REVIEW.md。

文章概念网络

从章节进入正文概念。实线表示所属层级,虚线连接跨章节重复出现的概念,不代表因果关系。

40 / 40 个节点 · 正文标记术语与关键词概念

隔间与多巴胺:把效价专门化放进模型之后,得到了什么同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept同一概念 / Shared concept隔间与多巴胺:把效价专门化放进模型之后,得到了什么隔间与多巴胺:把效价专门化放进模型之后,得到了什么fly-v4/fly-v4/1. 模型:PAM 簇、PPL1 簇和只抑制的规则1. 模型:PAM 簇、PPL1 簇和只抑制的规则读出读出规则规则对照对照簇划分的数据检验簇划分的数据检验文献怎么说文献怎么说2. 时序现象:后向配对反转记忆的符号2. 时序现象:后向配对反转记忆的符号3. 样本效率:不优于原规则3. 样本效率:不优于原规则4. 持续学习:边缘的保留优势4. 持续学习:边缘的保留优势持续学习的前沿持续学习的前沿独立重新实现独立重新实现不能说隔间化减少了遗忘不能说隔间化减少了遗忘5. 觅食:窄网格、宽网格与有界更新5. 觅食:窄网格、宽网格与有界更新窄网格(学习率上限 0.8)窄网格(学习率上限 0.8)放宽网格放宽网格审查发现审查发现有界版本重跑有界版本重跑6. 局限:假设、规则与任务6. 局限:假设、规则与任务7. 下一篇7. 下一篇fly-v4/PREREGv4stage4.mdfly-v4/PREREGv4stage4.mdPREREGv4stage6b.mdPREREGv4stage6b.mdPREREGv4stage6d.mdPREREGv4stage6d.mdNOTESv4stage4.mdNOTESv4stage4.mdNOTESv4stage6a.mdNOTESv4stage6a.mdNOTESv4stage6b.mdNOTESv4stage6b.mdverification/reviewstage4.mdverification/reviewstage4.mdreviewstage6.mdreviewstage6.md奖励奖励记忆记忆实验实验奖励奖励记忆记忆奖励奖励记忆记忆奖励奖励奖励奖励记忆记忆实验实验
隔间与多巴胺:把效价专门化放进模型之后,得到了什么

隔间与多巴胺:把效价专门化放进模型之后,得到了什么

回到原文 ↗
BIBTEX

引用本文

@article{2026-10-21-fly-connectome-09-compartments-and-dopamine,
  author  = {枫语},
  title   = {隔间与多巴胺:把效价专门化放进模型之后,得到了什么},
  journal = {枫语},
  year    = {2026},
  month   = {oct},
  url     = {https://meiluosi.github.io/posts/2026-10-21-fly-connectome-09-compartments-and-dopamine/}
}
🌐

本篇知识星丛与滑动侧栈

隔间与多巴胺:把效价专门化放进模型之后,得到了什么 当前主轴

搜索

正在载入索引…