English interface selected · this article is currently written in Chinese.
隔间与多巴胺:把效价专门化放进模型之后,得到了什么
English overview →配合仿真与实验探针的假设探索,等待更多证据或边界检验。
数字花园
🌿 什么是数字花园与思想演进?
遵循 Maggie Appleton 与 Andy Matuschak 的常青笔记理念:这里不是按时间沉底的流水账,而是持续修剪打磨的知识生态。文章按成熟度经历:
- 🌱 萌芽 (Seedling): 发散灵感、读书摘录、开放猜想
- 🌿 演进 (Budding): 结构渐明、初步代码推导、积极修正
- 🌳 常青 (Evergreen): 逻辑闭环、持久经得起检验的基石
- 🔬 实验待证 (Speculative): 结合沙盒与仿真探针的理论探索
项目代码与全部实验记录:https://github.com/meiluosi/fly-connectome-study(目录 fly-v4/)
这个项目最初想问的是:蘑菇体的隔间按效价分成奖励和惩罚两类,多巴胺的时序又决定记忆的符号,把这两点放进学习器,持续学习和觅食会不会变好?前面的模型没有这两点。这一篇补上,并把每个看起来的“优势”交给审查。
1. 模型:PAM 簇、PPL1 簇和只抑制的规则
- 簇: 按 MBON 所在隔间,PAM 簇(γ3、γ4、γ5、β1、β2、β′1、β′2、α1)对应奖励多巴胺,PPL1 簇(γ1、γ2、α′1、α′2、α′3、α2、α3)对应惩罚多巴胺;48 个 MBON 里 20 个属于 PAM,28 个属于 PPL1,1 个(calyx)不学习。
- 读出: PAM 簇的 MBON 驱动回避,PPL1 簇的 MBON 驱动趋近。
- 规则: 多巴胺是预测误差:奖励多巴胺 = max(目标 − 预测, 0),惩罚多巴胺 = max(预测 − 目标, 0);活跃 KC 到该簇 MBON 的突触按多巴胺抑制,没有增强和遗忘项。
- 对照: 原规则(双向、全局);真实簇标签在 MBON 之间随机重排的版本;重排但两个簇的 KC→MBON 突触总量保持在真实值 ±10% 内的版本。
簇划分的数据检验: 用 MaleCNS 里 DAN→MBON 的直接突触,给每个 MBON 重新判定簇(主要的 DAN 输入是 PAM 还是 PPL1),与按隔间标签的划分 48/48 一致,唯一不同的是 calyx 的那个 MBON。这个检验很弱:DAN 的簇来自类型名,一致几乎是定义性的;它不验证“PAM 就是奖励”。
文献怎么说: Aso 等 2014 自己用“generally”之类的词描述这条规则;文献里有例外(PAM 的 MB-M3 和 γ3 在某些条件下驱动厌恶记忆,PPL1-γ2α′1 参与奖励记忆的消退,α′3 与新奇有关)。MBON 的递质与簇的方向一致:PAM 簇 20 个 MBON 里 15 个是抑制性递质,PPL1 簇 28 个里 19 个是乙酰胆碱,但 GABA 能的 MBON 两个簇里都有,所以递质符号不能直接当作读出符号。
2. 时序现象:后向配对反转记忆的符号
单个气味,多巴胺脉冲在气味之后(前向)或之前(后向):
- 奖励前向 → 价值为正,奖励后向 → 价值为负;惩罚相反。
- 脉冲与气味相隔 8 秒时效应降到约 3%。
- 消融 PAM 簇的可塑性只废掉奖励学习,消融 PPL1 簇只废掉惩罚学习。
- 去掉后向增强项后,后向配对的效应归零。
三种簇分配(真实、重排、质量平衡重排)都通过,所以这只是规则自洽的检查,不能区分真实结构。文献方面,Handler 等 2019 报告了多巴胺与气味的时序决定记忆符号,但这个符号反转需要显式的时序项,单靠对预测误差的 delta 规则产生不了,这里的规则带有这一项。
3. 样本效率:不优于原规则
四个学习任务(真实气味 + 随机类别标签、线性教师、两个真实连线教师)里,隔间学习器与原规则相当或略差:真实气味任务 −0.006(等价),线性教师 −0.018,真实连线教师 −0.027 到 −0.065。隔间学习器明显好于簇标签重排的对照,但独立审查指出,重排的对照主要差在学习水平:在刚学完准确率相近的重排里,最终准确率没有差别。
4. 持续学习:边缘的保留优势
每个世界 40 个气味、随机 ±1 标签,分成 4 个任务依次训练,最后测全部 40 个。
| 学习器 | 刚学完 | 最终 |
|---|---|---|
| 原规则(各自调参) | 0.940 | 0.802 |
| 原规则(匹配学习量) | 0.902 | 0.798 |
| 隔间规则(真实簇) | 0.905 | 0.846 |
| 重排簇标签 | 0.727 | 0.645 |
- 隔间规则的最终准确率比原规则高 +0.044,比匹配学习量的原规则高 +0.048;99.3% 区间的下界是 +0.024 和 +0.029,都低于 0.03,只能算边缘。
- 在刚学完准确率相同的几个点上,优势是 +0.028、+0.048、+0.041、+0.004,报告的 +0.048 是最有利的一个。
- 独立重新实现: +0.0395、+0.0425,与原结果相符。
审查的结论:不能说隔间化减少了遗忘。 差别来自规则族:新规则只抑制突触、不增强,旧痕迹不会被覆盖;把所有 MBON 对任何误差都抑制的版本在所有任务上学不会,所以分簇是只抑制规则能工作的前提,两者混在一起。真实划分也不特殊:重排 200 次(质量平衡)里约 7.5% 不低于真实划分,在刚学完准确率接近的重排里,最终准确率没有优势。能说的只是:真实划分属于能学会的那一类。
5. 觅食:窄网格、宽网格与有界更新
把隔间学习器放进觅食场(200 个全新世界,第 3000 步奖励反转,consistent 与 conflict 两种世界)。
- 窄网格(学习率上限 0.8): 隔间学习器的净奖励只有 +4.9 与 +13.4,原规则 +51.9 与 +36.2。三个隔间学习器的最佳学习率都落在网格上界。
- 放宽网格: consistent 世界里隔间学习器 +53.8,对原规则 +8.6;conflict 世界 −9.3,都只是边缘。
- 审查发现: 隔间学习器的抑制没有上界,学习率 4.0 时突触值落在 [−6.9, +9.5],不再是抑制而是变号放大;把抑制截断到 [0, 1] 的对照里,consistent 世界的优势消失(约 8 对 54)。
- 有界版本重跑: consistent 世界里隔间学习器比原规则低 22.3;conflict 世界 −2.6,无法区分;真实簇划分与重排的划分在两种世界里都无法区分。
结论:觅食里没有证据表明隔间学习器优于原规则。阶段 4 里 comp_real 的学习率都在 0.05 以下,抑制步长不超过 0.1,不受这个问题影响。
6. 局限:假设、规则与任务
- PAM = 奖励、PPL1 = 惩罚是通行的粗略规则,文献里有例外,也没有行为或活动数据验证。
- 规则只有抑制,没有对侧增强和遗忘项;时序常数是选的,没有拟合。
- 持续学习任务是记忆(随机标签),不是泛化;觅食场是玩具设定,单个世界的奖励噪声大。
- “预测误差由多巴胺编码”强于证据:仅有的两项果蝇阻断实验是阴性的,Zhao 等 2021 只是 28 个数据点的模型拟合。应当写成“误差驱动的更新是一个假设”。
7. 下一篇
第 10 篇:审查抓到了什么,一份“怎么骗自己”的清单。
文件位置:fly-v4/PREREG_v4_stage4.md、PREREG_v4_stage6b.md 到 PREREG_v4_stage6d.md、NOTES_v4_stage4.md、NOTES_v4_stage6a.md、NOTES_v4_stage6b.md、verification/review_stage4.md、review_stage6.md、verification/replication/COMPARISON_3_4.md、literature/REVIEW.md。
文章概念网络
从章节进入正文概念。实线表示所属层级,虚线连接跨章节重复出现的概念,不代表因果关系。
40 / 40 个节点 · 正文标记术语与关键词概念
隔间与多巴胺:把效价专门化放进模型之后,得到了什么
回到原文 ↗最后更新于 2026-10-21
引用本文
@article{2026-10-21-fly-connectome-09-compartments-and-dopamine,
author = {枫语},
title = {隔间与多巴胺:把效价专门化放进模型之后,得到了什么},
journal = {枫语},
year = {2026},
month = {oct},
url = {https://meiluosi.github.io/posts/2026-10-21-fly-connectome-09-compartments-and-dopamine/}
}