好调节器定理与控制论 (Wiener / Ashby)
任何能够良好调节环境系统的控制器，其内部必定构成该系统的一个模型。
ROUTE 08表征、推断与控制母轨道 · 因果与决策核心追问 · 机制与实现
控制论、强化学习与主动推断路线Cybernetics, RL & Active Inference
00
交互认知透镜：一眼看懂本路线核心机制
COGNITIVE LENS 08
阿什比必要多样性定律与稳态回路沙盒
诺伯特·维纳与阿什比 (W. Ross Ashby)：智能起源于闭环负反馈调节。只有当控制系统内部的可调控多样性 (Variety) 大于或等于外界环境的扰动多样性时，系统才能维持生存稳态 (Homeostasis)。
外部环境扰动多样性 (熵增/冲击 D) D = 5
智能主体调节器内部多样性 (策略库容量 R) R = 4
阿什比定理：残余误差 V(E) ≥ V(D) - V(R)。当 R < D 时，稳态必然崩溃。
▲ 稳态失控 (ENTROPIC DRIFT) 系统稳定性指数：84%
➔
➔
控制论视角的智能本质： 控制论将智能视为闭环因果中的能动生存机制。一个仅有海量静态文本记忆、却缺乏足够应对行动多态性 (Action Variety) 的系统，在动态开放环境中注定无法维持自洽稳态。
01
重要分支与代表理论
强化学习与策略优化 (Sutton & Barto)
通过行动的长期累积回报信号调整策略，平衡探索 (Exploration) 与利用 (Exploitation)。
主动推断与自由能框架 (Friston)
不仅改变认知以符合感知，更主动采取行动去使外部环境符合预期稳态。
赋能度与行动可控性 (Empowerment)
不依赖外部特定奖励，而是主动维持和最大化自身对未来可能状态的因果控制力。
02
解释价值与关键盲区
✦ 解释价值与推进
将智能落实在物理或环境闭环交互中，强调长期收益优化与稳态维持。
⚠ 局限、盲区与不能过度推断之处
标量奖励是否充分（Reward is Enough 假说）仍存巨大争议；样本效率与稀疏奖励探索代价昂贵。
03
理论天平：核心分歧轴定位
将此路线置于人类探索智能的根本分歧坐标系中，观察其立论重心与张力平衡点：
怎样解释行为？倾向：闭环感知-行动动态耦合
智能体现为与动态环境持续博弈、行动、获取反馈并修正策略的闭环过程。
什么使行动有方向？倾向：外部标量奖励信号优化
主流强化学习依赖环境反馈的奖励函数，主动推断则尝试连接到机体稳态自由能。
是否存在统一机制？倾向：单一奖励假说 (Reward Enough)
存在‘Reward is Enough’等强主张，试图用长期折扣累积回报统摄感知与规划。
03.5
思想交锋与互补走廊：跨路线批判与合流
没有任何单一学派垄断了智能的全部真相。顺着批驳与互补的引力线，跳转到与本路线深度咬合的相邻探索家族：
04
动手验证：交互实验工作台
05
归属于该路线的探索笔记
18 篇收录强化学习效果怎样判断：采样收益、奖励漏洞与独立泛化
大模型训练研究笔记第五卷之六：用配对结果与 pass@k 算例拆开采样和训练收益，分析奖励、熵、成本与泛化边界，形成可复核的训练结论。
GRPO 怎样比较同题回答：组内优势、零差异与长度权重
大模型训练研究笔记第五卷之五：手算组内归一化优势，分析全对全错、标准差约定、生成预算和长度归一化，区分原始 GRPO 与固定版本训练器选项。
PPO 在限制怎样的更新：概率比、裁剪与价值估计
大模型训练研究笔记第五卷之四：手算 PPO-Clip 的正负优势分支，区分旧策略与参考模型，解释 GAE、终止边界和裁剪不保证硬约束的原因。
策略梯度怎样使用奖励：从四种回答到 baseline
大模型训练研究笔记第五卷之三：手算四候选 softmax 策略的梯度，推导奖励加权更新与 baseline，说明采样分布、停止梯度和长度归一化的边界。
奖励究竟检查了什么：答案、格式、测试与过程反馈
大模型训练研究笔记第五卷之二：从一个最小整数任务写出可运行检查器，用反例说明格式奖励、最终答案、代码测试与过程评分各自的覆盖范围。
语言模型怎样构成强化学习问题：从一次回答到策略更新
大模型训练研究笔记第五卷之一：用有唯一正确答案的整数任务，解释状态、动作、轨迹、终局奖励和期望收益，区分增加采样、筛选答案与更新模型。
高效微调技术：LoRA与PEFT
从全参数微调的显存困境引出参数高效微调，解释 LoRA 的低秩分解与前向传播，给出从零实现的代码与训练技巧，再横向介绍 Adapter、Prefix 与 Prompt Tuning。属方法整理，显存与效果数字为引用值。
LLM训练技术详解
按预训练、监督微调、人类反馈强化学习的三阶段范式组织，交代预训练目标与数据准备、Tokenization，再讲 SFT 数据构造与 RLHF 流程。属流程综述，具体配比与效果数字以所引资料为准，本文不另作复现。
MCTS算法深度解析
从 MCTS 的四步骤讲到 UCT 的探索利用平衡，再说明 PUCT 与 AlphaGo、AlphaZero 风格搜索的差别，以及 RAVE 等优化技术。文章解释算法结构与实现思路，未附对弈强度或胜率实测，也不构成对具体棋类的强度结论。
强化学习调参技巧与实战经验
按学习率、折扣因子、批量大小、探索率、目标网络与回放缓冲区逐个拆解常见超参数的作用与典型取值，再补充 PPO、SAC、DQN 的算法专属项和梯度裁剪等稳定性技巧。属经验汇总，未附统一基准。
模型基础强化学习详解
系统讲 MDP 五元组、马尔可夫性质与折扣回报，定义状态值与动作值函数，推导 Bellman 期望方程和最优方程，再落到策略评估与策略改进的动态规划。是教材式理论梳理，以公式推导为主，未附实测曲线。
多智能体强化学习
从单智能体到多智能体说明非平稳性与信用分配等挑战，梳理独立学习、VDN 与 QMIX 的值函数分解、MADDPG 等路线，并给出 IQL 简化示例。文章是技术综述，示例只作机制说明，未报告完整训练结果。
Actor-Critic 算法家族
承接策略梯度的方差问题，讲 Actor-Critic 框架与优势函数估计，比较 A3C 与 A2C 的同步异步取舍，再展开 PPO 的重要性采样与裁剪，以及 SAC 的熵正则思路。属方法综述，附实现代码，不含横向基准实验。
策略梯度方法详解
从策略梯度定理与 REINFORCE 推导出发，说明高方差问题，再介绍基线与方差降低技术，最后给出 CartPole 上的实现与策略测试代码。文章重在推导脉络，属方法讲解，未给出与其他算法的系统对比。
Alpha Zero算法实现五子棋
以五子棋为载体，交代策略价值网络、PUCT 搜索、自对弈数据收集与训练循环，最后给出参数建议与对弈可视化。文章给的是最小实现骨架与工程建议，未报告对弈强度或训练曲线，结果需自行运行确认。
应用CFR实现德州扑克对战
先说明 CFR 用反事实后悔值逼近不完全信息博弈纳什均衡的核心思想，再在 Kuhn Poker 上给出完整 Python 实现，最后讨论德州扑克所需的信息集抽象、行动抽象与抽样加速。属最小实现加工程路线，未附规模化对战胜率。
深度Q网络案例实践
回顾 Q-Learning 与 DQN 的若干关键改进，介绍 CartPole 环境，再给出网络结构、经验回放缓冲与智能体实现的完整代码。属教学型代码示例，训练曲线与奖励数字随随机种子和设备变化，不宜当作基准。
强化学习笔记记录
从马尔可夫决策过程与核心要素讲到基于价值、基于策略、基于模型三类算法，再到 DQN 与策略梯度的深度强化学习，末尾汇总实践经验。是学习笔记式梳理，只整理概念与算法分类，未附统一实验对比。