蒙特卡洛树搜索实验
01 / 选择02 / 扩展03 / 模拟04 / 回传
准备开始 0 / 50
点击下一步，看一次搜索的反馈怎样改变这棵树。
横向滑动搜索树，查看所有分支 ↔
搜索路径随机模拟
按访问次数选择根动作—
优先选访问最多的动作，同次数时比较平均奖励。这是当前搜索的建议，有限预算下不保证最优。
| 动作 | N | 平均 Q | 探索项 |
|---|---|---|---|
| A | 0 | — | ∞ |
| B | 0 | — | ∞ |
| C | 0 | — | ∞ |
实验的规则与边界
这是一个单智能体决策树：根节点有三个动作，终点奖励固定在 [0, 1]。每一步都最大化同一个奖励，不涉及对手或网络训练。灰色节点展示可能的状态空间，搜索树每轮最多扩展一个节点。
UCT = Q + c √(ln Nparent / Nchild)
Q 是已观察奖励的平均值。先扩展未尝试的动作；相同分数用带种子的随机数打破平局。模拟阶段均匀随机选择，奖励仅沿已扩展的搜索路径回传。修改参数会重置搜索，相同配置产生相同序列。
试着在相同预算和种子下比较 c = 0 与 c = 1.4：哪些分支会被忽略？再增加预算。即使没有更新模型参数，更多搜索也可能改变决策。
Browne et al. (2012), §3 — MCTS / UCT ↗搜索与策略学习
这个实验更新的是搜索树上的统计量。结合 AlphaZero 的实现案例，可以进一步理解搜索结果怎样成为训练信号，以及模型更新怎样影响下一轮搜索。
从搜索到自我对弈 ↗