从 Kuhn Poker 理解 CFR

先在小型不完全信息博弈中实现反事实后悔最小化,再把规模化德州扑克作为后续工程问题。

THE QUESTION

在看不见对手私有信息时,策略如何利用反事实反馈改进?

QUESTION
METHOD
NEXT STEP

研究目标与实验设计

这个实验先用 Kuhn Poker 的小型博弈结构实现 CFR,再思考信息集、动作抽象和求解规模如何扩展到更复杂的扑克环境。

这里整理这项研究的出发点、实现路径、当前观察,以及下一步准备回答的问题。

01

用信息集表示不完全信息

Kuhn Poker 使用 J、Q、K 三张牌。信息集由玩家手牌和行动历史组成,使策略在不观察对手底牌的条件下做决策。

↘
02

累计反事实后悔并匹配策略

递归遍历可能行动,计算各动作相对当前策略的价值差,将对手到达该信息集的概率用于累计后悔,再按正后悔比例形成新策略,同时累积平均策略。

↘
03

把更大规模留作下一步

示例代码将 pass/bet 两个动作设置为 50,000 次训练迭代。原文另讨论公共牌抽样、下注尺度抽象、CFR+ 和 exploitability 等扩展与评估方向。

↘
→

当前进展与验证计划

当前实现把信息集、递归遍历、后悔累计与平均策略连接成一条完整思路。下一步会记录平均博弈价值与策略收敛过程,并加入 exploitability 或固定对手评估。

研究关联与后续问题

CFR 展示了策略如何累积反事实反馈并逐步减少遗憾。这个小型博弈把反馈驱动的策略改进压缩成一个容易观察的实验环境。

接下来要回答的问题
  • 记录 Kuhn Poker 策略随训练迭代的变化,并用理论均衡或 exploitability 检查收敛。
  • 再单独研究完整扑克环境中的状态、下注尺度与公共牌抽象,而不混淆两种问题规模。
翻开智能手记:什么改变了,又怎样判断? ↗
继续阅读原始记录

应用CFR实现德州扑克对战

打开文章 ↗
CFR / NASH EQUILIBRIUM

Kuhn Poker 反事实遗憾最小化实验台

进入博弈实验↗

搜索

正在载入索引…