用信息集表示不完全信息
Kuhn Poker 使用 J、Q、K 三张牌。信息集由玩家手牌和行动历史组成,使策略在不观察对手底牌的条件下做决策。
先在小型不完全信息博弈中实现反事实后悔最小化,再把规模化德州扑克作为后续工程问题。
在看不见对手私有信息时,策略如何利用反事实反馈改进?
这个实验先用 Kuhn Poker 的小型博弈结构实现 CFR,再思考信息集、动作抽象和求解规模如何扩展到更复杂的扑克环境。
这里整理这项研究的出发点、实现路径、当前观察,以及下一步准备回答的问题。
Kuhn Poker 使用 J、Q、K 三张牌。信息集由玩家手牌和行动历史组成,使策略在不观察对手底牌的条件下做决策。
递归遍历可能行动,计算各动作相对当前策略的价值差,将对手到达该信息集的概率用于累计后悔,再按正后悔比例形成新策略,同时累积平均策略。
示例代码将 pass/bet 两个动作设置为 50,000 次训练迭代。原文另讨论公共牌抽样、下注尺度抽象、CFR+ 和 exploitability 等扩展与评估方向。
当前实现把信息集、递归遍历、后悔累计与平均策略连接成一条完整思路。下一步会记录平均博弈价值与策略收敛过程,并加入 exploitability 或固定对手评估。
CFR 展示了策略如何累积反事实反馈并逐步减少遗憾。这个小型博弈把反馈驱动的策略改进压缩成一个容易观察的实验环境。