强化学习笔记记录

智能体（Agent）#

• 执行动作并从环境中学习的实体
• 维护策略函数 $\pi(a|s)$ 或价值函数 $V(s)$、$Q(s,a)$

环境（Environment）#

• 智能体所处的外部世界
• 接收智能体的动作，返回新状态和奖励

策略（Policy）#

策略定义了智能体在给定状态下选择动作的规则：

确定性策略：$a = \pi(s)$

随机性策略：$\pi(a|s) = P(A_t = a | S_t = s)$

价值函数（Value Function）#

状态价值函数： $V^\pi(s) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t R_{t+1} | S_0 = s\right]$

动作价值函数： $Q^\pi(s,a) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t R_{t+1} | S_0 = s, A_0 = a\right]$

动态规划#

• 策略评估：计算给定策略的价值函数
• 策略改进：基于当前价值函数改进策略
• 策略迭代：交替进行策略评估和改进

时序差分学习#

Q-Learning： $Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma \max_{a'} Q(s',a') - Q(s,a)]$

SARSA： $Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma Q(s',a') - Q(s,a)]$

策略梯度算法#

REINFORCE 算法： $\nabla J(\theta) = \mathbb{E}_\pi\left[\sum_{t=0}^{T} \nabla \log \pi_\theta(a_t|s_t) G_t\right]$

其中 $G_t$ 是从时刻 $t$ 开始的累积奖励。

Actor-Critic 方法#

结合价值函数估计（Critic）和策略优化（Actor）：

• Actor：更新策略参数 $\theta$
• Critic：更新价值函数参数 $w$

Proximal Policy Optimization (PPO)#

PPO 通过限制策略更新幅度来保证训练稳定性：

$L^{CLIP}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t\right)\right]$

其中 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$

Soft Actor-Critic (SAC)#

最大熵强化学习框架，在最大化奖励的同时最大化策略熵。