逆强化学习（IRL：模仿学习)的原理和步骤

算法：MaxEnt IRL
输入：专家轨迹 {τ_expert}，特征函数 Φ(s,a)
输出：Reward 权重 w，策略 π

1. 初始化：
   - w = 0（reward 权重向量）
   - r(s,a) = w · Φ(s,a)           # 线性 reward 函数

2. while w 未收敛:                  # IRL 外循环

   # --- 步骤1：求期望特征 ---
   # 计算专家轨迹的平均特征
   μ_expert = E[Φ(s,a)]_expert

   # --- 步骤2：求状态分布（需用 RL）---
   # 在当前 reward r 下运行 RL，得到最优策略 π_w
   π_w = run_RL(r, env)            # 通常用价值迭代或策略梯度
   μ_π = E[Φ(s,a)]_π_w             # 策略访问状态的平均特征

   # --- 步骤3：更新 reward 权重 ---
   # 梯度方向：让专家特征高于策略特征
   gradient = μ_expert - μ_π
   w = w + α * gradient             # α 是学习率

3. 用最终 w 构建 reward：r(s,a) = w · Φ(s,a)
   在该 reward 上重新训练 RL 策略

4. 返回 w, π

算法：内层 RL（基于价值迭代）
输入：reward 函数 r(s,a)，状态转移 P，环境
输出：最优策略 π，最优状态访问分布 μ_π

1. 初始化：
   Q(s,a) = 0，V(s) = 0  for all s,a
   μ_π(s,a) = 0  for all s,a    # 状态访问计数

2. 迭代求最优 Q 函数（策略评估 + 策略提升）：

   for iter = 1 to MAX_ITER:
       # 策略评估：求 V(s) = max_a Q(s,a)
       for each (s,a):
           Q(s,a) = r(s,a) + γ * Σ_s' P(s'|s,a) * V(s')

       V(s) = max_a Q(s,a)

   # 提取贪心策略
   π(a|s) = 1 if a = argmax_a Q(s,a) else 0

3. 求状态访问分布 μ_π（关键步骤）：

   # 方法：求稳态分布 or 访问频率
   d_0(s) = 初始状态分布

   for t = 1 to T:               # 向前仿真 T 步
       for each (s,a):
           d_t(s') += d_{t-1}(s) * P(s'|s,a) * π(a|s)

       # 累计访问
       μ_π(s,a) += d_t(s) * π(a|s)

4. 返回 π, μ_π