论文阅读-2021.11.06

论文阅读-2021.11.06

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

自适应Q-learning

算法描述

• 初始化Q表，设置 (TH_P、TH_N、C、β和k)
• 循环（轮次episode）：
  • 随机状态或初始化状态
  • 循环（步step）：
    • 根据Q表使用策略函数从状态 (s_t) 选择动作 (a_t)
    • 使用动作 (a_t) ，获得回报 (r_{t+1})
    • 如果 $TH_N - kt < max_aQ(s_{t+1},a) < TH_P + kt $ 那么：
      • $ gamma_t (delta, gamma_{t-1}) = gamma_{initial}$
      • (alpha_t (delta, t) = alpha_{initial})
    • 否则：
      • (gamma_t (t, gamma_{t-1}) = tanh(t gamma_{t-1} ))
      • (delta = r_{t+1} + gamma_t (t, gamma_{t-1}) max_a Q(s_{t+1} , a) - Q(s_t, a_t))
      • (alpha_t(delta, t) = anh(eta | delta| / t))
    • (T (t) = C / t, C ∈ N)
    • (Q(s_t , a _t) ← Q(s_t , a_t) + alpha_t (delta , t) delta)
    • $s_t ← s_{t+1} $
  • (s_t) 为终状态时结束循环
• 达到轮次上限时结束循环

其中，(eta, k ∈ R_+) ，且 (eta ,k ≥ 1) 。

Backward Q-learning（主要）

算法描述

• 随机初始化所有的 (Q(s,a), M) 和 (alpha_b , gamma_b)

• 对每一轮次：

  • 随机选择一个状态或初始化 (s_t)

  • 使用策略函数从Q表中选择 (s_t) 下的动作 (a_t)

  • 对每个时间步 (N)

    • 挑选动作 (a_t^i) 与环境交互，然后得到一个回报 (r_{t+1}^i) 和观察到的状态 (s_{t+1}^i)

    • 使用策略函数从Q表中选择 (s_{t+1}^i) 下的动作 (a_{t+1}^i)

    • 记录： $M^i ← s_t^i , a_t^i , r_{t+1}^i , s_{t+1}^i $

    • 根据下列公式更新 (Q(s_t^i,a_t^i))

      [Q(s_t^i,a_t^i) ← Q(s_t^i,a_t^i) + alpha (r_{t+1}^i + gamma max_a Q(s_{t+1}^i,a) - Q(s_t^i , a_t^i)) ]

    • (s_t^i ← s_{t+1}^i ; a_t^i ← a_{t+1}^i ; i ← i + 1)

  • 达到最终状态 (s_t) ，退出循环

  • (For j = N to 1)

  • 根据下列公式，回溯更新 (Q(s_t^j , a_t^j))

    [Q(s_t^j,a_t^j) ← Q(s_t^j,a_t^j) + alpha_b (r_{t+1}^j + gamma_b max _a Q(s_{t+1}^j , a) - Q(s_t^j,a_t^j)) ]

  • (End for)

  • 初始化 (M)

  • 用降温准则重新计算温度参数（存疑）

• 达到轮次上限，结束循环。