线性二次型调节控制

线性二次型调节控制

现在我们讨论一个用于连续状态MDP的一个寻找最优策略的一个方法。该方法中我们直接近似V^∗，而不采用离散化。该方法称之为值函数近似，在很多实际RL问题都有很好的应用。

1. 使用一个模型或

为了发展一个值函数近似算法，我们假设对于MDP，我们有一个模型(model)或仿真器(simulator)。通俗的说，一个仿真器是一个黑盒子，输入是任何一个连续值的状态s_t，动作a_t，根据状态转移概率矩阵P_stat输出到下一个状态s_t+1，如下图：

有很多方法来得到该模型。其一是，使用物理仿真。举个例子来说，对于之前提到的倒摆的一个仿真器，该倒摆是通过一些列物理定律来精确计算小车和木杆的位置和方向，即在时间t时，给定一个动作a，如果我们知道了各个参数(比如木板的长度、质量等等)，我们就能精确的计算到时间t+1时候的小车和木杆的位置和方向。或者我们可以使用已有的一些物理仿真包来求解，即输入完整的物理参数，以及当前的状态s_t和要采取的动作a_t，就可以计算系统在下一秒的状态s_t+1。

一个获得该模型的方法是从MDP收集的数据中得到。比如说，我们重复试验MDP后，得到了m条链，每条链有T个时间步。这个过程中，我们可以随机的选择动作，或者执行特定的策略或者根据某一方法选择动作。我们得到了m个状态序列，如下：

之后，我们可以应用一些算法来预测状态s_t+1，其参数为s_t和a_t。比如，我们可以选择一个线性模型：s_t+1 = As_t + Ba_t，使用的该仿真算法类似于线性回归。这里的参数是矩阵A和矩阵B，我们可以使用观测到的m条马尔可夫链进行估计：

这与最大似然估计参数是一致的。在学得AB之后，一个方法是构建一个确定性(deterministic)的模型，即在给定输入s_t和a_t时，输出的s_t+1是确定的。即我们总是根据得到的方程来计算下一个状态s_t+1；或者我们可以建立一个随机(deterministic)模型，即st+1是不确定的，根据s_t+1 = As_t + Ba_t + ε_t得到，这里的是ε_t噪音项，服从N(0,Σ)分布(这里的矩阵Σ也可以通过观测到的数据估计得到)。

因此，我们得到了在当前状态和动作下的下一个状态的线性模型，但是非线性模型该怎么办呢？一个方法是通过变换，即我们可以学习一个模型s_t+1 = Aφ_s(s_t ) + Bφ_a(a_t)，这里的φ_s和φ_a都是状态和动作的一些非线性特征映射函数。另一个方法是使用非线性学习算法，比如局部加权线性回归来学习估计状态s_t+1。这些模型都可以用来构建确定性的或不确定性的MDP仿真器。

1. 拟合值迭代

我们现在描述一个拟合值迭代(fitted value iteration)算法，用于估计连续状态MDP的值函数。这里我们将假设一个问题，含有连续状态空间S=Rⁿ，但是动作空间A是很小的而且是离散的。回想一下值迭代，我们希望的更新如下：

V (s) := R(s) + γ max_a

= R(s) + γ max_a E_s′∼Psa[V (s′)]

在之前的部分，对于离散状态的MDP是求和，而这里是连续状态因此是积分。

拟合值迭代的主要是想是：我们将使用有限样本的状态空间s⁽¹⁾, . . . , s^(m)，特别的，我们将使用监督式学习算法——如下描述的线性回归，用一个线性或非线性的状态函数来近似值函数。V (s) = θ^Tφ(s)，这里的φ是状态空间的一些适当的特征映射。

对于我们有限样本的m个状态，拟合值迭代将会首先计算一个量y⁽ⁱ⁾，可以用R(s) + γ max_a E_s′∼Psa[V (s′)]来近似，之后采用监督式学习，努力使得V(s)尽可能的接近R(s) + γ max_a E_s′∼Psa[V (s′)]，即接近y⁽ⁱ⁾。

具体算法如下：

1. 随机样本的m个状态s⁽¹⁾, . . . , s^(m)∈ S
2. 初始化θ := 0
3. 循环 {

   对于 i = 1, … , m{

   对于每个动作a ∈ A {

   样本s′₁, . . . , s′_k∼ P_s(i)a(使用一个MDP模型)

   让 q(a) =

   //这里q(a)就是 R(s) + γ max_a E_s′∼Psa[V (s′)]的估计

   }

   令y⁽ⁱ⁾ = max_aq(a) // y⁽ⁱ⁾是R(s)+γmax_a E_s′∼Psa[V (s′)]的估计

   }

   // 在最开始的值迭代算法中，我们根据V (s⁽ⁱ⁾) := y⁽ⁱ⁾更新值函数

   // 在该算法中，我们希望采用监督式学习，使得V (s⁽ⁱ⁾) ≈ y⁽ⁱ⁾

   令θ := arg min_θ

}

在上面，我们使用了线性回归算法的拟合值迭代，来努力使得V (s⁽ⁱ⁾) 接近y⁽ⁱ⁾，算法的步骤和标准的监督式学习都是类似的。尽管算法描述使用了线性模型，但是其他的回归算法(如局部加权线性回归)也是可以使用的。

与离散状态空间的值迭代不同，拟合值迭代不能被证明是一定收敛的。然而在实际应用中，他通常都是收敛的或近似收敛，在许多问题中都能有很好的结果。需要注意，如果我们使用MDP的确定性的仿真器或模型，那么拟合值迭代算法中可以通过在最开始设置k=1来简化算法。因为E_s′∼Psa[V (s′)]变成了对确定性分布的期望了，所以一个样本就能够求得期望。此外，上述算法，我们不得不抽取k个样本，然后用均值来近似期望值。

最后，拟合值迭代输出V，是近似于V^*，这就含蓄的定义了我们的策略。特别的，当我们的系统在状态s时，我们需要选择一个动作，我们希望选择一个动作满足：

arg max_aE_s′∼Psa[V (s′)]

计算该式子的方法类似于拟合值迭代的内循环，即对于每一个动作，用样本s′₁, . . . , s′_k∼ P_s(i)a来近似期望。同样，对于确定性的仿真器，我们可以设置k=1。

在实际应用中，也会有一些其他的方法来近似这个步骤。比如，常用的一个方法是如果仿真器是s_t+1 =f (s_t, a_t ) + ε_t的形式，这里的f是一些确定性的状态函数，比如f (s_t, a_t ) = As_t + Ba_t，而ε均值为0的高斯噪声。在这个例子中，我们可以通过arg max_aV (f (s, a))来选择动作。换句话说，这里默认了ε_t=0(即在仿真器中忽略了噪声)，设定k=1。等同于：

E_s′[V (s′)] ≈ V (Es′ [s′]) = V (f (s, a))

这里的期望是基于随机变量s′∼ P_sa。只要噪声项ε_t是很小的，这通常都是很合理的近似。然而，对于不适用于该近似方法的，即样本空间为K|A|，如果采用上式进行期望的近似，那么计算量是很大的。