MDP：马尔科夫决策过程（Markov Decision Process）
定义：
一个马尔可夫模型包括如下部分
- 状态集 S (States)
- 动作集 A (Actions)
- 奖惩函数 R (reward function)
- 在状态 s 下，执行 a 动作的影响函数 T
我们假设执行动作 a 的效果只与当前状态有关，与之前历史状态无关。
动作表示：分为 确定性动作（Determinstic Actions） 和 随机性动作（Stochastic Actions）
- 确定性动作：T：S × A -> S，对于每一个状态和动作可以确定下一个状态
- 随机性动作：T：S × A -> Prob(S)，对于每一个状态和动作可以确定下一个状态的概率分布
策略π （Pai）：表示当前状态 s 选择怎样的动作 a
策略π的执行过程：
- 确定当前状态
- 根据当前状态，按照策略 π 执行动作 a
- 执行1
所谓全观测 （Fully Observation）就是执行动作 a 到达的下一状态 s ，系统是可以知道的