马尔科夫模型主要元素有3个部分 状态，动作，奖励。
对奖励的设置一定慎重，并且深谋远虑。如下图右侧：
绿色方块是 生 红色方块是 死，游戏目的是使agent尽快到达绿色方块。
1：动作奖励正数过高，会使agent一直在方格世界里兜圈子，不想出去。因为这样每多走一步，都会获得正的奖励。
2：动作奖励负数过高，会使agent尽快想逃离这个世界，甚至直接走向红色方块，选择自杀。因为每一步损失都是巨大的，只能以最快的方式结束游戏。
奖励：代表着 即时奖励和即时反馈
效用：代表长期奖励和长期反馈。
比如现在拿100块钱做投资，在一段时间过后得到了1000块。
这里的 奖励是： 负100块，效用是 1000块。
效用会影响当前的行动，效用非常高时，即使当前的奖励是负数的，依然继续下去。
效用非常低时，即使当前看起来奖励很高，依然会停止行动。
真实效用： 最优策略的效用，称为真实效用。
状态效用：在该状态获得的奖励+这个点上获得的所有奖励的折扣值