强化学习代码实战

一.概述

　　强化学习是根据奖励信号以改进策略的机器学习方法。策略和奖励是强化学习的核心元素。强化学习试图找到最大化总奖励的策略。强化学习不是监督学习，因为强化学习的学习过程中没有参考答案；强化学习也不是非监督学习，因为强化学习需要利用奖励信号来学习。

　　强化学习任务常用“智能体/环境”接口建模。学习和决策的部分称为智能体，其它部分称为环境。智能体向环境执行动作，并从环境中得到奖励和反馈。

　　Python扩展库Gym是OpenAI推出的免费的强化学习试验环境。Gym库的使用方法是：用env=gym.make(环境名)取出环境，用env.reset()初始化环境，用env.step(动作)执行一步环境，用env.render()显示环境，用env.close()关闭环境。

　　

　　大狗机器人的姿态自适应就是基于深度学习算法，根据环境反馈进行自动姿态调整，以保障能稳定站立并行走。

二.安装

　　使用Anaconda的小伙伴在联网的情况下可以直接在Anaconda Prompt上执行pip install gym即可安装Gym库。

　　其它安装的细节可以参考官网：http://gym.openai.com/docs/#getting-started-with-gym

三.案例【基本信息输出】　　

# -*- coding: utf-8 -*-
"""
Created on Mon Nov  4 20:05:03 2019

@author: Administrator
"""

import gym

env = gym.make('MountainCar-v0')
print('观测空间={}'.format(env.observation_space))
print('动作空间={}'.format(env.action_space))
print('观测范围={}~{}'.format(env.observation_space.low, env.observation_space.high))
print('动作数={}'.format(env.action_space.n))

四.执行结果

　　

五.案例【小车自适应翻越小沟】

# -*- coding: utf-8 -*-
import gym
import time

'''
    基于强化学习实现小车自适应翻越小沟
'''
class BespokeAgent:
    def __init__(self, env):
        pass

    def decide(self, observation):
        position, velocity = observation
        lb = min(-0.09 * (position + 0.25) ** 2 + 0.03, 0.3 * (position + 0.9) ** 4 - 0.008)
        ub = -0.07 * (position + 0.38) ** 2 + 0.06
        if lb < velocity < ub:
            action = 2
        else:
            action = 0
        return action  # 返回动作

    def learn(self, *args):  # 学习
        pass

    def play_ones(self, env, agent, render=False, train=False):
        episode_reward = 0  # 记录回合总奖励，初始值为0
        observation = env.reset()  # 重置游戏环境，开始新回合
        while True:  # 不断循环，直到回合结束
            if render:  # 判断是否显示
                env.render()  # 显示图形界面，可以用env.close()关闭
            action = agent.decide(observation)
            next_observation, reward, done, _ = env.step(action)  # 执行动作
            episode_reward += reward  # 搜集回合奖励
            if train:  # 判断是否训练智能体
                break
            observation = next_observation
        return episode_reward  # 返回回合总奖励

if __name__ == '__main__':
    env = gym.make('MountainCar-v0')
    env.seed(0)  # 设置随机数种子，只是为了让结果可以精确复现，一般情况下可以删除

    agent = BespokeAgent(env)
    for _ in range(100):
        episode_reward = agent.play_ones(env, agent, render=True)
        print('回合奖励={}'.format(episode_reward))

    time.sleep(10)  # 停顿10s
    env.close()  # 关闭图形化界面

　　这是经典的“代理程序-环境循环”的实现。每个时间步，代理都选择一个action，并且环境返回一个observation和一个reward。

　　

六.执行结果

　　

七.案例【不倒翁】

import gym
import time

'''
    基于强化学习实现不倒翁特性：自动平衡恢复
'''
if __name__ == "__main__":
    env = gym.make('CartPole-v0')
    for i_episode in range(20):
        observation = env.reset()
        for t in range(100):
            env.render()
            # print(observation)
            action = env.action_space.sample()
            observation, reward, done, info = env.step(action)
            if done:
                # print("Episode finished after {} timesteps".format(t + 1))
                print(observation)
                time.sleep(1)  # 暂停以下，便于观察
                break

    time.sleep(10)  # 停顿10s
    env.close()  # 关闭图形化界面

　　如果我们想做的比在每个步骤中都采取随机action更好的话，那么最好是真正了解我们的action对环境影响。环境的step功能恰好返回了我们需要的。实际上，step返回四个值，包括：

　　>observation【对象】：特定于环境的对象，代表对环境的一次观察。例如，机器人的关节角度或者棋盘的状态。

　　>reward【奖励】：上一个动作获得的奖励。规模因环境而异，但目标始终是增加总奖励。

　　>done【执行状态】：是否需要重新再次进入环境。当done等于True时表示停止。

　　>info【结果】：对调试有用的诊断信息。

八.执行结果

　　

 　　图示：

　　

九.可用环境

　　Gym拥有各种环境，从 简单到复杂，涉及许多不同种类的数据。包括：

　　>经典控制和玩具文字：完成小规模的任务，大部分来自RL文献。用于入门。

　　>算法化：执行计算，例如添加多位数和反转顺序。

　　>Atari：经典的Atari游戏。使用易于安装的Arcade学习环境。

　　>2D和3D机器人：在仿真中控制机器人。这些任务使用了MuJoCo物理引擎，该引擎设计用于快速而准确的机器人仿真。