RNN实现文本标注：
弊端是图像信息只在初始化时有用到
Soft Attention模型：
每一层具有三个输入：隐藏状态 + 注意力特征向量 + 词向量
每一层具有两个输出：新的位置分布（指示下一次‘观测’位置） + 词向量概率分布
上图介绍了两种计算注意力特征向量的方式，CNN特征和RNN产生位置分布的结合方式，D维指的应该是feature深度
这里展示了两种注意力向量生成方式的异同，可以看到Soft模式更为发散且更为直观，当然比较厉害的是这是无监督学习出来的结果（神经网络么）
其他的Soft模式展示
但是Sotf模式不是随意关注的，它的关注区域大小也是收到感受野大小影响的（废话... ...）
空间转化器：弥补Soft模式关注区受限制的问题
关注位置裁剪可学习化：
裁剪操作是不可微的，但是可以通过参数使得这一过程连续，即建立坐标映射，这样就可以将关注位置到输入图像这一过程可学习化，整合入网络
- Sotf attention
- 容易实现，且工作的不错
- 由于关注区域是受限制的，所以引入空间转换器
- Hard attention（介绍不多）
- 不容易实现
- 没有梯度
- 需要强化学习