1.RNN的简单回顾
RNN的典型应用:
2.LSTM的简单回顾
3.attention模型(注意力模型)
输入一张图片,经过CNN卷积层,得到输出的特征集L*D(196*512),D表示有多少个神经元,L是CNN的滑动窗口输出的14*14的值
下图中右边一侧是一个RNN,输出a2是一个权重向量14*14(attention 注意力的体现),与L(CNN的滑动窗口的输出)做点乘,
上图参数说明:
a1是196*1的概率向量,就是一个初始化的attention
y1是上一个词,z1是加权后的图像特征(即投射了不同的注意力attention)
d1=y2,d1表示t1时刻的输出的词,y2是t2时刻的输入的词,a2表示下一步该在这张图片上的每个位置投射的注意力
4.翻译系统(了解)