RNN，LSTM

RNN：

Vanilla Neural Network ：对单一固定的输入给出单一固定输出

Recurrent Neural Network:对单一固定的输入给出一系列输出（如：可边长序列），例：图片描述

　　　　　　　　　　　　对可变尺寸输入给出单一固定输出，例：语句的情感分析，对视频（时间长度可变）做决策

　　　　　　　　　　　　对可变尺寸输入给出可变尺寸输出，例：机器翻译，对视频做帧数分类　

x作为输入传入RNN，RNN有一个内部隐藏态（internal hidden state），整个隐藏态会在RNN每次读取新的输入时更新，隐藏态会在下次读取输入时将结果反馈至模型。ht代表新的状态，fw代表一种循环函数机制，xt代表输入每个时步的fw和权重都相同。

 对可变尺寸输入给出可变尺寸输出：

 

 对可变尺寸输入给出单一固定输出

 

对单一固定的输入给出一系列输出

 多对多：机器翻译：

机器翻译使用序列to序列模型，既一对多和多对一组合，编码器是多对一模型，输入句子，输出向量；解码器是一对多模型，输入向量，输出预测结果

由预测结果的损失函数，同时训练编码器和解码器

 语言模型：

通常采用截取方法计算梯度，避免梯度爆炸

 

RNN注意力

LSTM:

 

1