1.案例引出
RNN-based network 总是不容易学习。
下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图，绿色是实际试验中可能出现的损失值。
损失函数存在突变的现象：
下图中可见Loss 函数的变化情况，左侧的损失函数较大，右侧的损失函数较小，存在剧烈变化的现象。
解决方案：
LSTM可以处理梯度消失。原理分析如下图所示。
2.LSTM的应用
(1)情感分析---Many to one 多对1
输入一个向量序列，输出是一个向量。
(2)关键术语抽取 Key Term extraction
(3)Semantic tagging 语义标注
利用模型融合
3.Attention-based Model 注意力模型
