原文链接：http://www.one2know.cn/nlp16/
- 深度学习中的核心主题是
卷积神经网络(CNN)和循环神经网络(RNN)
卷积神经网络
- CNN用于图像处理
卷积：
原始图像 5×5
滤波器 3×3
滤波器以步长大于小于1，到处平移，并与原始图像里的3×3做乘积运算，得到卷积特征/激活映射(activation map)。
卷积的优势：
1.全连接层代替固定尺寸，减少了神经元的数量
2.滤波器将上一层的像素汇总到下一层
3.反向传播过程中，只需根据反向传播误差更新滤波器权重，就可使效率提高 - 池化
将激活表示的维数减少
例如，将4×4的矩阵分解成4个2×2的矩阵，只保留最大值，缩减成2×2矩阵
- 填充
可以保持图片大小不发生改变或者使整个网络的大小处于可控状态
比如，零填充，添一圈0，3×3 => 5×5 - 特征图大小的计算
从卷积层到特征图的大小变化：
W是原始图像的宽度，F是滤波器的大小，P是填充大小，S是步长 - CNN的应用
1.图像分类
2.人脸识别
3.场景标注
4.自然语言处理：将句子表示为向量，就可以使用CNN完成分类；CNN进行一维卷积时，宽度是常量，那么滤波器只需在广度上移动。
循环神经网络
- 输入相互独立时，用CNN；前后依赖，不独立时，用RNN
- RNN原理公式：
- LSTM
长短型记忆网络，解决梯度消失和梯度爆炸问题
LSTM是一个人工神经网络，除常规网络单元外，还有LSTM模块。LSTM包含三个门，输入门、遗忘门、输出门。输入门用来确定何时输入足够重要的信息，遗忘门用来确定何时继续记住或忘记上一刻的信息，输出门则用来确定应该何时输出当前时刻的信息
- RNN在NLP领域应用
1.语言模型：给一次词序列，预测下一个可能出现的单词
2.文本生成：根据作者的作品产生新文本
3.机器翻译：一种语言=>另一种语言
4.聊天机器人：与机器翻译类似，需要用双方问答来训练模型
5.生成图像描述：将RNN与CNN一起训练生成图像的标题或描述