转自深度学习知识框架，小象牛逼！
图片来自小象学院公开课，下面直接解释几条线
神经网络
线性回归 (+ 非线性激励) → 神经网络
- 有线性映射关系的数据，找到映射关系，非常简单，只能描述简单的映射关系
- 大部分关系是非线性的，所以改进方法就是加一个非线性激励，某种程度是一个 NORMALIZE，但是是非线性的，对参数有更强的描述能力
- +非线性激励，描述稍微复杂的映射关系，形成神经网络
- 神经网络输入是 1 维信息，普通网络之间进行的是代数运算，然后经过非线性激励，形成新的神经网络
RNN
神经网络 (+时域递归) → RNN
- 神经网络处理一维信息，然而一维信息很可能是有前后的时间联系的，如人的语音，前面说的话与后面是有联系的，RNN 学习前后关系
- 相当于某一刻的输出同时也作为下一刻的输入，所以这一刻的输入不仅是这一刻的输入+上一刻输出的信息
LSTM
RNN (+记忆GATE) → LSTM
- RNN 只考虑前一刻信息，Tn 时刻只考虑 Tn-1 的，那么 Tn-2，就是 Tn-2 → Tn-1 → Tn 逐层衰减，信息也会越来越弱
- 如果很久之前的记忆很重要，要把它记下来，就相当于有一个记忆方程，那么就可以用 LSTM，实现长记忆短记忆
- Gate 来分析哪一部分存储，哪一部分进行传递
- 应用： 语句生成 → 自动翻译智能对话
CNN
神经网络 (+卷积核) → CNN
- 基本的代数运算用卷积核来代替。一维到二维甚至是三维的转化，相当于一个空间上的扩展
- 应用： 图片分类 → 目标分类(人脸识别/物品识别/场景识别/文字识别)、目标检测(安防/自动驾驶)
更先进的CNN
- 深度，宽度，递归的变化
增加深度(网络层数)，E.g.OverFeat-accurate，VGG
增加宽度(filter数)，E.g.zf-big，OverFeat-accurate
递归的变化，可以跳过下一层，传到后面几层 - 结构与性能
- 特定问题的具体结构
比如说人脸识别，我们知道人脸有大体结构，用 CNN 来做识别时，可以让不同位置的像素不共享参数，眼睛有处理眼睛部分的卷积核，鼻子有处理鼻子部分的卷积核，它们之间不共享参数，这样的话参数会很多，但这样训练的结果可能会更好一些，专门对眼睛/鼻子进行训练
LSTM + CNN
LSTM 卷积化(LSTM + CNN)
- 应用： 产生理解图片的语言 → 图片描述/标注 → 看图说话，时域的图片 → 视频分类 → 视频搜索
- NLP 方向比较成熟的只有语音识别，语义挖掘方面还是目前的热点
增强学习
外部反馈 → 增强学习
- 模仿人类学习的模型
- CNN 能理解，把它放在游戏中，做决策，给出反馈，让它学会决策的能力
- 应用： 围棋，德州扑克，自动游戏，路径规划
GAN
生成网络 + 判别网络 → 对抗网络
- 生成网络学会怎么生成数据，如输入有表情图片，学习怎么输出没有表情的图片，实际生成质量不是很好
- 判别网络判断生成网络生成的图片是不是真的
- 两者结合生成网络生成的图片越来越逼真，判别网络鉴别图片的能力也越来越强
- 作用： 生成数据，相当于无监督学习