一 Deep Leraning 的发展
二 深度学习的三大步骤
Step 1: Neural Network
每一个Logistic Regression 就是一个Neuron,不同的连接方式构成不同的Network。
Network 的连接方式有很多，而 Full Connect Feedforward Network 是一种最常见的方式。
一般的 Full Connect Feedforward Network的结构如下：
由以上延伸到Deep Learning，所谓的Deep 指的是 NetWork 中有很多的 Hidden Layers。
普遍规律是层数越高，准确率越高。
在NetWork中，常用的是矩阵运算，简单举例：
更为一般的运算示意图如下：
可以使用GPU加速矩阵的运算速度：
通常将输出层作为一个多分类来处理：
应用举例（手写数字识别）：
NetWork 的结构应该怎么决定：
Step 2 ：Goodness of function
一个样例的 Loss
总的 Loss
Step 3 ：Pick the best function
还是可以使用梯度下降的方法反复计算得到 best function。
思考：
参考：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/DL%20(v2).pdf