http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/DL.mp4
1、步骤
Step1:就是Neural Network。
2、概念
一个logistics regression就是一个Neural,将多个logistics regression连接起来就是Neural Network。(连接方式有很多种)
参数:每个logistics regression都有自己的weight和bias。所有的权重和偏差就是Neural Network的参数。
连接方式:全连接
全连接的神经网络中如果知道每一个激活函数的权重和偏差(参数),则神经网络就是一个函数,它的输入和输出都是向量。
输入层+隐藏层+输出层,每一层就是一个神经。
深层(Deep):隐藏层有多层。
手写识别的例子:
输入一张手写图片,则它的输入为256大小的向量(像素),输出就是0-9这10个类别。
输入:256向量
输出:10向量
过程经过隐藏层(多层),神经网络就是求参数,如果隐藏层的层数、连接方式、激活函数都确定。
模型:即损失函数,可用交叉熵来设定,因为输出的向量为概率值。
求解:GD(梯度下降)