神经网络
Neural Networks
1 为什么要用神经网络?
既然前面降了逻辑回归,为什么还需要神经网络呢?前面我们制定在非线性分类问题中,也可以使用逻辑回归进行分类,不过我们的特征变量就变成了原始特征的高阶多项式。假设有100个特征变量,要使用逻辑回归进行分类的话,特征就呈指数增长,不仅计算量十分大,而且很容易过拟合。
2 模型表示
神经元模型
单个神经元可以是一个逻辑回归模型。
基本神经网络
由多个神经元组成,一般有输入层、隐层和输出层。
写成向量形式:
3 举例Examples and intuitions
首先我们看看sigmoid函数的大致图像,对于线性的分类,我们使用一个神经元就可以完成了。
而对于非线性的分类,例如XNOR运算,我们将多个神经元组成一个神经网络可以表达更复杂的模型。
多分类
4 代价函数 cost function
先回顾一下逻辑回归的代价函数:
现在给出神经网络的代价函数:
正则项其实就是把除了偏置外所有的参数相加。
5 后向传播算法Backpropagation algorithm
我们要使用梯度下降来计算参数时,需要计算出和
先使用前向传播算法:
然后计算出每层的残差,进行后向传播:
由于输入层直接使用的是输入数据,不存在误差,所以只用计算到第二层。
具体的算法:
Backpropagation algorithm Training set Set For Set Perform forward propagation to compute Using Compute
|
梯度检验
在进行后向传播算法训练参数前,为了确保我们的代码计算偏导是正确的,我们可以使用梯度检验。其实就是用数值计算偏导的方法。不过在训练时,一定要记得把梯度检验关掉,因为数值计算偏导十分耗时。
6 随机初始化 Random initialization
在线性回归和逻辑回归中,我们对参数初始化都是赋值为0,那么我们在神经网络中是否也可以全部赋值为0 呢?这样是不行的,如果全部赋值为0,那么每层的每个单元会学习到同样的参数,每个单元也就无法体现出自己的效果了。所以我们要打破这种情况,采取随机初始化。
7 总结 Putting it together
对于一个神经网络,有输入,输出和隐层,那么我们如何去选择每层有多少单元呢?输入层和输出层的结构我们根据要解决的问题要选定,那么对于隐层我们一般会选取含有同样个数的单元。
训练一个神经网络的主要步骤:
-
随机初始化权重。
-
使用向前传播算法,对于每一个输入计算得到
-
计算代价函数
-
使用后向传播算法计算偏导
-
用梯度检验验证的正确性(训练的时候记得要把梯度检验关掉)
-
使用梯度下降法最小化,求出参数。
是一个非凸的,可能收敛到局部最小。