卷积神经网络在实际中的应用
在实际训练卷积神经网络中有很多方法可以对均积神经网络进行优化。
使用线性修正单元（Using rectified linear units）
用激活函数：
来代替S型激活函数。
扩展训练数据（Expanding the training data）
插入一个额外的全连接层（Inserting an extra fully-connected layer）
对全连接层使用弃权（dropout）
为什么只在网络的全连接层使用弃权呢？因为卷积层有相当大的先天对于过度拟合的抵抗。因为共项权重意味着卷积滤波器被强制从整个图像中进行学习。这使得他们不太可能去选择训练数据中的局部特质。也就没有必要来应用其他技术来对他进行规范化，例如弃权。
为什么我们能训练深度神经网络？
卷积神经网络通过下面的方法避免了深度学习中的梯度不稳定问题（梯度的消失问题和梯度的爆炸问题）
（1）使用卷积层极大的减少了这些层中的参数数目，使学习的问题更加容易；
（2）使用更多强有力的规范化技术（尤其是弃权和卷积层）来减少过度拟合；
（3）使用线性修正单元而不是S型神经元，来加速训练；
（4）使用GPU并愿意长时间训练；
（5）以算法的形式扩展训练数据，利用充分大的数据集进行训练（避免过度拟合）；
（6）使用好的权重初始化（为了避免因为神经元饱和引起的学习减速）；
，