人工神经网络是对生物神经网络的模仿，神经网络对一个问题的学习，需要经历数据输入、网络参数的训练、超参数的调节等部分。
这次我们来详细讨论一下神经网络的学习过程。
假设我们要训练一个神经网络去识别一张图片里面是否有一只狗，当然现阶段我们只是宽泛的讨论神经网络处理该问题的流程。
首先，我们会有一个规范化的图片集，里面包含了各种类型的图片（像素为28*28），有小狗的，没有小狗的，称为训练数据集。还有一个测试数据集，用来验证神经网络的学习情况。
然后，我们需要设计一个神经网络，用以学习这个问题。假设我们采用S型神经元，并使用如下的网络结构：
图中输入神经元有784个，因为输入的图片是28*28的。
图中有两个隐藏层和一个输出层。
假设我们训练集的大小为n，则训练输入为x1,x2,....,xn
要训练神经网络，会用一个代价函数，这个代价函数的基本形式为：
C（w,b）, 是权重和偏置的函数。
我们的目标就是，找到一组权重和偏置，对于所有的输入，神经网络的输出与目标输出之间的差异最小。
常见的代价函数有：
二次代价函数：
交叉熵代价函数：
y表示对于输入x的函数，表示期望的输出。a表示输入为x时，网络的输出。
从上述两种代价函数的形式可以看出，代价函数就是用来标记网络输出与正确值之间的差异。
神经网络的训练过程正是一个寻找到最佳的权重和偏置，使得对于所有的输入与预期输出的差异最小的过程。
那么，用什么样的算法进行上述过程的计算呢？
我们知道，代价函数是权重和偏置的函数，即C（w, b）
学过高等数学的人应该都知道，对于函数的某一点，沿着梯度的反方向运动，函数的值减小的最快。
神经网络的梯度下降学习算法正是基于此，我们初始化一个权重和偏置的矩阵，然后沿着代价函数梯度的方向去改变权重和偏置，直到代价函数足够小。
因此，我们通过如下的规则，来更新权重和偏置，让代价函数逐步变小：
梳理一下，神经网络的学习过程，大致如下：
1. 输入x1, 计算a,并代价函数求和中的一项，并对所有样本重复上述过程，得到代价函数C（w，b）
2.计算所有的偏导分量
3.更新权重和偏置，重复上述过程。
从上述过程中，可以看出，如果样本量很大的话，权重和偏置更新的速度就会非常的慢，学习的效率就会变低。
因此，在生产中，一般都会把样本随机的分成一个一个的小批量数据，计算完一个小批量数据后就可以更新权重和偏置，这样就可以加快学习的速度，这叫随机梯度下降。