基于误差反向传播法的神经网络学习的全貌图

前提

      神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。

步骤1（mini-batch）
     从训练数据中随机选择一部分数据。
步骤2（计算梯度）
      计算损失函数关于各个权重参数的梯度。
步骤3（更新参数）
      将权重参数沿梯度方向进行微小的更新。
步骤4（重复）
      重复步骤1、步骤2、步骤3。