前馈神经网络（Feedforward Neural Network，简称FNN），也叫多层感知机（Multilayer Perceptron，简称MLP）。FNN的目标是通过学习参数θ，得到最佳的函数y=f(x;θ)，例如分类器，输入x，输出类别y。
1、前馈
也叫前向，信息单向流动，从输入层到隐藏层（hidden layer），再从隐藏层到输出层，不存在从下一层到上一层的反向流动。有反馈（feedback）连接的叫做循环神经网络。卷积神经网络是一种特殊的前馈神经网络。
2、反向传播（back propagation）
简称backprop，计算梯度
计算图（computational graph）
前向传播（forward propagation）
激活函数（activation function）
sigmoid函数
softmax函数
ReLU（rectified linear unit），整流线性单元
全连接
超平面
权值矩阵
高阶微分
隐藏单元
Krylov方法
参考链接：
https://www.zhihu.com/question/22334626
http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
http://xiaosheng.me/2017/05/05/article56/
https://zhuanlan.zhihu.com/p/45190898