1.前向传播
引用一个网站的图：
具体来说，就是2行代码，图片中的f为激活函数，这里用sigmoid作为激活函数，事实上有很多其它的套路，这里只讲神经网络的数学原理及初级使用，不会做任何深入扩展：
def feedforward(self, a):
# a:input
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a) + b)
return a
2.反向传播
反向传播主要是前向传播一直传下去，到最最后面的输出层神经元了，然后利用已知数据的标签，和输出成的预测值产生、计算误差，建立成损失函数模型，然后希望损失函数减低，既，求导，利用梯度下降等更新权重参数，以然损失函数往减少的方向去。
可见，有反向传播是从后往前一层层传播的，具体怎么计算更新呢？
1）误差传播的概念
假设现在有100层这样的神经网络，最后第100层显然，就是输出层，我们的目标是学习0-9的数字图片，那么输出层有10个神经元，值为0-1，和为1，表示对应位置的数字的预测概率，如0号神经元0.1，5号神经元0.6，..，最大的概率是5号，如果此时是已经学好了的模型，那么我们就预测说这个数字图片是5了，而问题是一开始并没有学好怎么识别数字，因此关键是学习的过程。
显然，一开始模型是乱输出的，比如图片的真实数字是6，结果输出的预测概率里面最大的是8，如10个输出神经元的输出是：[0.1,0.1,0,0.1,0,0,0,0,0.5,0.2]，而训练集给定的真实结果是：[0,0,0,0,0,0,1,0,0,0]（为什么这样，因为是标记的百分之百确定的，所有我们知道100%是数字6，其它数字的概率是0%）
显然，[0.1,0.1,0,0.1,0,0,0,0,0.5,0.2]和[0,0,0,0,0,0,1,0,0,0]这两个10维的向量，是可以计算距离的，通常的，直接平方距离被定义成了损失函数记做L，因为理想的时候我们的预测值也应该是输出[0,0,0,0,0,0,1,0,0,0]这种结果，那么这个预测的损失为0，看起来是合理的。
3.理论
1）输出层
最后的输出层比如上面的第100层，记为L层，中间的1-99层记做 根据前向传播输出为
：
2）损失计算函数
3）记公共因子
第100层L层：
第 0-99层 层：
公共因子有如下关系
（这一步很重要），我们发现有了第100层的公共因子，就能得到第99个公共因子
，一以此类推。
4）输出层的梯度
第100层L：
第1-99层 层：
得出这个关系后，每个层的权重更新就可以按照梯度下降等更新了
5）梯度下降更新流程
根据每次更新计算梯度有批量（Batch），小批量(mini-Batch)，随机三个变种的梯度下降，小批量用的比较多，每次一定数量均匀起来再更新。
输入: 总层数L，以及各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长α,最大迭代次数MAX与停止迭代阈值ϵ，输入的m个训练样本
输出：各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b
按照如下参数更新：（单个样本的）
对应的有批量的（取全部样本），小批量的（取随机的小部分样本集），差别只是把求导项由当个变量的更新变成取批量样本的均值做更新。
3.1 激活函数
激活函数保证神经网络模型是非线性的，否则多个神经网络层，最终也是可以表示成线性形式的。
激活函数应该是非线性、几乎处处可导、单调，并尽量避免饱和（为什么？3.5有说明），常见：sigmoid、tanh、ReLU：
3.2 损失函数
前面的平方损失通常用于回归问题，常见的还有机器学习中的交叉熵，主要用于分类。
交叉熵：
交叉熵有极小值：
意义：当真实概率与预测概率相当，xi=ai时有极小值
3.3 正则化
抵抗过拟合的技巧。
3.4 学习率
应该是接近0的正数。
其它变种，动量项梯度下降，引入动量V：
3.5 存在的问题
1）梯度消失问题
如果激活函数导数绝对值<1，多次连乘后，误差项，进而导致对W,b的梯度值接近0！不幸的是，上面用的sigmoid就是这样的一个激活函数，不超过3/5层神经网络，上面那样的全连接网络后面梯度会接近0的。
ReLU一定程度上减少梯度消失问题，但不是绝对的。
2）饱和性
x趋于±无穷时，导数=0，x=c的时候存在导数=0。（上面说了要避免饱和性，梯度消失主要就是激活函数导数接近0，而饱和性的函数可能直接就是0，因此要避免这样的饱和性函数）
3）退化问题
神经网络的训练误差和测试误差会随着层数增加而增大，也就是说并不是层次越多越好，多了可能过拟合。解决技巧有残差网络等。
4）局部极小值
神经网络的优化目标不是一个凸优化问题，很可能存在无法预测的局部极小值，陷入其中很可能就无法跳出，造成效果不好。目前无好的解决办法。
5） 鞍点问题
Hessian矩阵不正定，不是局部极小值点，也就是说可能连局部极小值都找不到！。
以上问题都没有很好的解决办法，可见效果好坏通常还与初始迭代位置点优化，所有目前能做的就是多次尝试（暴力）。
4.基于numpy实现
另一个文章：https://blog.csdn.net/jiang425776024/article/details/85040726
5基于sklearn实现
API:https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neural_network
sklearn 中有3个神经网络的实现库（了解就好，现在神经网络都是PyTorch、TensorFlow、caffe更实际）
neural_network.BernoulliRBM([n_components, …]) |
伯努利限制玻尔兹曼机（RBM） |
neural_network.MLPClassifier([…]) |
多层感知机分类器 |
neural_network.MLPRegressor([…]) |
多层感知机回归器 |
6.基于PyTorch实现
import torch as t
import matplotlib.pyplot as plt
import torch.nn.functional as F
x = t.unsqueeze(t.linspace(-1, 1, 100), dim=1)
y = x.pow(2) + 0.2 * t.rand(x.size())
class Net(t.nn.Module):
def __init__(self, n_feature, n_hidden1, n_hidden2, n_output):
super(Net, self).__init__() # 继承 __init__ 功能
# 定义每层用什么样的形式
self.layer1 = t.nn.Linear(n_feature, n_hidden1) # 隐藏层线性输出
self.layer2 = t.nn.Linear(n_hidden1, n_hidden2) # 隐藏层线性输出
self.predict = t.nn.Linear(n_hidden2, n_output) # 输出层线性输出
def forward(self, x): # 这同时也是 Module 中的 forward 功能
# 正向传播输入值, 神经网络分析出输出值
x = F.relu(self.layer1(x))
x = F.relu(self.layer2(x))
# 最后一层输出不需要激活
x = self.predict(x)
return x
net = Net(n_feature=1, n_hidden1=10, n_hidden2=10, n_output=1)
print(net)
optimizer = t.optim.SGD(net.parameters(), lr=0.2) # 传入 net 的所有参数, 学习率
loss_func = t.nn.MSELoss() # 预测值和真实值的误差计算公式 (均方差)
plt.ion() # 画图
plt.show()
for i in range(100):
inputs = t.autograd.Variable(x)
target = t.autograd.Variable(y)
output = net(inputs) # 喂给 net 训练数据 x, 输出预测值
loss = loss_func(output, target) # 计算两者的误差
optimizer.zero_grad() # 清空上一步的残余更新参数值
loss.backward() # 误差反向传播, 计算参数更新值
optimizer.step() # 将参数更新值施加到 net 的 parameters 上
# 接着上面来
if i % 5 == 0:
plt.cla()
# 原始
plt.scatter(inputs.data.numpy(), target.data.numpy(),label='real')
# 预测
plt.plot(inputs.data.numpy(), output.data.numpy(), 'r-', lw=5,label='predict')
plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})
plt.legend()
plt.pause(0.1)
plt.pause(10000000000)