如何在深度网络中灵活应用正向和反向传播
先看对其中一个训练样本x,该怎么应用正向传播,之后讨论向量化的版本
在第一层里需要计算
z[1] = w[1]x + b[1]= z[1] = w[1]a[0]+ b[1]
(w[1]和b[1]就是会影响在第一层的激活单元的参数)
a[1]= g[1] ( z[1]) ( 激活函数)
在第二层里需要计算
z[2] = w[2]a[1]+ b[2]
a[2]= g[2] ( z[2])
后面几层以此类推,直到计算到第四层,也就是输出层
z[4] = w[4]a[3]+ b[4]
a[4]= g[4] ( z[4])
基本规律就是:
z[L] = w[L]a[L-1]+ b[L]
a[L]= g[L] ( z[L])
标黄部分就是正向传播公式了
上述就是针对一个训练样本的过程,下面是怎么用向量化的方法训练整个训练集
我们要做的只是在把所有的z或者a向量叠起来