1:MLP(Multi-Layer Perceptron)反向传播
(1)多层感知机模型
(2)反向传播的推到过程(主要使用链式法则):
【注】
W的上标表示第几层(也即是第几层输出层)。W的第一下标表示输入层的第几号节点,下标表示加权求和层(输出层)的第几号节点。
(3)最终推导结果:
(4)单层和多层感知机反向推导结论的对比:
[注]反向传播的过程:
首先:通过计算输出层的ók,就可以计算出输出层权值的偏微分
第二步:通过第一步得到的结果就可以计算出倒数第二层的ój,就可以得到倒数第二层的权值的偏微分,如此循环就可以对第一层权值就行更新。(第0层为初始输入层)