Chain rule
Multi-output Perceptron
Multi-Layer Perceptron
- 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点
- For an output layer node k∈Kk∈K
∂E∂Wjk=Ojδk,δk=Ok(1−Ok)(Ok−tk)∂E∂Wjk=Ojδk,δk=Ok(1−Ok)(Ok−tk)
- For a hidden layer node j∈Jj∈J
∂E∂Wij=Oiδj,δj=Oj(1−Oj)∑k∈KδkWjk∂E∂Wij=Oiδj,δj=Oj(1−Oj)∑k∈KδkWjk
- 其中δkδk 可以看做是OjOj 的信息；δjδj 可以看做是OiOi 的信息
- 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分