线性神经网络

线性神经网络的结构与感知器相似，激活函数采用线性函数purelin，假设输入样本为m维向量x={p1,p2,p3,...pr},网络有s个神经元，则第j个神经元的输出为vj:

                     vj=Σ_{i=1 to r}piwji+bj

网络的第j个神经元的最终输出yj=purelin(vj)

将上述写成矩阵形式：

p(n)=[1,p1(n),p2(n),...,pm(n))

W(n)=[b1(n),w11(n),w12(n),...w1m(n);b2(n),w21(n),w22(n),...w2m(n);...;bs(n),ws1(n),ws2(n),...wsm(n)]

线性神经网络的学习算法是W-H学习算法，也叫最小均方误差算法LMS，该学习规则是基于梯度下降的原则来减小权值误差，LMS学习的定义式为

              E=1/mΣ_{k=1 to s}e(k)²------1

             e(k)=d(k)-y(k)-------2

             y(k)=p(k)W(k)^T----------3

其中e(k),d(k),y(k)均为向量，长度为神经元个数s

基于梯度下降的原则:

                    W(n+1)=W(n)-α∂E/∂W

由根据1，2，3式得：

                   ∂E/∂W=-2e(k)p(k)^T

所以W(n+1)=W(n)+2αe(n)p(n)^T

最后一个问题，学习率的选择，学习率过大，收敛速度快，但是可以导致训练不稳定，学习率小，收敛速度慢