自适应线性元件20世纪50年代末由Widrow和Hoff提出,主要用于线性逼近一个函数式而进行模式联想以及信号滤波、预测、模型识别和控制等。
线性神经网络和感知器的区别是,感知器只能输出两种可能的值,而线性神经网络的输出可以取任意值。线性神经网络采用Widrow-Hoff学习规则,即LMS(Least Mean Square)算法来调整网络的权值和偏置。
只能解决线性可分的问题。
与感知器类似,神经元传输函数不同。
二、LMS学习算法
Widrow和Hoff在1960年提出自适应滤波LMS算法,也称为Δ规则(Delta Rule)。LMS算法只能训练单层网络,
定义某次迭代时的信号为 e(n)=d(n)-xT(n)w(n)
其中n表示迭代次数,d表示期望输出。这里采用均方误差作为评价指标:
Q是输入训练样本的个数。线性神经网络学习的目标是找到适当的w,使得均方差mse最小。mse对w求偏导,令偏导等于0求得mse极值,因为mse 必为正,二次函数凹向上,求得的极值必为极小值。
实际运算中,为了解决权值w维数过高,给计算带来困难,往往调节权值,使mse从空间中的某一点开始,沿着斜面向下滑行,最终达到最小值。滑行的方向使该店最陡下降的方向,即负梯度方向。
实际计算中,代价函数常定义为
推导,梯度下降法。(推导有些复杂,可查阅书籍文献)
LMS算法步骤:与上节感知器类似。
(1)定义参数和变量。
(2)初始化
(3)输入样本,计算实际输出和误差。
(4)调整权值向量
(5)判断是否收敛
学习率的选择:
1996年Hayjin证明,只要学习率η满足 LMS算法就是按方差收敛的。
其中,λmax是输入向量x(n)组成的自相关矩阵R的最大特征值。往往使用R的迹(trace)来代替。矩阵的迹是矩阵主对角线元素之和。
可改写成 0<η<2/向量均方值之和。
学习率逐渐下降:
学习初期,用比较大的学习率保证收敛速度,随着迭代次数增加,减小学习率保证精度,确保收敛。
五、线性神经网络相关函数
newlind--设计一个线性层
net=newlind(P,T,Pi)
相当于生成了神经网络和训练了神经网络,不用再训练。
newlin--构造一个线性层
相当于生成神经网络,再更高的版本中废弃,推荐使用的新函数是linearlayer.
minmax(P) 求最大最小值。
maxlinlr(P)求最大学习率。见上节。
之后再用train训练。
purelin--线性传输函数。 输出等于输入。
learnwh--LMS学习函数