神经网络感知器matlab实现

1.基本原理

      神经网络里最简单的模型，就是感知器。感知器可以实现N维空间的线性划分。如二维空间，下图就是用一条直线将（0 0）分为一类，其余四点为一类。实现了与门。

      如果要将以上四点划分为（0 1）（1 0）为一类，（1 1）（0 0）为一类，显然是无法用直线将其分开。如果是三维空间，就是平面划分。如果N维，即超平面。

      下图为一个神经元模型，输入为pX1的向量，输出为a。感知器工作时，首要要学习，也就是对w和b进行调整。首先要有n个P向量，和一个你期望的该p向量得到的t值。w和b是不为0的随机值，训练的目的就是调整w和b的值，使e=t-a的值不断接近0。当所有样本输出的值都等于t时，学习结束。

     这是，给定相关值，你就可以得到你期望的结果。其中wp+b累加输出的值n，要经过一个函数，这个函数根据需要选取，并不一定要取阶跃函数。

     下图可以看出在二维空间了w和b分别是如何影响划分的直线的。

2.单层感知器

       以下图为感知器基本模型，摘自matlab的帮助文档。

上图有以下几个要点：

2.1 R为输入个数，S为单层神经元的个数。感知器里可以有s个神经元，但神经元之间无信息传递，之间互不影响。

2.2 输出是sX1的a向量，实现了对RX1的p向量的s次在R维空间的线性二划分。

综合以上分析，可以看出神经网络设计的重点：

2.1 如何将神经元相互联系起来，即网络的设计；

2.2 选择什么样的方法调整每个神经元的w和b值，该算法必须收敛，即在有限步骤内，让误差e趋近0；

2.3 每个神经元选择什么样的函数得到a输出；

3. 算法实现（matlab）

其中P为RXN输入矩阵，T为SXN的目标矩阵;

R为输入个数，N为训练的样本数;

S为神经元个数;

repeat为最大迭代次数；W b e为经过训练得到的W b e;如果线性可分的话，并在repeat步类收敛，e就是0。

function [W b e] = perceptron(P, T, repeat)
switch nargin
    case 0
    case 1
        error('Must enter P and T');
    case 2
        repeat = 10000;
end
[r n]=size(P);
s =size(T,1);
W=ones(s,r);
b=ones(s,1);
e=ones(s,n);
for i=1:repeat
    index=mod(i,n);
    if(index == 0)
        index = 4;
    end
    p=P(:,index);
    t=T(:,index);
    a= W*p + b;
    for j=1:s
        if a(j) >= 0
            a(j) = 1;
        else
            a(j) = 0;
        end
    end
    %e:s by n
    e(:,index)=(t-a)*0.5;
    W=W+e(:,index)*p';
    b=b+e(:,index);
    if(e == 0)
        break;
    end
end
end

     这里需要说明一下w和b是如何调整的，即31行。新的权重值为旧的加上误差值乘以输入，思想很简单。即用误差调整w和b，显然误差为0，就无调整。不为0，就朝着使误差减小的方向调整，即负反馈的思想。乘以输入，是对调整的修正，使调整更加迅速。可以设想，如果一个输入非常小，一个非常大，那输入小的增量也要小，大的增量也要大。如果都大，那就容易产生震荡。如果小，收敛就很慢，需要学习的时间就会变得很长。