感知机(perceptron)
没啥说的,感知机就是寻找一个将空间分为两部分的超平面(前提可分),学习过程既是损失函数极小化的过程。
模型:
(激活函数)
损失函数:
推导:
首先考虑任意一点X0到超平面的距离: ,对于误分类点(Xi,Yi)来说
,所以误分类点到超平面的总距离:
损失函数:
损失函数极小化:简单的梯度下降即可求出。
,learning rate: n,每次迭代更新,再每次更新后计算损失函数。(如果是可分前提,最后验证没有误分类点)
需要注意的是,权重w和偏置b的初始化是个经验数值。且根据初值设定不同感知机存在无数解。
感知机是个简单线性分类模型,无法处理异或问题(后面MLP再说这个问题)