用Python实现感知机 （python机器学习一）

0x01 感知机

感知机是一种二类分类的线性分类器，属于判别模型（另一种是生成模型）。简单地说，就是通过输入特征，利用超平面，将目标分为两类。感知机是神经网络和支持向量机的基础。

假设输入空间为，输出空间是.其中，为一个特征向量，。

定义从输入空间到输出空间的函数：为感知机。为感知机的权重，为偏置量，。

感知机最终得到的结果是通过一个超平面，将正实例点和负实例点区分开。对应于二维平面，即通过确定一条直线对分布于平面坐标系中的两种点进行区分，已达到给出一个点的坐标（特征向量），就能确定这个点的类别。

0x02 算法

监督学习有三大要素，模型，策略，和算法。我们采用的是感知机学习模型，下面我们说一下算法和学习策略。

具体步骤：

1. 确定初始的和；
2. 随机从训练样本中选取点，预测值为；
3. 如果预测值不等于真实值，即，更新和；
4. 重复步骤2、3，直到达到训练次数或小于指定误差；
5. 输入未知点的特征向量，。

而在第3步中如何更新和，则由学习策略来决定。这里我们的损失函数采用所有误分类点到超平面的总距离，即，为误分类点的集合。根据最小梯度下降法，，。这就是感知机学习模型的全部算法，下面用python来实现感知机。

0x03 代码实现

首先定义符号函数：

# 符号函数
def sign(v):
    if v > 0:
        return 1
    else:
        return -1

训练函数：

def training():
    train_data1 = [[1, 3, 1], [2, 5, 1], [3, 8, 1], [2, 6, 1]]  # 正样本
    train_data2 = [[3, 1, -1], [4, 1, -1], [6, 2, -1], [7, 3, -1]]  # 负样本
    train_datas = train_data1 + train_data2  # 样本集

    weight = [0, 0]  # 权重
    bias = 0  # 偏置量
    learning_rate = 0.5  # 学习速率

    train_num = int(raw_input("train num: "))  # 迭代次数

    for i in range(train_num):
        train = random.choice(train_datas)
        x1, x2, y = train
        predict = sign(weight[0] * x1 + weight[1] * x2 + bias)  # 输出
        print("train data: x: (%d, %d) y: %d  ==> predict: %d" % (x1, x2, y, predict))
        if y * predict <= 0:  # 判断误分类点
            weight[0] = weight[0] + learning_rate * y * x1  # 更新权重
            weight[1] = weight[1] + learning_rate * y * x2
            bias = bias + learning_rate * y  # 更新偏置量
            print("update weight and bias: "),
            print(weight[0], weight[1], bias)

    print("stop training: "),
    print(weight[0], weight[1], bias)

    return weight, bias

测试函数：

# 测试函数
def test():
    weight, bias = training()
    while True:
        test_data = []
        data = raw_input('enter test data (x1, x2): ')
        if data == 'q': break
        test_data += [int(n) for n in data.split(',')]
        predict = sign(weight[0] * test_data[0] + weight[1] * test_data[1] + bias)
        print("predict ==> %d" % predict)

0x04 总结

感知机是神经网络和支持向量机的基础，实现起来并不难，但是涉及到很多思想。接下来会写写k-近邻算法。

本人也是机器学习新手，上面的介绍都是我在学习过程中的总结，如有不正确的地方，欢迎指正。