机器学习实战(一)：k-近邻算法

k-近邻算法的工作原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。

输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取本集中特征最相近的数据（最近邻）的分类标签。

一般来说，我们只选择样本数据及前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择K个最相似数据中出现次数最多的

分类，作为新数据的分类。

k-近邻算法的优缺点及适用范围

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型和表称型

k-近邻算法的一般流程

1. 收集数据：可以使用任何方法。
2. 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
3. 分析数据：可以使用任何方法。
4. 训练算法：此步骤不适用于k-近邻算法。
5. 测试算法：计算错误率。
6. 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最好应对计算出的分类执行后续的处理

例子1 利用k-近邻算法确定未知影片的类型

下图显示了6部电影的打斗和接吻镜头数，假如有一部未看过的电影，如何确定它是爱情片还是动作片？

图中问号部分是该未知电影出现的镜头数图形化展示，具体数值见下表：

 我们可以通过某种方法计算得到该未知电影属于哪种类型。

第一步：计算未知电影与样本集中其他电影的距离

 按照距离递增排序，可以找到k个距离最近的电影。假定k=3，则三个最靠近的电影依次是He's Not Really into Dudes,Beautiful Woman,California Man.

k-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影都是爱情片，因此我们判定未知电影是爱情片

这里主要讲解如何在实际环境中应用k-近邻算法，同时涉及如何使用Python工具和相关的机器学习术语

第二步：定义一些基本的通用函数

from numpy import *
#排序操作会使用这个包
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

group,labels = createDataSet()

输出：

group
array([[1. , 1.1],
       [1. , 1. ],
       [0. , 0. ],
       [0. , 0.1]])

labels
['A', 'A', 'B', 'B']

这里有4组数据，每组数据有两个我们已知的属性或者特征值。上面的group矩阵每行包含一个不同
的数据，我们可以把它想象成某个日志文件中不同的测量点或者入口。由于人类大脑的限制，我
们通常只能可视化处理三维以下的事务。因此，为了简单的实现数据可视化，对于每个数据点我们通常
只使用两个特征。

向量label包含了每个数据点的标签信息，label包含的元素个数等于group矩阵行数。这里我们将数据点
（1,1.1）定义为类A，数据点（0,0.1）定义为类B。为了说明方便，例子中的数值是任意选择的，并没有
给出轴标签。图2-2是带有类标签信息的四个数据点。

 k-近邻算法的伪代码:

（1）计算已知类别数据集中的点与当前点之间的距离；

（2）按照距离递增次序排序；

（3）选取与当前点距离最小的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的类别作为当前点的预测分类