机器学习实战python3 K近邻（KNN）算法实现

 　　台大机器技法跟基石都看完了，但是没有编程一直，现在打算结合周志华的《机器学习》，撸一遍机器学习实战， 原书是python2 的，但是本人感觉python3更好用一些，所以打算用python3 写一遍。python3 与python2 不同的地方会在程序中标出。

代码及数据：https://github.com/zle1992/MachineLearningInAction

k-近邻算法

优点:精度高、对异常值不敏感、无数据输入假定。

缺点:计算复杂度高、空间复杂度高。对K的取值敏感！！！

适用数据范围:数值型和标称型。

1 创建数据

def createDataSet():
    group = np.array([
    [1.0,1.1],
    [1.0,1.0],
    [0,0],
    [0,0.1] ])
    labels = ['A','A','B','B']
    return group ,labels

2 算法

对未知类别属性的数据集中的每个点依次执行以下操作:
(1)计算已知类别数据集中的点与当前点之间的距离;
(2)按照距离递增次序排序;
(3)选取与当前点距离最小的k个点;
(4)确定前k个点所在类别的出现频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

def classify0(intX,dataX,labels,k):
    dataSize = dataX.shape[0] #行数，
    diffMat = np.tile(intX,(dataSize,1)) - dataX #intX　复制４行，形成矩阵，并计算距离差
    sqDiffMat = diffMat * diffMat  # 等价于 diffMat ** 2
    sqDistence = sqDiffMat.sum(axis = 1) #按行相加
    distence = sqDistence ** 0.5 # 开根号 ，　distence是array
    sortedDistenceIndicies = distence.argsort() # 返回排序后的下标
    classCount = {} # 字典　key is label , val is count  
    for i in range(k):
        voteIlabel = labels[sortedDistenceIndicies[i]] # 排名第i的label
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #   .get(voteIlabel,0)   if no exit return 0
    sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse = True) 
    # 根据iteritems 的第１个元素排序　即字典中的val ,第０个　是key  #reverse定义为True时将按降序排列
    #!!!!! 与py2 的差别！！ python3 字典的item 就是迭代对象
    return sortedClassCount[0][0]  # 返回排序后的字典的前一个（从０开始）

3在约会网站上使用k近邻算法

(1)收集数据:提供文本文件。
(2)准备数据:使用Python解析文本文件。
(3)分析数据:使用Matplotlib画二维扩散图。
(4)训练算法:此步骤不适用于k-近邻算法。
(5)测试算法:使用海伦提供的部分数据作为测试样本。测试样本和非测试样本的区别在于:测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
(6)使用算法:产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。

约会数据存放在文本文件datingTestSet.txt中，每个样本数据占据一行，总共有1000行。主要包含以下3种特征:

口每年获得的飞行常客里程数
口玩视频游戏所耗时间百分比
口每周消费的冰淇淋公升数

3-1将文本记录到转换NumPy的解析程序

def file2matrix(filename):
    with open(filename,mode = "r") as fr:
        arrayOLines = fr.readlines()
        numberOfLine = len(arrayOLines)
        returnMat = np.zeros((numberOfLine,3))
        labels = []
        index = 0
        for line in arrayOLines:
            listFromLine = line.split("	")
            returnMat[index,:] = listFromLine[0:3]
            labels.append(int(listFromLine[-1]))  #-1 倒数第一个
            index = index + 1
        return returnMat,labels

3-2分析数据:使用Matplotlib创建散点图

    k = 3
    #读入数据
    filename = "datingTestSet2.txt"
    dataX,labels = file2matrix(filename)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(dataX[:,0],dataX[:,1],c = 15 *np.array(labels),s = 15*np.array(labels)) # c 是颜色序列！！！！ s 是大小
    ax = fig.add_subplot(121)
    ax.scatter(dataX[:,0],dataX[:,2],c = 15 *np.array(labels),s = 15*np.array(labels)) # c 是颜色序列！！！！ s 是大小
    ax = fig.add_subplot(131)
    ax.scatter(dataX[:,1],dataX[:,2],c = 15 *np.array(labels),s = 15*np.array(labels)) # c 是颜色序列！！！！ s 是大小

3-3准备数据:归一化数值

def autoNorm(dataX):
    #  归一化公式 newVal = (oldval-min)/(max - min)
    minVals = dataX.min(axis=0)#返回的是最每一列中的最小的元素 min(1)#返回的是最每一行中的最小的元素
    maxVals = dataX.max(0)#返回的是最每一列中的最大的元素
    ranges = maxVals - minVals #
    rows = dataX.shape[0]
    newVal = dataX - tile(minVals,(rows,1)) #(oldval-min)
    ##   tile(minVals,(rows,1))复制rows行 ，列数为minvals列数的一倍
    newVal = newVal/tile(ranges,(rows,1)) #(oldval-min)/(max - min)
    return newVal,ranges,minVals

3-4测试算法:作为完整程序验证分类器

def datingClassTest():
    hoRatio = 0.1 # 10% of data as  test
    #读入数据
    filename = "datingTestSet2.txt"
    dataX ,labels = file2matrix(filename)
    #归一化
    normMat,ranges,minVals = autoNorm(dataX)

    m = dataX.shape[0] #numbers of rows
    numTestVecs = int(m * hoRatio) #numbers of test 
    errorcount = 0 #initialize number of errors 
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],labels[numTestVecs:m],5)#前10%作为测试数据
    #   print("the classifier predict %d, the real answer is :%d" %((classifierResult),labels[i]))
        if(classifierResult != labels[i]):
            errorcount = errorcount + 1.0
    print("error rate :%f" %((errorcount)/(numTestVecs)))

3-5使用算法:构建完整可用系统

 此程序需要在命令行下进行，因为要从命名行读入数据

def classifyPerson():
    resultList = ["第一类","第二类","第三类"] #output lables
    
    percentTats = float(input("玩游戏消耗的时间"))###########!!!!!!! pyhton3 为input#####!!!!!!!!!!!!!!!!!
    ffilm = float(input("每年获得的飞行里程数"))###########!!!!!!! pyhton2 为raw_input#####!!!!!!!!!!!!!!!!!
    iceCream = float(input("每周消费冰淇淋"))
        #读入数据
    filename = "datingTestSet2.txt"
    dataX ,labels = file2matrix(filename)
    #归一化
    normMat,ranges,minVals = autoNorm(dataX)

    test_list = np.array([percentTats,ffilm,iceCream])
    classifierResult = classify0(test_list,dataX,labels,3)
    print("你喜欢的类别:" + resultList[classifierResult])

 4手写识别系统

(1)收集数据:提供文本文件。

(2)准备数据:编写函数classify0()，将图像格式转换为分类器使用的list格式。

(3)分析数据:在Python命令提示符中检查数据，确保它符合要求。

(4)训练算法:此步骤不适用于裕近邻算法。

(5)测试算法:编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。

(6)使用算法:本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从图像中提取数字，并完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。

4-1准备数据:将图像转换为测试向量

def img2vector(filename):
    returnVect = np.zeros((1,1024)) #initilize the vec
    with open (filename,mode = "r") as fr:   #########!!!!!!!!与python2 不同   ！！！！！！！！
        lineStr = fr.readlines()             #########!!!!!!!!与python2 不同   ！！！！！！！！
        for i in range(32):                  #########!!!!!!!!与python2 不同   ！！！！！！！！
            for j in range(32):                 #########!!!!!!!!与python2 不同   ！！！！！！！！
                returnVect[0,i*32+j] = lineStr[i][j]        #########!!!!!!!!与python2 不同   ！！！！！！！！
    return returnVect

4-2测试算法:使用k-近邻算法识别手写数字

def handwritingClassTest():
    hwlables = []
    trainingFileList = os.listdir("digits\trainingDigits")######!!!!!!!!与python2 不同   ！py3 need import os 
    m = len(trainingFileList) # number of trianfiles
    trainMat = np.zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]   #循环操作 把每一个txt文件转换为矩阵
        fileStr = fileNameStr.split(".")[0]  # 把文件名与后缀名分开，提取文件名
        classNumStr = fileStr.split("_")[0]  #提取文件名中的标签
        hwlables.append(classNumStr)  #把类别标签添加到类别List
        trainMat[i,:] = img2vector("digits\trainingDigits\%s" %fileNameStr)

    testFileList = os.listdir("digits\testDigits")  #处理测试文件 
    mtest = len(testFileList)
    errorcount = 0.0 
    for i in range(mtest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split(".")[0]
        classNumStr = fileStr.split("_")[0]
        vectorUderTest = img2vector("digits\testDigits\%s" %fileNameStr)
        classifierResult = classify0(vectorUderTest,trainMat,hwlables,3)
        if(classifierResult != classNumStr) :
            errorcount += 1.0
    print("errorcount:%d" %errorcount)
    print("error rate :%f" %float((errorcount/mtest)))

final  主程序

需要运行哪个程序就打开哪个程序的注释即可

if __name__ == '__main__':
    #simpletest()   # 测试createDataSet 和classify0 这2个函数
    plot()   #画datingTestSet2.txt这个数据的图像
    #handwritingClassTest()  #手写识别程序
    #datingClassTest()  #约会 识别程序
    #classifyPerson()  #从命令行读入数据
   
   

def simpletest():  # 测试createDataSet 和classify0 这2个函数
    intX = [0.0,0.0]
    k = 3
    dataX,labels = createDataSet() 
    a = classify0(intX,dataX,labels,k)
    print("dataX:" ,dataX)
    print("labels:",labels)
    print("predict:" ,a)