• 第二章--k-近邻算法(kNN)


    一、k-近邻算法(kNN)

      采用测量不同特征值之间的距离方法进行分类

    工作原理:

      存在一个样本数据集合(训练样本集),并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征醉相思数据(最近邻)的分类标签。
      一般来说,我们只选择样本数据集中前k个最相似的数据,(k的来源),通常k<=20的整数,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
      一般流程:收集-准备-分析数据-训练-测试-使用算法。

    1.使用Python导入数据

     1 from numpy import *#科学计算包
     2 import operator     #运算符模块
     3 
     4 def createDataSet():
     5     group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
     6     labels = ['A','A','B','B']
     7     return group,labels
     8 
     9 def classify0(inX, dataSet, labels, k):
    10     dataSetSize = dataSet.shape[0]
    11     #距离计算
    12     diffMat = tile(inX, (dataSetSize,1)) - dataSet
    13     sqDiffMat = diffMat**2      #平方
    14     sqDistances = sqDiffMat.sum(axis=1)     #根号下平方相加
    15     distances = sqDistances**0.5    #根号
    16     sortedDistIndicies = distances.argsort()    #排序
    17     classCount={}
    18     #选择距离最小的k个点
    19     for i in range(k):
    20         voteIlabel = labels[sortedDistIndicies[i]]
    21         classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    22         #排序,将classCount字典分解为元祖列表,导入itemgeeter方法,按照第二个元素的次序对元祖进行排序
    23         #此处排序为逆序,即从大到小排序,最后返回发生频率最高的元素标签。
    24         sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    25         return sortedClassCount[0][0]
    26     # 为预测数据所在分类:kNN.classify0([0,0], group, labels, 3)
    执行命令:
    >>>import kNN
    >>>group,labels = kNN.createDataSet()
    >>>group
    array([[1. , 1.1],
           [1. , 1. ],
           [0. , 0. ],
           [0. , 0.1]])
    >>>labels
    ['A', 'A', 'B', 'B']
    >>>kNN.classify0([0,0], group, labels, 3)
    'B'
    出现的错误:
    AttributeError: module 'KNN' has no attribute 'classify0'
    原因:python2和python3不兼容
    解决方法:将iteritems()改为items(),然后重启PyCharm


  • 相关阅读:
    联考20200801 T2 皮卡丘
    联考20200729 T2 划愤
    联考20200801 T1 林海的密码
    联考20200725 T2 Tree
    联考20200721 T1 s1mple
    联考20200730 T2 小B的环
    联考20200730 T1 小B的班级
    联考20200718 T1 因懒无名
    联考20200723 T1 数
    联考20200722 T1 集合划分
  • 原文地址:https://www.cnblogs.com/fd-682012/p/11559766.html
Copyright © 2020-2023  润新知