k-近邻算法原理
简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。
- 优点：精度高(计算距离)、对异常值不敏感（单纯根据距离进行分类，会忽略特殊情况）、无数据输入假定（不会对数据预先进行判定）。
- 缺点：时间复杂度高、空间复杂度高。
- 适用数据范围：数值型和标称型。
工作原理
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数。 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。
回到前面电影分类的例子，使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用K-近邻算法来解决这个问题。
首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图中问号位置是该未知电影出现的镜头数图形化展示，具体数字参见下表。
即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如图所示
现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距 离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He's Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。
欧几里得距离(Euclidean Distance)
欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：
在scikit-learn库中使用k-近邻算法
一个最简单的例子
身高、体重、鞋子尺码数据对应性别
import numpy as np import pandas as pd from pandas import DataFrame,Series
feature = np.array([[170,75,41],[166,65,38],[177,80,43],[179,80,43],[170,60,40],[160,55,38]]) target = np.array(['男','女','男','男','女','女'])
from sklearn.neighbors import KNeighborsClassifier knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(feature,target)
knn.score(feature,target)
knn.predict(np.array([[180,70,43]])) array(['男'], dtype='<U1')
预测电影类型案例
# 预测电影类型案例 data = pd.read_excel('../../my_films.xlsx') data name Action lens Love lens target 0 前任3 4 10 Action 1 西游记 16 2 Action 2 战狼2 18 3 Action 3 失恋33天 2 13 Love 4 宝贝计划 4 2 Comedy 5 捉妖记 10 10 Action 6 乡村爱情 3 4 Comedy 7 阳光的快乐生活 2 3 Comedy 8 后来的你们 2 11 Love 9 大话西游 18 2 Action 10 速度与激情8 3 19 Love 11 一路向北 5 17 Love
# 取出模型特征数据 feature = data[['Action lens','Love lens']] # 取出模型目标数据 target = data['target'] # 实例化模型对象 knn = KNeighborsClassifier(n_neighbors=3) # 对模型进行训练 knn.fit(feature,target) knn.score(feature,target)
# 进行分类预测 knn.predict(np.array([[90,33]])) # 90 Action lens 33 Love lens array(['Comedy'], dtype=object)
预测年收入是否大于50K美元
读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50
df = pd.read_csv('../data/adults.txt') df.head()
| age | workclass | final_weight | education | education_num | marital_status | occupation | relationship | race | sex | capital_gain | capital_loss | hours_per_week | native_country | salary | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 39 | State-gov | 77516 | Bachelors | 13 | Never-married | Adm-clerical | Not-in-family | White | Male | 2174 | 0 | 40 | United-States | <=50K |
| 1 | 50 | Self-emp-not-inc | 83311 | Bachelors | 13 | Married-civ-spouse | Exec-managerial | Husband | White | Male | 0 | 0 | 13 | United-States | <=50K |
| 2 | 38 | Private | 215646 | HS-grad | 9 | Divorced | Handlers-cleaners | Not-in-family | White | Male | 0 | 0 | 40 | United-States | <=50K |
| 3 | 53 | Private | 234721 | 11th | 7 | Married-civ-spouse | Handlers-cleaners | Husband | Black | Male | 0 | 0 | 40 | United-States | <=50K |
| 4 | 28 | Private | 338409 | Bachelors | 13 | Married-civ-spouse | Prof-specialty | Wife | Black | Female | 0 | 0 | 40 | Cuba | <=50K |
获取年龄、教育程度、职位、每周工作时间作为机器学习数据
获取薪水作为对应结果
# 提取出职位 job_array = df['occupation'].unique() job_array
array(['Adm-clerical', 'Exec-managerial', 'Handlers-cleaners',
'Prof-specialty', 'Other-service', 'Sales', 'Craft-repair',
'Transport-moving', 'Farming-fishing', 'Machine-op-inspct',
'Tech-support', '?', 'Protective-serv', 'Armed-Forces',
'Priv-house-serv'], dtype=object)
# 将职位转换为数值 dic = {} for i in range(15): key = job_array[i] value = i dic[key] = value
# 将职业映射成数值 df['occupation'] = df['occupation'].map(dic)
# 提取特征数据和目标数据 feature = df[['occupation','age','education_num','hours_per_week']] target = df['salary']
# 训练数据和测试数据 x_train = feature[:32551] y_train = target[:32551] x_test = feature[-10:] y_test = target[-10:]
# 生成knn knn = KNeighborsClassifier(n_neighbors=10) knn.fit(x_train,y_train) knn.score(x_train,y_train)
0.8192375042241405
print('预测值:',knn.predict(x_test)) print('真实值：',y_test)
保存训练模型
from sklearn.externals import joblib joblib.dump(knn,'./job_knn.m') k = joblib.load('./job_knn.m') k
KNN实现数字识别
import numpy as np # bmp 图片后缀 import matplotlib.pyplot as plt %matplotlib inline from sklearn.neighbors import KNeighborsClassifie
提炼样本数据
img_arr = plt.imread('./data/3/3_100.bmp') plt.imshow(img_arr)
all_imgs_list = [] target_list = [] for i in range(10): for j in range(500): img_path = './data/'+str(i)+'/'+str(i)+'_'+str(j+1)+'.bmp' img_arr = plt.imread(img_path) all_imgs_list.append(img_arr) target_list.append(i)
# 此时的是一个三维数组 feature = np.array(all_imgs_list) feature.shape (5000, 28, 28) #feature是一个三维数组（执行降维操作） feature = feature.reshape(5000,28*28) feature.shape (5000, 784) # 目标模型 target = np.array(target_list)
将样本打乱
np.random.seed(3) np.random.shuffle(feature) np.random.seed(3) np.random.shuffle(target)
获取训练数据和测试数据
x_train = feature[:4950] y_train = target[:4950] x_test = feature[-50:] y_test = target[-50:] # 实例化模型对象，训练 knn = KNeighborsClassifier(n_neighbors=30) knn.fit(x_train,y_train) knn.score(x_train,y_train) 0.9195959595959596 print('测试模型预测分类:',knn.predict(x_test)) print('测试的真实数据:',y_test) 预测分类: [4 5 7 9 7 5 7 6 8 6 1 1 3 4 8 4 1 0 1 2 0 5 8 6 5 9 3 9 1 8 9 6 4 1 5 0 8 7 7 1 5 3 5 5 6 1 1 3 6 3] 真实数据: [4 5 7 9 7 5 7 6 8 6 4 1 3 4 8 4 2 0 1 2 0 5 8 6 5 9 3 9 1 8 9 6 4 1 5 2 8 7 7 2 5 3 5 5 6 1 1 3 6 3]
对图片进行识别
#外部图片的识别 img_arr = plt.imread('./数字.jpg') plt.imshow(img_arr)
# 切上面的图，将5切出来 five_arr = img_arr[90:155,80:135] plt.imshow(five_arr)
#five数组是三维的，需要进行降维，舍弃第三个表示颜色的维度 five_arr = five_arr.mean(axis=2)
five_arr.shape
(65, 55)
# 实现图片的等比压缩 import scipy.ndimage as ndimage five = ndimage.zoom(five_arr,zoom = (28/65,28/55)) five.shape (28, 28)
# 使用模型对图片进行解析 knn.predict(five.reshape(1,784)) array([5])
#保存模型 #knn 模型，算法 from sklearn.externals import joblib joblib.dump(knn,'数字识别.m') # 加载模型 knn_digits = joblib.load('./数字识别.m') knn_digits.predict(data_pre_test.reshape(1,-1))