knn算法(k-Nearest Neighbor algorithm).是一种经典的分类算法.注意,不是聚类算法.所以这种分类算法
必然包括了训练过程.
然而和一般性的分类算法不同,knn算法是一种懒惰算法.它并非像其他的分类算法先通过训练建立分类模型.,而
是一种被动的分类过程.它是边测试边训练建立分类模型.
算法的一般描述过程如下:
1.首先计算每个测试样本点到其他每个点的距离.这个距离可以是欧氏距离,余弦距离等.
2.然后取出距离小于设定的距离阈值的点.这些点即为根据阈值环绕在测试样本最邻近的点.
3.选出这些邻近点中比例最大的点簇的类.那么就将概测试点归入此类.
注意：knn算法的开销很大,因为要计算每个样本点到其他所有点的距离.
knn算法的距离一般要根据实际样本点的情况来选取.
knn算法的距离阈值要根据样本的分散集中程度来选取.经验一般选取样本点集合的均方差.
下面是一个matlab中运用knn函数分类的例子.
1 clc; 2 clear; 3 4 load 'Train_Data.mat' %载入训练数据 5 6 load 'Train_Label.mat' %载入训练分类标签 7 8 9 test_data=[43; 10 42; 11 192; 12 193]; %测试数据 13 14 %knnclassify为matlab提供的knn分类函数. 15 %参数test_data是待分类的测试数据 16 %Train_Data是用于knn分类器训练的数据 17 %Train_Label是训练的分类标签 18 %3,即为knn的k值.意思是取某个待分类测试样本点周围三个样本点 19 %'cosine'---为距离度量,这里采用余弦距离 20 %'random'---为分类规则.如何对k个临近点进行分类. 21 % 'k'--即为对测试数据的knn分类结果的类标签 22 23 k=knnclassify(test_data,Train_Data',Train_Label',3,'euclidean','random');
Train_Data.mat截图如下：
Train_Label.mat截图如下：
k结果截图如下:
