k-近邻算法(kNN)
===============
本质是(提取样本集中特征最相似数据(最近邻)的k个分类标签)。
K-近邻算法的优缺点 | 例 |
---|---|
优点:精度高,对异常值不敏感,无数据输入假定; 缺点:计算复杂度高,空间复杂度高; 适用于:数值型和标称型。 | 手写数字识别 |
工作原理
- 输入样本集,该样本集中标签已确定。
- 输入无标签(目标变量无值)的新数据,将新数据的每个特征与样本集中的数据对应特征比较。提取样本集中特征最相似数据(最近邻)的k个分类标签。k一般不大于20。
- 选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
算法流程
kNN算法
- 计算已知类别数据集中的点与当前点之间的距离
- 按照距离递增次序排序
- 选取与当前点距离最小的k个点
- 确定前k个点所在类别的出现频率
- 返回前k个点出现频率最高的类别作为当前点的预测分类