一、概念
K-means是一种典型的聚类算法，它是基于距离的，是一种无监督的机器学习算法。
K-means需要提前设置聚类数量，我们称之为簇，还要为之设置初始质心。
缺点：
1、循环计算点到质心的距离，复杂度较高。
2、对噪声不敏感，即使是噪声也会被聚类。
3、质心数量及初始位置的选定对结果有一定的影响。
二、计算
K-means需要循环的计算点到质心的距离，有三种常用的方法：
1、欧式距离
欧式距离源自N维欧氏空间中两点x，y间的距离公式，在二维上（x1，y1）到（x2，y2）的距离体现为：
在三维上体现为：
欧式距离是K-means最常用的计算距离的方法。
2、曼哈顿距离
在二维上（x1，y1）到（x2，y2）的距离体现为：
3、余弦夹角
余弦距离不是距离，而只是相似性，其他距离直接测量两个高维空间上的点的距离，如果距离为0则两个点“相同”；
余弦的结果为在[-1，1]之中，如果为 1，只能确定两者完全相关、完全相似。
在二维上（x1，y1）到（x2，y2）的距离体现为：
聚类的基本步骤：
1、设置质心个数，这代表最终聚类数；
2、根据质心个数随机生成初始质心点；
3、计算数据与质心距离，根据距离远近做第一次分类；
4、将聚类结果的中心点定义为新的质心，再进行3的计算；
5、循环迭代直到质心不再变化，此为最终结果。
3、实现
#!/usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt def create_sample(): np.random.seed(10) # 随机数种子，保证随机数生成的顺序一样 n_dim = 2 num = 100 a = 3 + 5 * np.random.randn(num, n_dim) b = 18 + 4 * np.random.randn(num, n_dim) data_mat = np.concatenate((a, b)) ay = np.zeros(num) by = np.ones(num) label = np.concatenate((ay, by)) return {'data_mat': data_mat, 'label': label} # arr[i, :] #取第i行数据 # arr[i:j, :] #取第i行到第j行的数据 # in:arr[:,0] # 取第0列的数据，以行的形式返回的 # in:arr[:,:1] # 取第0列的数据，以列的形式返回的 def k_mean(data_set, k): m, n = np.shape(data_set) # 获取维度, 行数，列数 cluster_assignment = np.mat(np.zeros((m, 2))) # 转换为矩阵， zeros生成指定维数的全0数组，用来记录迭代结果 centroids = generate_centroids(k, n) cluster_changed = True while cluster_changed: cluster_changed = False for i in range(m): min_distance = np.inf # 无限大的正数 min_index = -1 vec_b = np.array(data_set)[i, :] # i行数据，数据集内的点的位置 for j in range(k): vec_a = np.array(centroids)[j, :] # j行数据， 中心点位置 distance = calculate_distance(vec_a, vec_b) if distance < min_distance: min_distance = distance min_index = j if cluster_assignment[i, 0] != min_index: cluster_changed = True cluster_assignment[i, :] = min_index, min_distance ** 2 update_centroids(data_set, cluster_assignment, centroids, k) get_result(data_set, cluster_assignment, k) def generate_centroids(centroid_num, column_num): centroids = np.mat(np.zeros((centroid_num, column_num))) # 生成中心点矩阵 for index in range(centroid_num): # 随机生成中心点， np.random.rand（Random values in a given shape） centroids[index, :] = np.mat(np.random.rand(1, column_num)) return centroids def calculate_distance(vec_a, vec_b): distance = np.sqrt(sum(np.power(vec_a - vec_b, 2))) # power(x1, x2) 对x1中的每个元素求x2次方。不会改变x1上午shape。 return distance def update_centroids(data_set, cluster_assignment, centroids, k): for cent in range(k): # 取出对应簇 cluster = np.array(cluster_assignment)[:, 0] == cent # np.nonzero取出矩阵中非0的元素坐标 pts_in_cluster = data_set[np.nonzero(cluster)] # print(pts_in_cluster) # mean() 函数功能：求取均值 # 经常操作的参数为axis，以m * n矩阵举例： # axis : 不设置值, m * n 个数求均值，返回一个实数 # axis = 0：压缩行，对各列求均值，返回1 * n矩阵 # axis = 1 ：压缩列，对各行求均值，返回m * 1矩阵 if len(pts_in_cluster) > 0: centroids[cent, :] = np.mean(pts_in_cluster, axis=0) def get_result(data_set, cluster_assignment, k): cs = ['r', 'g', 'b'] for cent in range(k): ret_id = np.nonzero(np.array(cluster_assignment)[:, 0] == cent) plot_data(data_set[ret_id], cs[cent]) plt.show() def plot_data(samples, color, plot_type='o'): plt.plot(samples[:, 0], samples[:, 1], plot_type, markerfacecolor=color, markersize=14) data = create_sample() k_mean(data['data_mat'], 2)
聚类结果：
