聚类-kmeans

一、作用

给定一些离散点，然后将这些离散点进行分类，这也叫做聚类。例如，将以下离散点分为两类，中心点也就是绿点和橙色的点也叫做簇心。

二、步骤

• 选取k个初始质心（作为初始cluster）；
• repeat：对每个样本点，计算得到距其最近的质心，将其类别标为该质心所对应的cluster；    重新计算k个cluser对应的质心；
• 质心的计算方法，将同簇的点，计算它们的平均坐标值作为新的质心　
• until 质心不再发生变化

 由上可见，kmeans的缺点是聚类的好坏和质心起始位置的选取有关

三、CODE（SKLEARN）

from numpy import *
from sklearn.cluster import KMeans
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# create data
n_data = array([[random.randint(100, 1000), random.randint(100, 1000)] for i in range(0, 1000)])
label_n = array([0 for i in range(0, 1000)])
p_data = array([[-1 * random.randint(100, 1000), -1 * random.randint(100, 1000)] for i in range(0, 1000)])
label_p = array([1 for i in range(0, 1000)])
data_all = concatenate((n_data, p_data), axis=0)
label_all = concatenate((label_n, label_p), axis=0)

X_train, X_test, y_train, y_test = train_test_split(data_all, label_all)

km = KMeans(n_clusters=2)  # 初始化
km.fit(X_train, y_train)
predict = km.predict(X_test)


def accuracy(pred, real):
    score = 0
    for i in range(0, len(predict)):
        if predict[i] == y_test[i]:
            score += 1
    return score * 1.0 / len(predict) * 1.0


center = km.cluster_centers_

fig = plt.figure()
ax = fig.add_subplot(111)


ax.scatter(data_all[:, 0], data_all[:, 1], s=1)
ax.scatter(center[0, 0], center[0, 1])
ax.scatter(center[1, 0], center[1, 1])
plt.show()

四、时间复杂度

时间复杂度为 O(nkl)

• n为离散点个数
• k为簇心个数
• l为迭代次数