一、聚类模型的简介
实际应用中,无监督的例子非常常见,原因是在许多真实场景中,标注数据
的获取非常困难,代价非常大(比如,人工为分类模型标注训练数据)。但是,我们仍然想要从
数据中学习基本的结构用来做预测。
在很多情况下,聚类模型等价于分类模型的无监督形式。用分类的方法,我们可以学习分类
模型,预测给定训练样本属于哪个类别。
在聚类中,我们把数据进行分割,这样每个数据样本就会属于某个部分,称为类簇。类簇相
当于类别,只不过不知道真实的类别。
聚类模型的很多应用和分类模型一样,比如:
(1)基于行为特征或者元数据将用户或者客户分成不同的组;
(2)对网站的内容或者零售店中的商品进行分组;
(3)找到相似基因的类;
(4)在生态学中进行群体分割;
(5)创建图像分割用于图像分析的应用,比如物体检测。
二、聚类模型的类型
在Spark2.0版本中(不是基于RDD API的MLlib),共有四种聚类方法:
(1)K-means
(2)Latent Dirichlet allocation (LDA)
(3)Bisecting k-means(二分k均值算法)
(4)Gaussian Mixture Model (GMM)。
基于RDD API的MLLib中,共有六种聚类方法:
(1)K-means
(2)Gaussian mixture
(3)Power iteration clustering (PIC)
(4)Latent Dirichlet allocation (LDA)**
(5)Bisecting k-means
(6)Streaming k-means
多了Power iteration clustering (PIC)和Streaming k-means两种。