• Mahout机器学习平台之聚类算法具体剖析(含实例分析)


    第一部分:

    学习Mahout必需要知道的资料查找技能:

    学会查官方帮助文档:

           解压用于安装文件(mahout-distribution-0.6.tar.gz),找到例如以下位置。我将该文件解压到win7Gmahout目录下,路径例如以下所看到的:

    G:mahoutmahout-distribution-0.6docs

    学会查源码的凝视文档:

           方案一:用maven创建一个mahout的开发环境(我用的是win7,eclipse作为集成开发环境,之后在Maven Dependencies中找到对应的jar包《这些多是.class文件》,记得将源码文件解压到自己硬盘的一个目录中,之后填写源码的文件路径就可以)

           方案二:直接用eclipse创建一个javaproject,将解压缩的源码文件加入到这个project。既能够查看。

    Mahout官网:

           http://mahout.apache.org/

           https://builds.apache.org/job/Mahout-Quality/javadoc/

    Mahout中的Shell命令进行操作:

           /bin/mahout  方法名  -h

     

    第二部分:

    数据挖掘(机器学习)——聚类算法的简单介绍(如何使用各种聚类算法):

    1. 选择聚类算法,所面临的常见问题又哪些?

    1不同形状的数据集。不同形状的数据集。也须要採取不同的度量策略,或者不同的聚类算法。

    2不同的数据次序。

    同样数据集,但数据输入次序不同,也会造成聚类的结果的不同。

    3噪声。不同的算法,对噪声的敏感程度不同。

     

    2. 在高维的欧式空间,什么是“维数灾难”?

    在高维下。全部点对的距离都差点儿相同(如欧式距离),或者是差点儿随意两个向量都是正交(利用夹角进行进行度量)。这样聚类就非常困难。

     

    3. 常见的聚类算法的策略有哪些?

    1)层次或凝聚式聚类。採取合并的方式,将邻近点或簇合并成一个大簇。

    2)点分配。每次遍历数据集。将数据分配到一个临时适合的簇中,然后不断更新。

     

    4. 层次聚类算法的复杂度是多少?

    每次合并。都需计算出两个点对之间的距离,复杂度是O(n^2),兴许步骤的开销,分布正比与O((n-1)^2), O((n-2)^2)...,这样求和算下来,算法复杂度是O(n^3).

    算法优化:

    採用优先队列/最小堆来优化计算。优先队列的构建,第一步须要计算出每两个点的距离,这个开销是O(N^2).普通情况下,N个元素,单纯的优先队列的构建开销为ON),若是N^2个距离值,则建堆的开销是O(N^2)

    第二步。合并,合并须要一个删除、计算和又一次插入的过程。由于合并一个簇对,就须要更新N个元素,开销为O(N*logN)。总的开销为O((N^2) * logN).

    所以。总的算法复杂度为O((N^2) * logN).


    5. 欧式空间与非欧式空间下,常见的簇之间的距离度量有哪些?

    欧式空间:

    1)两个簇之间的质心之间的距离最小

    2)两个簇中全部点之间的最短距离

    3)两个簇之间全部点对的平均距离

    4)将具有最小半径的两个簇进行合并。簇的半径:簇内的点到质心的最大距离

    5)将具有最小直径的两个簇进行合并。簇的直径:簇内随意两点间的最大距离

     

    非欧式空间,簇的中心点定义,该点距离其它点的距离近期。怎样计算?

    1)该点到簇中其它全部点的距离之和(求和),1-范数

    2)该点到簇中其它点的最大距离(最大值),无穷-范数

    3)该点到簇中其它点的平方和(平方和),2-范数

     

    6. k-meansk均值算法

    点分配式的聚类算法。一般用于球形或凸集的数据集

    算法过程例如以下:

    1)初始化k个选择点作为最初的k个簇的中心

    2)计算每一个点分别到k个簇的中心。并将点分配到其距离近期的簇中

    3)由分配的点集,分别更新每一个簇的中心。然后回到2,继续算法,直到簇的中心变化小于某个阈值

     

    7. k-means算法的两个问题?

    1)初始化选择点;经常使用的方式是尽量选择距离比較远的点(方法:依次计算出与已确定的点的距离,并选择距离最大的点),或者首先採取层次聚类的方式找出k个簇

    2)怎样选取k值;k值选取不当,会导致的问题?当k的数目低于真实的簇的数目时。平均直径或其它分散度指标会高速上升能够採用多次聚类。然后比較的方式。多次聚类,通常是採用1, 2, 4, 8...数列的方式,然后找到一个指标在v/2, v时,获取较好的效果,然后再使用二分法,在[v/2, v]之间找到最佳的k值。

     

    8. CURE算法

    使用场景:

    不论什么形状的簇,如S形、环形等等,不须要满足正态分布,欧式空间。能够用于内存不足的情况

    特征:

    簇的表示不是採用质心。而是用一些代表点的集合来表示。

    算法步骤:

    1)初始化。

    抽取样本数据在内存中进行聚类。方法能够採用层次聚类的方式,形成簇之后,从每一个簇中再选取一部分点作为簇的代表点,而且每一个簇的代表点之间的距离尽量远。对每一个代表点向质心移动一段距离,距离的计算方法:点的位置到簇中心的距离乘以一个固定的比例,如20%

    2对簇进行合并。当两个簇的代表点之间足够近,那么就合并这两个簇,直到没有更足够接近的簇。

    3)点分配。

    对全部点进行分配。即将点分配给与代表点近期的簇。

     

    9. GRGPF算法

    场景:

    非欧式空间,可用于内存不足的情况(对数据抽样)

    特征:

    同一时候使用了层次聚类和点分配的的思想。

    怎样表示簇?

    数据特征:簇包括点的数目,簇中心点,离中心点近期的一些点集和最远的一些点集,ROWSUM(p)即点p到簇中其它店的距离平方和。

    靠近中心的点集便于改动中心点的位置,而远离中心的点便于对簇进行合并。

    簇的组织:类似B-树结构。首先。抽取样本点,然后做层次聚类。就形成了树T的结构。

    然后,从树T中选取一系列簇。即是GRGPF算法的初始簇。然后将T中具有同样祖先的簇聚合,表示树中的内部节点。

    点的分配:对簇进行初始化之后。将每一个点插入到距离近期的那个簇。

    详细处理的细节更为复杂,假设对B-树比較了解,应该有帮助。

     

    10. 流聚类,怎样对近期m个点进行聚类?

    N个点组成的滑动窗体模型。类似DGIM算法中统计1的个数。

    1)首先。划分桶,桶的大小是2的次幂,每一级桶的个数最多是b个。

    2)其次,对每一个桶内的数据进行聚类,如採用层次聚类的方法。

    3)当有新数据来临,须要新建桶,或者合并桶。这个类似于GDIM,但除了合并,还须要合并簇。当流内聚类的模型变化不是非常快的时候,能够採取直接质心合并的方式。

    4)查询应答:对近期的m个点进行聚类,当m不在桶的分界线上时。能够採用近似的方式求解,仅仅需求出包括m个点的最少桶的结果。

     

    第三部分:

    Mahout中实现经常使用距离的计算:下面摘自mahout-core-0.6.jar包中


    对以上进行距离进行解析:

     

    皮尔森相关度

    类名:PearsonCorrelationSimilarity

    原理:用来反映两个变量线性相关程度的统计量

    范围:[-1,1]。绝对值越大。说明相关性越强,负相关对于推荐的意义小。

    说明:1不考虑重叠的数量;2假设仅仅有一项重叠,无法计算相似性(计算过程被除数有n-1)。3假设重叠的值都相等,也无法计算相似性(标准差为0,做除数)。

        该相似度并非最好的选择,也不是最坏的选择,仅仅是由于其easy理解。在早期研究中常常被提起。使用Pearson线性相关系数必须如果数据是成对地从正态分布中取得的。而且数据至少在逻辑范畴内必须是等间距的数据。

    Mahout中,为皮尔森相关计算提供了一个扩展,通过添加一个枚举类型(Weighting)的參数来使得重叠数也成为计算相似度的影响因子。

    欧式距离相似度

    类名:EuclideanDistanceSimilarity

    原理:利用欧式距离d定义的相似度ss=1 / (1+d)

    范围:[0,1],值越大,说明d越小。也就是距离越近,则相似度越大。

    说明:同皮尔森相似度一样,该相似度也没有考虑重叠数对结果的影响。相同地,Mahout通过添加一个枚举类型(Weighting)的參数来使得重叠数也成为计算相似度的影响因子。

    余弦相似度

    类名:PearsonCorrelationSimilarityUncenteredCosineSimilarity

    原理:多维空间两点与所设定的点形成夹角的余弦值。

    范围:[-1,1],值越大,说明夹角越大,两点相距就越远,相似度就越小。

    说明:在数学表达中,假设对两个项的属性进行了数据中心化。计算出来的余弦相似度和皮尔森相似度是一样的,在mahout中,实现了数据中心化的过程,所以皮尔森相似度值也是数据中心化后的余弦相似度。

    另外在新版本号中,Mahout提供了UncenteredCosineSimilarity类作为计算非中心化数据的余弦相似度。

    Spearman秩相关系数

    类名:SpearmanCorrelationSimilarity

    原理:Spearman秩相关系数通常被觉得是排列后的变量之间的Pearson线性相关系数。

    范围:{-1.0,1.0}。当一致时为1.0,不一致时为-1.0

    说明:计算很慢,有大量排序。针对推荐系统中的数据集来讲,用Spearman秩相关系数作为相似度量是不合适的。

    曼哈顿距离

    类名:CityBlockSimilarity

    原理:曼哈顿距离的实现,同欧式距离相似。都是用于多维数据空间距离的測度

    范围:[0,1],同欧式距离一致,值越小。说明距离值越大,相似度越大。

    说明:比欧式距离计算量少,性能相对高。

    Tanimoto系数

    类名:TanimotoCoefficientSimilarity

    原理:又名广义Jaccard系数,是对Jaccard系数的扩展,等式为

    范围:[0,1],全然重叠时为1。无重叠项时为0,越接近1说明越相似。

    说明:处理无打分的偏好数据。

    对数似然相似度

    类名:LogLikelihoodSimilarity

    原理:重叠的个数。不重叠的个数,都没有的个数

    范围:详细可去百度文库中查找论文《Accurate Methods for the Statistics ofSurprise and Coincidence

    说明:处理无打分的偏好数据,比Tanimoto系数的计算方法更为智能。

    參考网址:http://www.cnblogs.com/dlts26/archive/2012/06/20/2555772.html


    Mahout中聚类实现的算法:

    官网算法Clustering算法摘录:

    ·        Canopy Clustering -single machine/MapReduce (deprecated, will beremoved once Streaming k-Means is stable enough)

    ·        k-Means Clustering -single machine / MapReduce

    ·        Fuzzy k-Means -single machine / MapReduce

    ·        Streaming k-Means -single machine / MapReduce

    ·        Spectral Clustering -MapReduce

    官网參考网址:http://mahout.apache.org/users/basics/algorithms.html

     

    源码中聚类算法的实现:下面摘自mahout-core-0.6.jar包中


    对以上各种聚类类的解析:

     

    第四部分:

    Mahout进行实例分析(K-meanscanopyfuzzy k-means

    步骤简单介绍:

    A、数据转换及对应的命令简单介绍

    BK-meanscanopyfuzzy k-means命令。參数简单介绍

    Cmahout操作k-meanscanopyfuzzy k-means聚类的具体命令

    D、用K-means算法进行操作,之后用R进行可视化操作

     

    具体步骤:

    A、数据转换及对应的命令简单介绍

    Mahoutorg.apache.mahout.clustering.conversion.InputDriver

    作用:这个类,是将文本文件里(.txt格式)用空格分隔的浮点型数字转换为Mahout中的序列文件(VectorWritable类型)。这个类型适合集群任务,有些Mahout任务,则须要任务是一般类型。

    源码的位置mahout-integration-0.6.jar

    命令使用mahoutorg.apache.mahout.clustering.conversion.InputDriver       http://  

    –i  /user/hadoop/mahout6/p04-17.txt        

    -o  /user/hadoop/mahout6/vecfile      

    -v  org.apache.mahout.math.RandomAccessSparseVector

     

    数据集下载p04-17.txt


    对于文本数据。数据处理及相关的类(注解文本转换为序列文件序列文件转换为向量文件,以下几个类。主要是对文本文件进行挖掘时用):


    向量文本类型(向量文件的存储方式):

     

    BK-meanscanopyfuzzy k-means命令,參数简单介绍

    Mahoutk-means命令使用參数简单介绍:


    Mahoutcanopy命令使用參数简单介绍:


    Mahoutfuzzy k-means命令使用參数简单介绍:


    Cmahout操作k-meanscanopyfuzzy k-means聚类的具体命令

    Mahout之数据预处理:

    mahoutorg.apache.mahout.clustering.conversion.InputDriver

    –i  /user/hadoop/mahout6/p04-17.txt        

    -o  /user/hadoop/mahout6/vecfile      

    -v  org.apache.mahout.math.RandomAccessSparseVector

     

    Mahoutk-means命令:

    mahout kmeans -i /user/hadoop/mahout6/vecfile -o/user/hadoop/mahout6/result1 -c /user/hadoop/mahout6/clu1 -x 20 -k 2 -cd 0.1-dm org.apache.mahout.common.distance.SquaredEuclideanDistanceMeasure -cl

     

    Mahoutcanopy命令:

    mahout canopy -i /user/hadoop/mahout6/vecfile -o /user/hadoop/mahout6/canopy-result-t1 1 -t2 2 –ow

     

    Mahoutfuzzy k-means命令:

    mahoutfkmeans -i /user/hadoop/mahout6/vecfile

    -o/user/hadoop/mahout6/fuzzy-kmeans-result

    -c/user/hadoop/mahout6/fuzzy-kmeans-centerpt -m 2 -x 20 -k 2 -cd 0.1

    -dmorg.apache.mahout.common.distance.SquaredEuclideanDistanceMeasure -ow -cl

     

    D、用K-means算法进行操作,之后用R进行可视化操作(导出K-means算法生成的数据)

    聚类结果分析:

     



    数据导出命令帮助文档信息:



    实例命令行例如以下所看到的(本案例脚本是用mahoutk-means算法生成的数据导出):

    将数据转换为CSV格式:

    mahoutclusterdump -s /user/hadoop/mahout6/result2/clusters-1-final -p/user/hadoop/mahout6/result2/clusteredPoints -o /home/hadoop/cluster1.csv -ofCSV

    将数据转换为TXT格式:

    mahoutclusterdump -s /user/hadoop/mahout6/result2/clusters-1-final -p/user/hadoop/mahout6/result2/clusteredPoints -o /home/hadoop/cluster1.txt -ofTEXT

     

    导出后的数据格式:



    R语言进行效果展示(输出的数据格式能够參考上图所看到的):

    mahoutkmeans -i /user/hadoop/mahout6/vecfile -o /user/hadoop/mahout6/resultTest2 -c/user/hadoop/mahout6/cluTest1-x 20 -cd 0.00001 -dmorg.apache.mahout.common.distance.SquaredEuclideanDistanceMeasure -cl

     

    mahoutclusterdump -s /user/hadoop/mahout6/result2/clusters-1-final -p/user/hadoop/mahout6/result2/clusteredPoints -o /home/hadoop/cluster1.csv -ofCSV


    将上面聚类生成的四个数据进行处理,分成四个文件,之后按例如以下R代码进行可视化处理:

     

    R參考代码:

    > c1<-read.csv(file="2/cluster1.csv",sep=",",header=FALSE)

    > c2<-read.csv(file="2/cluster2.csv",sep=",",header=FALSE)

    > c3<-read.csv(file="2/cluster3.csv",sep=",",header=FALSE)

    > c4<-read.csv(file="2/cluster4.csv",sep=",",header=FALSE)

    > y<-rbind(c1,c2,c3,c4)

    > cols<-c(rep(1,nrow(c1)),rep(2,nrow(c2)),rep(3,nrow(c3)),rep(4,nrow(c4)))

    > plot(y, col=c("black","blue")[cols])

    > q()

    > plot(y, col=c("black","blue","green","yellow")[cols])

    > center<-matrix(c(0.764, 0.182,0.369, 0.378,0.749, 0.551,0.422, 0.671),ncol=2,byrow=TRUE)

    > points(center, col="violetred", pch = 19)

     

    第四部分:

    数据预处理遇到的问题(输入例如以下命令报错):

    mahoutorg.apache.mahout.clustering.conversion.InputDriver

    –i  /user/hadoop/mahout6/p04-17.txt        

    -o  /user/hadoop/mahout6/vecfile      

    -v  org.apache.mahout.math.RandomAccessSparseVector


    问题解决方式(查看源码——具体方法请參看文章開始):

    这个类(mahoutorg.apache.mahout.clustering.conversion.InputDriver)位置位于源码中的mahout-integration-0.6.jarjar包下。如上图所看到的:

    英文解析:(摘录源代码凝视文件)
    This class converts text files containing 
    space-delimited floating point numbers intoMahout sequence files of VectorWritable suitable for input to the clusteringjobs in particular, and any Mahout job requiring this input in general.

    中文解析:(摘自源代码凝视文件)
    这个类,是将文本文件里(.txt格式)用空格分隔的浮点型数字转换为Mahout中的序列文件(VectorWritable类型),这个类型适合集群任务。有些Mahout任务,则须要任务是一般类型。

     

    mahout org.apache.mahout.clustering.conversion.InputDriver在源码中的位置:


    谢谢您的查看,如有问题,请留言!!!

    參考文献:

    http://mahout.apache.org/

    https://builds.apache.org/job/Mahout-Quality/javadoc/

    http://f.dataguru.cn/thread-281665-1-1.html

    http://blog.csdn.net/viewcode/article/details/9146965

    http://mahout.apache.org/users/basics/algorithms.html

    http://mahout.apache.org/users/clustering/k-means-clustering.html

    http://mahout.apache.org/users/clustering/canopy-clustering.html

    http://mahout.apache.org/users/clustering/fuzzy-k-means.html

    http://mahout.apache.org/users/clustering/cluster-dumper.html

    http://mahout.apache.org/users/clustering/k-means-commandline.html

    http://mahout.apache.org/users/clustering/canopy-commandline.html

    http://mahout.apache.org/users/clustering/fuzzy-k-means-commandline.html

  • 相关阅读:
    使用Nginx搭建http服务器
    (七)Docker搭建httpd集群
    zlib库对文件进行压缩和解压操作
    (一)Apache Thrift 的使用
    (一)select、poll、epoll
    (十三)备忘录模式
    (十二)命令模式
    (十一)迭代器模式
    centos下利用httpd搭建http服务器方法
    shell快捷键
  • 原文地址:https://www.cnblogs.com/zfyouxi/p/5173770.html
Copyright © 2020-2023  润新知