words.txt 数据
this is one line
this is two line
def main(args: Array[String]): Unit = {
//创建SparkConf()并且设置App的名称
val conf = new SparkConf()
.setAppName("wordCount")
.setMaster("local") // 如果需要在集群运行需要注释掉setMaster,不然在集群里面就是单个节点运行.
//创建SparkContext,该对象是提交spark app的入口
val sc = new SparkContext(conf)
//使用sc创建rdd,并且执行相应的transformation和action
// sc.textFile("hdfs://master:9000/words.txt") //master主机上的 hdfs的 /words.txt文件
sc.textFile("D:\words.txt") // 本地的 D:words.txt
.flatMap(_.split(" ")) // 按照空格拆分每一行数据
.map((_, 1)) // 将拆分的数据转换成 (word,1)的形式
.reduceByKey(_ + _, 1) // 将相同的单词的value相加,并且设置为1个分区
.sortBy(_._2, false) // 根据value进行 降序排序
.foreach(println) // 打印输出
// 停止sc,结束该任务
sc.stop()
}
(this,2)
(is,2)
(line,2)
(two,1)
(one,1)