1 package com.test 2 3 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7 object WordCount { 8 def main(args: Array[String]) { 9 /** 10 * 第1步；创建Spark的配置对象SparkConf，设置Spark程序运行时的配置信息 11 * 例如 setAppName用来设置应用程序的名称，在程序运行的监控界面可以看到该名称， 12 * setMaster设置程序运行在本地还是运行在集群中，运行在本地可是使用local参数，也可以使用local[K]/local[*], 13 * 可以去spark官网查看它们不同的意义。 如果要运行在集群中，以Standalone模式运行的话，需要使用spark://HOST:PORT 14 * 的形式指定master的IP和端口号，默认是7077 15 */ 16 val conf = new SparkConf().setAppName("WordCount").setMaster("local") 17 // val conf = new SparkConf().setAppName("WordCount").setMaster("spark://master:7077") // 运行在集群中 18 19 /** 20 * 第2步：创建SparkContext 对象 21 * SparkContext是Spark程序所有功能的唯一入口 22 * SparkContext核心作用： 初始化Spark应用程序运行所需要的核心组件，包括DAGScheduler、TaskScheduler、SchedulerBackend 23 * 同时还会负责Spark程序往Master注册程序 24 * 25 * 通过传入SparkConf实例来定制Spark运行的具体参数和配置信息 26 */ 27 val sc = new SparkContext(conf) 28 29 /** 30 * 第3步： 根据具体的数据来源(HDFS、 HBase、Local FS、DB、 S3等)通过SparkContext来创建RDD 31 * RDD 的创建基本有三种方式： 根据外部的数据来源(例如HDFS)、根据Scala集合使用SparkContext的parallelize方法、 32 * 由其他的RDD操作产生 33 * 数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴 34 */ 35 36 val lines = sc.textFile("D:/wordCount.txt") // 读取本地文件 37 // val lines = sc.textFile("/library/wordcount/input") // 读取HDFS文件，并切分成不同的Partition 38 // val lines = sc.textFile("hdfs://master:9000/libarary/wordcount/input") // 或者明确指明是从HDFS上获取数据 39 40 /** 41 * 第4步： 对初始的RDD进行Transformation级别的处理，例如 map、filter等高阶函数来进行具体的数据计算 42 */ 43 val words = lines.flatMap(_.split(" ")).filter(word => word != " ") // 拆分单词，并过滤掉空格，当然还可以继续进行过滤，如去掉标点符号 44 45 val pairs = words.map(word => (word, 1)) // 在单词拆分的基础上对每个单词实例计数为1, 也就是 word => (word, 1) 46 47 val wordscount = pairs.reduceByKey(_ + _) // 在每个单词实例计数为1的基础之上统计每个单词在文件中出现的总次数, 即key相同的value相加 48 // val wordscount = pairs.reduceByKey((v1, v2) => v1 + v2) // 等同于 49 50 wordscount.collect.foreach(println) // 打印结果，使用collect会将集群中的数据收集到当前运行drive的机器上，需要保证单台机器能放得下所有数据 51 52 sc.stop() // 释放资源 53 54 } 55 }
1 package com.test 2 3 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7 object WordCount { 8 def main(args: Array[String]) { 9 /** 10 * 第1步；创建Spark的配置对象SparkConf，设置Spark程序运行时的配置信息 11 * 例如 setAppName用来设置应用程序的名称，在程序运行的监控界面可以看到该名称， 12 * setMaster设置程序运行在本地还是运行在集群中，运行在本地可是使用local参数，也可以使用local[K]/local[*], 13 * 可以去spark官网查看它们不同的意义。 如果要运行在集群中，以Standalone模式运行的话，需要使用spark://HOST:PORT 14 * 的形式指定master的IP和端口号，默认是7077 15 */ 16 val conf = new SparkConf().setAppName("WordCount").setMaster("local") 17 // val conf = new SparkConf().setAppName("WordCount").setMaster("spark://master:7077") // 运行在集群中 18 19 /** 20 * 第2步：创建SparkContext 对象 21 * SparkContext是Spark程序所有功能的唯一入口 22 * SparkContext核心作用： 初始化Spark应用程序运行所需要的核心组件，包括DAGScheduler、TaskScheduler、SchedulerBackend 23 * 同时还会负责Spark程序往Master注册程序 24 * 25 * 通过传入SparkConf实例来定制Spark运行的具体参数和配置信息 26 */ 27 val sc = new SparkContext(conf) 28 29 /** 30 * 第3步： 根据具体的数据来源(HDFS、 HBase、Local FS、DB、 S3等)通过SparkContext来创建RDD 31 * RDD 的创建基本有三种方式： 根据外部的数据来源(例如HDFS)、根据Scala集合使用SparkContext的parallelize方法、 32 * 由其他的RDD操作产生 33 * 数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴 34 */ 35 36 val lines = sc.textFile("D:/data/kddcup.data_10_percent_corrected") // 读取本地文件 37 // val lines = sc.textFile("/library/wordcount/input") // 读取HDFS文件，并切分成不同的Partition 38 // val lines = sc.textFile("hdfs://master:9000/libarary/wordcount/input") // 或者明确指明是从HDFS上获取数据 39 40 /** 41 * 第4步： 对初始的RDD进行Transformation级别的处理，例如 map、filter等高阶函数来进行具体的数据计算 42 */ 43 println("words") 44 //val words = lines.flatMap(_.split(" ")) // flatMap是将整个lines文件中的字母做拆分，返回的是一整个拆分后的list 45 46 47 val pairs = lines.map(word => (word.split(",")(41), 1)) // Map是按行拆分，找到每行的第41个，实例计数为1，返回的是一个大list里面套了小的list 48 49 val wordscount = pairs.reduceByKey(_ + _) // 在每个单词实例计数为1的基础之上统计每个单词在文件中出现的总次数, 即key相同的value相加 50 // val wordscount = pairs.reduceByKey((v1, v2) => v1 + v2) // 等同于 51 52 wordscount.collect.foreach(println) // 打印结果，使用collect会将集群中的数据收集到当前运行drive的机器上，需要保证单台机器能放得下所有数据 53 54 sc.stop() // 释放资源 55 56 } 57 }
博客中有两段很长的代码，我们重点关注第一段的43行和第二段的47行，我们可以看到第一段用了flatmap而第二段用了map。那这之间有什么区别呢？
第一段代码是以空格为间隔符读取统计txt文档中出现的单词数量，其中要注意的是行与行之间的分隔符也是“ ”，所以它只用一个flatmap就可以搞定，将所有单词用“ ”分割，取出，统计数量。而第二段代码是以“，”为分隔符统计每一行第41个单词的数量，这里就不能用flatmap了，因为flatmap是将整个文件的单词整合起来成为一个list，与map不同的是flatmap多加了一个flat（映射）的功能，所以我们就找不到第41个单词了。这里用map，最后没有映射，输出的是一个大list里面套了很多小list，每一个小list代表一行，所以我们就可以操作这些小list去找到第41个单词并统计。
来自博客：