寒假第七天-sbt安装失败解决

前几天安装的sbt一直没有安装成功，只是把剩下的安装了很完成了实验一二，然后今天安装sbt安装了很久，一直下载失败，试了各种办法，后来发现是我spark的版本2.1.0查找不到，后来把spark版本换成了2.1.0的版本后在安装sbt就安装成功了，然后试了一下教程下面的例子，成功了，心态差点爆炸

1. cat word.txt 查看文本内容

2. 加载本地文件

   1. cd /usr/local/spark/mycode/wordcount
   2. cat word.txt
      1. scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
      1. scala> textFile.first()第一行内容
         1. //获取RDD文件textFile的第一行内容
         2. textFile.first()
         3. //获取RDD文件textFile所有项的计数
         4. textFile.count()
         5. //抽取含有“Spark”的行，返回一个新的RDD
         6. val lineWithSpark = textFile.filter(line => line.contains("Spark"))
         7. //统计新的RDD的行数
         8. lineWithSpark.count()
            1. //找出文本中每行的最多单词数
            2. textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
      3. 把textFile变量中的内容再次写回到另外一个文本文件wordback.txt中
      1. val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
      2. textFile.saveAsTextFile("file:///usr/local/spark/mycode/wordcount/writeback")

3. 词频统计

   1. scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
   2. scala> val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
   3. scala> wordCount.collect()

4. 编写独立应用程序执行词频统计

   1. cd /usr/local/spark/mycode/wordcount/
   2. mkdir -p src/main/scala //这里加入-p选项，可以一起创建src目录及其子目录