（一）进入spark-shell命令界面（默认使用scala的命令界面）
1,如果进入了spark安装目录则使用、
1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻辑CPU多线程启动，local[n]，使用n个CPU线程启动
2，集群下启动spark：spark：//主机IP:7077（默认端口）
3，在CLASSPATH中添加jar包：./bin/spark-shell --master local[4] --jars code.jar
4，退出：(:quit)
5，可以访问端口hadoop:4040看到任务执行情况
2,Yarn集群模式：
yarn-client：客户端电脑不能关，调试阶段
yarn-cluster：客户端电脑关了不影响，正常使用阶段
3,sbt是一款Spark用来对scala编写程序进行打包的工具（使用林子雨的教程没安装成功）
安装教程（参考）：https://blog.csdn.net/Leader_wang/article/details/83743772
https://blog.csdn.net/litianxiang_kaola/article/details/103289326
两个教程相结合即可。
打包教程（参考）：http://dblab.xmu.edu.cn/blog/1307-2/
sbt打包程序时使用：先新建~/.sbt/repositories文件
[repositories] #local public: http://maven.aliyun.com/nexus/content/groups/public/#这个maven typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly#这个ivy ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]#这个ivy sonatype-oss-releases sonatype-oss-snapshots
然后使用sbt -Dsbt.override.build.repos=true命令执行，然后在sbt界面输入run；自动退回项目原目录，再使用林子雨打包教程进行操作；不然下载依赖包会一直卡住不到。
使用sbt创建项目然后导入Eclipse：在导入插件前，要先下载插件.zip到系统；可以参考https://blog.csdn.net/dkl12/article/details/80224035和http://dblab.xmu.edu.cn/blog/1490/
4，安装IDEA：
1，安装IDEA和破解：https://www.cnblogs.com/shaoyu/p/11637968.html
2，安装：https://blog.csdn.net/ma2622595880/article/details/88897041
3，关联scala和sbt：http://dblab.xmu.edu.cn/blog/1492-2/
RDD编程，使用了装饰者设计模式
1，创建RDD，是一个抽象类
方式一：从文件系统加载数据：包括本地，hdfs，云存储
启动spark-shell报错： A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection
解决办法：https://blog.csdn.net/u010886217/article/details/83685282
启动spark-shell报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法：https://blog.csdn.net/u010675669/article/details/81868415
Hadoop的9000端口无法连接：https://blog.csdn.net/u011170921/article/details/80437937（namenode没有启动）
方式二：通过集合或数组创建RDD：
2，操作RDD：
只有到动作类型操作才会进行计算，转换类型操作只会记录
1，filter（具体函数）操作：
2，map（具体函数）操作：
3,flatMa（具体函数）p操作：
4，groupByKey（）操作：进行分组得到（key，value-list）
5，reduceByKey（具体函数）操作：
每遇到一次动作操作就会从头到尾计算一次RDD，生成一个job；如果需要前一次的动作操作生成的值，则需要将生成的值缓存
3，RDD持久化
每遇到一次动作操作就会从头到尾计算一次RDD，生成一个job；如果需要前一次的动作操作生成的值，则需要将生成的值缓存
RDD持久化方法：调用.persist（）方法对一个RDD标记为持久化，但不会真正持久化；等遇到下一次动作操作就会真正持久化
会将值存入内存；当内存不足，则替换之前内存存的值
RDD.persist(MEMORY_ONLY)<=>RDD.cache()
将值存入内存，当内存不足，会将存不下的值存入磁盘
将缓存中的持久化的RDD从内存中移除： .unpersist（）方法
4，RDD分区：增加程序的并行度实现分布式的计算；减少通信开销；与hdfs的分块不一样
分区原则：
默认分区命令：如果设置local【n】，则分区为n；Apache Mesos模式会默认设置分区为8；standalone和yarn模式设置时，当集群中所有CPU数为n；与另一个？（是什么）比较，值最大的设置为分区数
设置分区数：
重设分区数：使用.repartition（n）方法
分区信息：
5，案例：单词统计：
spark异常关闭导致再次启动时端口占用错误： https://blog.csdn.net/weixin_40040107/article/details/90745038
3，键值对RDD：
keys的功能：Pair RDD指键值对RDD
values的功能：
sortByKey（）方法：常用，根据key进行排序，默认升序排序（默认参数为true）
sortBy（）方法：根据value进行排序
mapValues（）方法：
join：
例子：求图书馆每个书的月平均销量
文件数据读写：
1，本地数据文件读写：输入错误语句，不会报错，只有遇到一次动作类型操作才会报错（惰性机制）
读操作：当读取的是一个目录时，会把目录下所有文件都读进去生成一个RDD
写操作：指定的目录中writeback文件必须是不存在的，执行写操作时才创建
写入后会在指定目录下会生成的，当只有一个分区时，只会生成part-00000开头文件和_SUCCESS开头文件
2，hdfs文件内容读写：与读取本地文件的操作一致
3，JSON文件内容读写：scala中与json解析操作有关的库（scala.util.parsing.json.JSON）
读取：
package WordCount import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import scala.util.parsing.json.JSON object WordCount { def main(args: Array[String]) { val inputFile = "file:///opt/modules/spark-2.1.0/examples/src/main/resources/people.json" val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]") val sc = new SparkContext(conf) //生成一个SparkContext对象 val jsonStrs = sc.textFile(inputFile) //加载json文件 val result = jsonStrs.map(s => JSON.parseFull(s)) result.foreach( {r => r match { case Some(map: Map[String, Any]) => println(map) //解析成功封装为Some对象 case None => println("Parsing failed") //解析失败返回None对象 case other => println("Unknown data structure: " + other) } } ) } }
运行截图：
4，读取HBASE数据：HBASE通过（表名，行键，列族，列限定符）确定一个单元格，一个数据
回顾HBASE操作：
1，创建表student：
2，向表student中添加数据：
3，查看表：scan “student”