spark 1.6 创建语句
在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。
这是Spark 1.x 版本的语法
//set up the spark configuration and create contexts
val sparkConf = new SparkConf().setAppName("SparkSessionZipsExample").setMaster("local")
// your handle to SparkContext to access other context like SQLContext
val sc = new SparkContext(sparkConf).set("spark.some.config.option", "some-value")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
而Spark2.0中我们使用的就是sparkSQL，是后继的全新产品，解除了对Hive的依赖。
从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext
来实现对数据的加载、转换、处理等工作，并且实现了SQLcontext和HiveContext的所有功能。
我们在新版本中并不需要之前那么繁琐的创建很多对象，只需要创建一个SparkSession对象即可。
SparkSession支持从不同的数据源加载数据，并把数据转换成DataFrame，并支持把DataFrame转换成SQLContext自身中的表。
然后使用SQL语句来操作数据，也提供了HiveQL以及其他依赖于Hive的功能支持。
创建SparkSession
SparkSession 是 Spark SQL 的入口。
使用 Dataset 或者 Datafram 编写 Spark SQL 应用的时候，第一个要创建的对象就是 SparkSession。
Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置。
Builder 的方法如下：
| 方法 | 说明 |
| getOrCreate | 获取或者新建一个 sparkSession |
| enableHiveSupport | 增加支持 hive Support |
| appName | 设置 application 的名字 |
| config | 设置各种配置 |
你可以通过 SparkSession.builder 来创建一个 SparkSession 的实例,并通过 stop 函数来停止 SparkSession。
import org.apache.spark.sql.SparkSession val spark: SparkSession = SparkSession.builder .appName("demo") // optional and will be autogenerated if not specified .master("local[1]") // avoid hardcoding the deployment environment .enableHiveSupport() // self-explanatory, isn't it? .config("spark.sql.warehouse.dir", "/user/hive") .getOrCreate
// 停止
spark.stop()
这样我就就可以使用我们创建的SparkSession类型的spark对象了。
设置spark参数
创建SparkSession之后可以通过 spark.conf.set 来设置运行参数
//set new runtime options spark.conf.set("spark.sql.shuffle.partitions", 6) spark.conf.set("spark.executor.memory", "2g") //get all settings val configMap:Map[String, String] = spark.conf.getAll()//可以使用Scala的迭代器来读取configMap中的数据。
读取元数据
如果需要读取元数据(catalog)，可以通过SparkSession来获取。
//fetch metadata data from the catalog spark.catalog.listDatabases.show(false) spark.catalog.listTables.show(false)
这里返回的都是Dataset，所以可以根据需要再使用Dataset API来读取。
注意：catalog 和 schema 是两个不同的概念
Catalog是目录的意思，从数据库方向说，相当于就是所有数据库的集合;
Schema是模式的意思, 从数据库方向说, 类似Catelog下的某一个数据库;
创建Dataset和Dataframe
通过SparkSession来创建Dataset和Dataframe有多种方法。
最简单的就是通过range()方法来创建dataset，通过createDataFrame()来创建dataframe。
//create a Dataset using spark.range starting from 5 to 100, with increments of 5 val numDS = spark.range(5, 100, 5)//创建dataset // reverse the order and display first 5 items numDS.orderBy(desc("id")).show(5) //compute descriptive stats and display them numDs.describe().show() // create a DataFrame using spark.createDataFrame from a List or Seq val langPercentDF = spark.createDataFrame(List(("Scala", 35), ("Python", 30), ("R", 15), ("Java", 20)))//创建dataframe //rename the columns val lpDF = langPercentDF.withColumnRenamed("_1", "language").withColumnRenamed("_2", "percent") //order the DataFrame in descending order of percentage lpDF.orderBy(desc("percent")).show(false)
读取外部数据
可以用SparkSession读取JSON、CSV、TXT和parquet表。
import spark.implicits //使RDD转化为DataFrame以及后续SQL操作 //读取JSON文件，生成DataFrame val df= spark.read.format("json").json(path)
使用Spark SQL语言
借助SparkSession用户可以像SQLContext一样使用Spark SQL的全部功能。
df.createOrReplaceTempView("tmp")//对上面的dataframe创建一个表
df.cache()//缓存表
val resultsDF = spark.sql("SELECT city, pop, state, zip FROM tmp")//对表调用SQL语句
resultsDF.show(10)//展示结果
存储/读取Hive表
下面的代码演示了通过SparkSession来创建Hive表并进行查询的方法。
/drop the table if exists to get around existing table error spark.sql("DROP TABLE IF EXISTS zips_hive_table") //save as a hive table spark.table("zips_table").write.saveAsTable("zips_hive_table") //make a similar query against the hive table val resultsHiveDF = spark.sql("SELECT city, pop, state, zip FROM zips_hive_table WHERE pop > 40000") resultsHiveDF.show(10)
sparkSession的类和方法
| 方法 | 说明 |
| builder | 创建一个sparkSession实例 |
| version | 返回当前spark的版本 |
| implicits | 引入隐式转化 |
| emptyDataset[T] | 创建一个空DataSet |
| range | 创建一个DataSet[Long] |
| sql | 执行sql查询（返回一个dataFrame） |
| udf | 自定义udf（自定义函数） |
| table | 从表中创建DataFrame |
| catalog | 访问结构化查询实体的目录 |
| read | 外部文件和存储系统读取DataFrame。 |
| conf | 当前运行的configuration |
| readStream | 访问DataStreamReader以读取流数据集。 |
| streams | 访问StreamingQueryManager以管理结构化流式传输查询。 |
| newSession | 创建新的SparkSession |
| stop | 停止SparkSession |
| write | 访问DataStreamReader以写入流数据集。 |
参考： https://www.cnblogs.com/zzhangyuhang/p/9039695.html