在前面学完了SparkCore后,又学了SparkSQL,在继续加深学习之前,一定的复习还是很重要的。这里大体写一下,加深自己对SparlSQL的理解。
1.SparkSQL
首先是SaprkSQL与HIve的继承
然后是ThriftServer服务(JDBC/ODBC)
SparlSQL开发语言:
HQL:表需要存在(可以是HIve表存在,也可以是临时表存在--这样需要DateFrame注册)
DSL:DateFrame相关的API(select,groupby。。。)
DateFrame:SparkSQL的抽象
RDD+Schema
内部是一个逻辑计划
编程模式:read与writer编程,这是一个链式编程
SparkSQL默认支持的数据源
hive
rdbms
parquet
json
多数据源的数据可以进行join操作
注册成两张临时表,然后就可以进行join了
可以替换Sqoop的工作,做数据同步的事情
hive,hdfs(text,parquet,avro,orc),hbase,RDBMS,redis,MongoDB