将hive搭建到spark上

1. 首先搭建好spark和hive，参见相关文档

2. 在spark/conf下创建hive-site.xml

<configuration>
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://master:9083</value>  
  <description>connection romate metastores</description>  
</property>
</configuration>

 表示链接master上的远程数据库

3. 在spark/jars 下放mysql链接包

mysql-connector-java-5.1.41-bin.jar

4. 启动

hive --service metastore  >metastore.log

5. 运行一个小例子

启动spark

编写.sh文件，提交程序

/usr/local/spark/spark-2.1.0-bin-hadoop2.6/bin/spark-submit  --class com.zcb.spark.LabWork.chooseData  --master spark://Master:7077  /usr/local/test_commit/SqlSpark4.jar