【提示】在安装Hive之前,首先看你自己的Hadoop和下载的Hive是否相容。一般情况Hive1的几的版本不支持Hadoop3以上的。
Hive的安装和配置
Hive的官网地址http://hive.apache.org/
下载地址http://archive.apache.org/dist/hive/
我下载的是apache-hive-1.2.1-bin.tar.gz,本文教程也是根据此版本进行的
1.将apache-hive-1.2.1-bin.tar.gz解压到/opt/module/目录下面
sudo tar -zxvf ~/resource/apache-hive-1.2.1-bin.tar.gz -C /opt/module
2.修改apache-hive-1.2.1-bin.tar.gz的名称为hive(方便以后查找和操作)
cd /opt/module
sudo mv apache-hive-1.2.1-bin/ hive
3.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
hadoop@ubuntu:/opt/module$ cd /opt/module/hive/conf
hadoop@ubuntu:/opt/module/hive/conf$ sudo mv hive-env.sh.template hive-env.sh
4.配置hive-env.sh文件
hadoop@ubuntu:/opt/module/hive/conf$ sudo vim hive-env.sh
添加一下代码:
export HADOOP_HOME=/usr/local/hadoop #为你的hadoop路径
export HIVE_CONF_DIR=/opt/module/hive/conf
Hadoop集群配置Hive
1.首先必须启动hdfs和yarn
./sbin/start-dfs.sh
./sbin/start-yarn.sh
2.在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir /tmp
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir -p /user/hive/warehouse
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /tmp
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /user/hive/warehouse
3.启动Hive
bin/hive
如果启动的时候遇到如下问题:
原因:java.lang.IllegalargumentException:无法识别的Hadoop主版本
就是Hadoop版本和Hive的版本对不上,hadoop3以上的版本不支持Hive1.2.1
我最开始就是版本下的对不上,所以就重新配置了hadoop,其实也可以下载更好版本的Hive,能与Hadoop版本兼容的。