• Ubuntu下安装配置Hive


    【提示】在安装Hive之前,首先看你自己的Hadoop和下载的Hive是否相容。一般情况Hive1的几的版本不支持Hadoop3以上的。

    Hive的安装和配置

    Hive的官网地址http://hive.apache.org/

    下载地址http://archive.apache.org/dist/hive/

    我下载的是apache-hive-1.2.1-bin.tar.gz,本文教程也是根据此版本进行的

    1.将apache-hive-1.2.1-bin.tar.gz解压到/opt/module/目录下面

    sudo tar -zxvf ~/resource/apache-hive-1.2.1-bin.tar.gz -C /opt/module

    2.修改apache-hive-1.2.1-bin.tar.gz的名称为hive(方便以后查找和操作)

    cd /opt/module

    sudo mv apache-hive-1.2.1-bin/ hive
    3.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

    hadoop@ubuntu:/opt/module$ cd /opt/module/hive/conf
    hadoop@ubuntu:/opt/module/hive/conf$ sudo  mv hive-env.sh.template hive-env.sh

     4.配置hive-env.sh文件

    hadoop@ubuntu:/opt/module/hive/conf$ sudo vim hive-env.sh

    添加一下代码:

    export HADOOP_HOME=/usr/local/hadoop   #为你的hadoop路径

    export HIVE_CONF_DIR=/opt/module/hive/conf

    Hadoop集群配置Hive

    1.首先必须启动hdfs和yarn

    ./sbin/start-dfs.sh

    ./sbin/start-yarn.sh

    2.在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

    hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir /tmp
    hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir -p /user/hive/warehouse


    hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /tmp
    hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /user/hive/warehouse

    3.启动Hive

    bin/hive

    如果启动的时候遇到如下问题:

     原因:java.lang.IllegalargumentException:无法识别的Hadoop主版本

    就是Hadoop版本和Hive的版本对不上,hadoop3以上的版本不支持Hive1.2.1

    我最开始就是版本下的对不上,所以就重新配置了hadoop,其实也可以下载更好版本的Hive,能与Hadoop版本兼容的。

  • 相关阅读:
    ngTemplate
    HTML5
    angular指令
    todo
    调试语句
    route attribute in webapi
    ngModelController
    angularjs中的事件
    删除IE input 下的小叉叉
    《python网络数据采集》读后感 第八章:自然语言处理
  • 原文地址:https://www.cnblogs.com/lovema1210/p/11458868.html
Copyright © 2020-2023  润新知