• Hive安装及hivesite.xml不生效的踩坑


    一、Hive安装及配置

    1,把apache-hive-2.3.6-bin.tar.gz上传到linux的/software目录下

    清华大学资源包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

    2,解压apache-hive-2.3.6-bin.tar.gz到/module/目录下面:tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /module/

    3,修改apache-hive-2.3.6-bin.tar.gz的名称为hive-2.3.6 :mv apache-hive-2.3.6-bin/ hive-2.3.6

    4,修改/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh:mv hive-env.sh.template hive-env.sh

    5,配置hive-env.sh文件:vi hive-env.sh

    配置HADOOP_HOME路径:export HADOOP_HOME=/module/hadoop-2.7.2

    配置HIVE_CONF_DIR路径:export HIVE_CONF_DIR=/module/hive/conf

    二、Hadoop集群配置

    1,必须启动HDFS和YARN:sbin/start-dfs.sh  ,sbin/start-yarn.sh

    2,进入hadoop-2.7.2 目录,创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

    bin/hadoop fs -mkdir /tmp  ,bin/hadoop fs -mkdir -p /user/hive/warehouse

    改权限:bin/hadoop fs -chmod g+w /tmp  , bin/hadoop fs -chmod g+w /user/hive/warehouse

    创建目录修改权限,这两个文件看不见?

    三、修改Hive环境变量,之后source一下

    #HIVE_HOME

    export HIVE_HOME=/module/hive-2.3.6

    export PATH=$PATH:$HIVE_HOME/bin

    hive环境变量

    三、Hive元数据配置到MySql

    一、驱动拷贝

    1.在/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包:

    tar -zxvf mysql-connector-java-5.1.27.tar.gz

    官网包:https://dev.mysql.com/downloads/file/?id=476197

    2.拷贝/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/module/hive-2.3.6/lib/ :

    cp mysql-connector-java-5.1.27-bin.jar  /module/hive-2.3.6/lib/

    二、配置Metastore到MySql

    1.在/module/hive/conf目录下创建一个hive-site.xml :vi hive-site.xml

    2.根据官方文档配置参数,拷贝数据到hive-site.xml文件中

    2020421:mysql连接信息后增加  &useSSL=false ,不然hive 的任何命令会报ssl错误

    https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

    <?xml version="1.0"?>

    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>

            <property>

              <name>javax.jdo.option.ConnectionURL</name>

              <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>

              <description>JDBC connect string for a JDBC metastore</description>

            </property>

            <property>

              <name>javax.jdo.option.ConnectionDriverName</name>

              <value>com.mysql.jdbc.Driver</value>

              <description>Driver class name for a JDBC metastore</description>

            </property>

            <property>

              <name>javax.jdo.option.ConnectionUserName</name>

              <value>root</value>

              <description>username to use against metastore database</description>

            </property>

            <property>

              <name>javax.jdo.option.ConnectionPassword</name>

              <value>000000</value>

              <description>password to use against metastore database</description>

            </property>

          <property>

            <name>hive.cli.print.header</name>

            <value>true</value>

          </property>

          <property>

            <name>hive.cli.print.current.db</name>

            <value>true</value>

          </property>

          <property>

            <name>hive.metastore.schema.verification</name>

            <value>false</value>

          </property>

    </configuration>

     
    配置文件修改

    3.关闭元数据检查:hive-site.xml 里面增加一个配置:不加这个使用Hive的时候会连接超时,并且找不到元数据

    <property>

        <name>hive.metastore.schema.verification</name>

        <value>false</value>

    </property>

    4,进入到Hive的conf目录下(为什么别人是进bin?我进入bin执行的是derby的初始化,会失败),此条已废弃,存在问题,详细信息见下面解释。

    4,更新: 在使用了上面的conf目录进行元数据初始化的之后,存在一个问题:即,必须在conf目录下进入Hive才会得到mysql的元数据,在别的目录下进Hive会是默认的derby元数据,而且会超时报错。也就是说实际上并没有做到真正的使用mysql存储元数据,困扰了一晚上,最后找的了下面的解决方式。

    原因:是因为hive依赖hadoop(hive-env.sh里设置有hadoop的路径),但是hadoop的环境变量却没有读到hive-site.xml

    解决方式:

    参考文档:

    https://blog.csdn.net/lsr40/article/details/78026125(hive-site.xml修改之后不生效与一些beeline,hiveserver2的报错)

     重要重要重要

    1,hadoop的配置文件hadoop-env.sh中(其实就是hadoop的根目录下的etc/hadoop里面的那些配置文件里)

    找到export HADOOP_CLASSPATH这行,修改值为

    export HADOOP_CLASSPATH=$HIVE_HOME/conf:$HADOOP_CLASSPATH(HIVE_HOME必须配置环境变量,或者写死)

     
    修改Hadoop的配置文件

    2,之后再回到Hive的bin目录下进行元数据初始化,这样无论在哪个目录下进入Hive,使用的都会是mysql。(bin目录下进行的初始化才是真的使用了mysql元数据)

    配置元数据类型为mysql:schematool -dbType mysql -initSchema

    注:如果创建失败,看看site 文件里(node1:3306/hive?createDatabaseIfNotExist=true),那个Hive的数据库是不是已经在Mysql 创建了,删掉再重新初始化即可。

     
    出现这个就是对的,出现derby是不对的

    5.配置完毕后,如果启动hive异常,可以重新启动虚拟机。(重启后,别忘了启动hadoop集群)

  • 相关阅读:
    纠结我一上午的asp.net操作mysql问题
    C#术语【转自MSDN】
    asp.net新手必知必会——我们为什么要用asp.net
    图片在浏览器中底部对齐———解决方法之一
    asp.net做的网站比asp做的站慢?
    我是一个可悲的程序员
    今天离开职场去过自己的潇洒人生
    asp.net应用程序重新启动
    asp.net分页解决方法
    80. 删除有序数组中的重复项 II
  • 原文地址:https://www.cnblogs.com/waj2018/p/15599541.html
Copyright © 2020-2023  润新知