• Hive如何添加第三方JAR


    以加入elsaticsearch-hadoop-2.1.2.jar为例,讲述在Hive中加入第三方jar的几种方式。

    1,在hive shell中加入

    [java] view plain copy
     
    1. [hadoop@hadoopcluster78 bin]$ ./hive  
    2.   
    3. Logging initialized using configuration in file:/home/hadoop/apache/hive-0.13.1/conf/hive-log4j.properties  
    4. hive> add jar /home/hadoop/elasticsearch-hadoop-hive-2.1.2.jar;                        //elasticsearch-hadoop-hive-2.1.2.jar放在本地文件系统的/home/hadoop目录。  
    5. Added /home/hadoop/elasticsearch-hadoop-hive-2.1.2.jar to class path  
    6. Added resource: /home/hadoop/elasticsearch-hadoop-hive-2.1.2.jar  
    连接方式
    是否有效
    Hive Shell 不需要重启Hive服务就有效
    Hive Server 无效

    2,Jar放入${HIVE_HOME}/auxlib目录

    在${HIVE_HOME}中创建文件夹auxlib,然后将自定义jar文件放入该文件夹中。
    此方法添加不需要重启Hive。而且比较便捷。

    连接方式
    是否有效
    Hive Shell 不需要重启Hive服务就有效
    Hive Server 重启Hive服务才生效

    3,HIVE.AUX.JARS.PATH和hive.aux.jars.path

    hive-env.sh中的HIVE.AUX.JARS.PATH和hive-site.xml的hive.aux.jars.path配置对服务器无效,仅对当前hive shell有效,不同的hive shell相互不影响,每个hive shell都需要配置,可以配置成文件夹形式。

    HIVE.AUX.JARS.PATH和hive.aux.jars.path仅支持本地文件。可配置成文件,也可配置为文件夹。

    在${HIVE_HOME}/conf/hive-env.sh下配置:
    [java] view plain copy
     
    1. export HIVE_AUX_JARS_PATH=/home/hadoop/apache/hive-0.13.1/lib/mysql-connector-java-5.1.7-bin.jar #本地文件路径,不支持HDFS路径  

    类似的,可以在${HIVE_HOME}/conf/hive-site.xml下配置:
    [java] view plain copy
     
    1. <property>  
    2.     <name>hive.aux.jars.path</name>  
    3.     <value>/home/hadoop/elasticsearch-hadoop-hive-2.1.2.jar</value>  
    4. </property>  

    连接方式
    是否有效
    Hive Shell 重启Hive服务才生效且不同的Hive Shell互不影响
    Hive Server 无效

    注:hive-env.sh中配置的HIVE_AUX_JARS_PATH和hive-site.xml配置hive.aux.jars.path参数会有冲突,在使用的时候要特别注意。


    4,直接将Jar加入${HIVE_HOME}/lib目录

    连接方式
    是否有效
    Hive Shell 重启Hive服务才生效
    Hive Server 重启Hive服务才生效

    总结:只有第2种和第4种方式才能在Hive Server中起效。其他的在Hive Server中都无效,网上看了一些文章,都说hive-site.xml配置hive.aux.jars.path是可以起作用的,但是试过很多次都没用,百思不得其姐,期待大神答疑。
  • 相关阅读:
    堆和栈的区别 (转贴)
    Linux常用的网络命令
    H.264的编解码流程
    链表逆序
    快速排序
    一个计算机硕士毕业生的求职经验(五)
    H.264简单总结
    重要的热键 【Tab】,【Ctrl】—C,【Ctrl】—D
    Linux 文件与目录管理
    一个计算机硕士毕业生的求职经验(六)
  • 原文地址:https://www.cnblogs.com/Dhouse/p/7228557.html
Copyright © 2020-2023  润新知