• Hive常用的属性配置及调优参数概述


                  Hive常用的属性配置及调优参数概述

                                  作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

    一.hive常见配置属性

    1>.配置数据仓库位置

     <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>指定默认数据仓库存储在HDFS上的存储路径,通常我们使用默认值即可,当然你也可以进行自定义路径哟~</description>
      </property>

    2>.显示表头信息

      <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
        <description>
        当打印一张表时,是否显示表字段名称,默认值为false。通常情况下,在字段比较多时,我们可以将其值设置为true。
        但有的开发很反感这样设置,在生产环境中,我将该值设置为true时,开发那边反馈会影响到它们代码的逻辑,只有隐藏表头字段信息程序才能正常运行,这找谁说理去,于是我又调回了默认值。
      </description>
      </property>

    3>.显示当前数据库

      <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
        <description>
        当进入到hive交互式字符界面时,是否显示当前所在的数据库,默认值组织为false,即不显示当前所在的数据库。
        生产环境中,我建议大家将该值设置为true。虽然说大数据运维人员很少操作hive数据仓库,基本上都是开发那边在操作,但将该值设置为true时,可以提醒操作者操作的是哪个数据仓库。
      </description>
      </property>

    4>.修改hive的日志运行级别

    [root@hadoop105.yinzhengjie.com ~]# grep "property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# vim ${HIVE_HOME}/conf/hive-log4j2.properties
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# grep "property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    # property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
    property.hive.log.dir = /yinzhengjie/softwares/hive/logs
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# grep "^property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    property.hive.log.dir = /yinzhengjie/softwares/hive/logs
    [root@hadoop105.yinzhengjie.com ~]# 

    5>.参数配置方式

      在之前的笔记中我分享了使用在hive命令行中定义变量名称("-d"选项),详情可参考:https://www.cnblogs.com/yinzhengjie2020/p/13912307.html
    
      本次我们要介绍如何在命令行启动时,设置hive的默认参数配置,如下图所示。
    
      配置hive参数的优先级顺序依次递增,其顺序如下所示:
        (1)在hive的默认配置文件中声明参数,即"/yinzhengjie/softwares/hive/conf/hive-default.xml.template";
        (2)在hive的自定义配置文件中声明参数,即"/yinzhengjie/softwares/hive/conf/hive-site.xml";
        (3)在启动hive时指定配置参数,如下图所示;
        (4)在hive交互式字符终端配置参数,如下图所示。

    .企业级调优

    1>.

    2>.

    3>.

    4>.

    5>. 

  • 相关阅读:
    阅读笔记:管理学
    Vs2010中文版MSDN 安装方法
    .NET 产品版权保护方案 (.NET源码加密保护)
    WPF 判断是否为设计(Design)状态
    重写成员时违反了继承安全性规则。重写方法的安全可访问性必须与所重写方法的安全可访问性匹配。
    没有为此解决方案配置选中要生成的项目 .
    何崚谈阿里巴巴前端性能优化最佳实践
    Oracle10GODP连接11G数据库,出现ORA 1017用户名/口令无效; 登录被拒绝 的问题
    HTTP、TCP、UDP、Socket (转)
    编译的时候生成.g.cs还有.g.i.cs,有什么区别?
  • 原文地址:https://www.cnblogs.com/yinzhengjie2020/p/13939518.html
Copyright © 2020-2023  润新知