Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar
- hiveconf的命名空间指的是hive-site.xml下面的配置变量值。
- system的命名空间是系统的变量,包括JVM的运行环境。
- env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的
实例:
set mapreduce.job.split.metainfo.maxsize=-1; set hive.exec.parallel=true; set day='2018-08-30'; set window_day=50 select * from table_name where dt >= date_sub(${hiveconf:day}, ${hiveconf:window_day}) and dt <= ${hiveconf:day}
1 、hivevar与hiveconf的区别:
命名空间 | 使用权限 | 详细描述 |
hivevar | rw | 用户自定义变量 |
hiveconf | rw | hive相关配置属性 |
system | rw | java定义的配置属性 |
env | r | Shell环境属性 |
通常我们可以使用hive -e查看有关hivevar与hiveconf的描述:
2、hivevar与hiveconf的作用域
之前项目中涉及两个hive作业同时执行并需要传入相同key的参数,因此顾虑不清楚是否是线程安全。
结论先行:hivevar与hiveconf作用域都是会话级别的,言外之意就是如果两个并发同时跑的作业同时传入一个相同key但是value不相同的值的参数,不会发生线程安全问题。
3、对于hivevar与hiveconf的使用
hiveconf变量取值必须要使用hiveconf作为前缀参数,具体格式如下:
${hiveconf:key}
但是对于hivevar取值可以不使用前缀hivevar,具体格式如下:
使用前缀:
${hivevar:key}
不使用前缀:
${key}