Hive 使用总结

1 带分区列的表更改列类型

常见的一个场景是Hive里面一个带分区的表，原来是int类型的字段，后来发现数据超过了int的最大值，要改成bigint。或者是bigint要改string或decimal。无论如何，对于带分区的表，要改列类型，有一个坑：

如果使用alter table t change column oldcol newcol bigint，即把int类型的oldcol改为bigint类型的newcol

这个时候，去读数据，应该还是NULL的。

这是因为每个分区Hive还会存一份元数据，于是两种解决方案：

一个是alter table t change column oldcol newcol bigint cascade

一个是alter table t change column oldcol newcol bigint, alter table t partition(...) change column oldcol newcol bigint

2 left join 问题（hive/mysql通用）

在left join语句中，左表过滤必须放where条件中，右表过滤必须放on条件中，这样结果才能不多不少，刚刚好。

3 行转列

曾经一个场景使用过的
select plan_id,id,
concat_ws('',collect_set(if(user_type=1,user_id,''))) teacher_id,
concat_ws('',collect_set(if(user_type=0,user_id,''))) student_id,
concat_ws('',collect_set(if(user_type=1,count,''))) t_count,
concat_ws('',collect_set(if(user_type=0,count,''))) s_count
from tmp.table_name
group by plan_id,id

4 json字符串解析

好像是网上找的
一个Map结构嵌套了Map，再嵌套了一个数组结构。
{"username":"king","actionInfo":{"id":1,"age":"22","partList":[{"code":"123","uname":"king"},{"code":"0012","uname":"king"}]}}

通过json_tuple, get_json_object,explode等函数将string类型解析出来,使用正则的方式，将中括号替换掉，然后在转化为数组
select username,ai.id,ai.age,p.uname,p.code from test1 
lateral view json_tuple(actioninfo,'id','age','partlist') ai as id,age,partlist
lateral view explode(split(regexp_replace(regexp_extract(partlist,'^\[(.+)\]$',1),'\}\,\{', '\}\|\|\{'),'\|\|')) partlist as p
lateral view json_tuple(p,'code','uname') p as code,uname

 5 四舍五入函数

round() 遵循四舍五入把原值转化为指定小数位数，如：round(1.45,0) = 1;round(1.55,0)=2
floor()向下舍入为指定小数位数 如：floor(1.45,0)= 1;floor(1.55,0) = 1
ceiling()向上舍入为指定小数位数 如：ceiling(1.45,0) = 2;ceiling(1.55,0)=2