hive 函数 大全

show functions 查看了所有的方法
把所有的方法记录下来，下次免得去翻别人的博客了

数学函数

数学常规函数

函数	简介	用法
abs	绝对值	select abs(-13);13
negative	正数转负数,负数转正数	select negative(-4);4 select negative(4);-4
sin	正弦值 参数无限制数字即可	select sin(0.52); 0.49688
cos	余弦值 参数无限制数字即可	select cos(13); 0.907446
tan	正切值 参数无限制数字即可	select tan(0.523); 0.576552
asin	反正弦值 参数a介于-1到1之间,否则返回NULL值	select asin(0.25);0.2526
acos	反余弦值 参数a介于-1到1之间,否则返回NULL值	select acos(0.25);1.3181
atan	反正切值 参数无限制数字即可	select atan(-10.34);-1.47438
degrees	弧度值转换为度数值	select degrees(0.1);5.729577951308232
radians	度数值转换为弧度值	select radians(30);0.5235987755982988
div	整数除法器 将a除以b结果为整数	SELECT 9 div 2;4
mod	余数	select mod(7,5) ;2
pmod	a除以b的余数的绝对值	select pmod(-9,4);3 select pmod(9,4);1
ceil	向上取整	select ceil(10.1);11
ceiling	向上取整	select ceil(10.1);11
round	四舍五入	select round(1.5);2 select round(3.1415926,4);3.1416
floor	小于或等于该数值参数的最大整数	select floor(9.5);9
bround	银行家算法 第二个参数可以限制小数位	select bround(2.5);2,bround(3.5);4
cbrt	立方根函数	select cbrt(27);3
ln	以e为底log对数	select ln(22026.465794806718);10
log	返回以第一个参数为低的第二个参数对数	select log(2,8);3
log10	以10为底log对数	select log10(100);2
log2	以2为底log对数	select log2(8);3
sqrt	开方根函数	SELECT sqrt(16);4
pow	次方函数	select pow(2,4);16.0
power	次方函数	select power(2,4);16.0
e	e常量	select e();2.718281828459045
exp	e的N次方	select exp(2);7.38905609893065
pi	派常量	select pi();3.141592653589793
factorial	阶乘函数	select factorial(5);54321=120
format_number	数字格式化成"#,###.##" 保留第二参数小数位	select format_number(123345.65545,2);123,345.66
rand	产生随机数 有第二个参数每次相同	select rand();0.742319 select rand(100);0.7220096548596434
positive	返回当前值	select positive(-1);-1 select positive(1);1
shiftleft	二进制左移函数	select shiftleft(5,2);20
shiftright	二进制右移函数	select shiftright(20,2);5
shiftrightunsigned	无符号二进制右移函数	select shiftrightunsigned(-20,2);1073741819
sign	数值符号类型,如果参数大于0,返回1.0；小于0,返回-1.0；等于0,返回0.0	select sign(100.0);1 select sign(0);0 select sign(-100.0);-1

统计学相关函数

函数	简介	用法
std	一组数字的标准偏差	select std(id) from data;94365.2855709603
stddev	一组数字的标准偏差	select stddev(id) from data;94365.2855709603
stddev_pop	一组数字的标准偏差	select stddev_pop(id) from data;94365.2855709603
stddev_samp	返回一组数字的样本标准差	select stddev_samp(id) from data;115573.39954043635
var_pop	返回一组数字的方差	select var_pop(id) from data;8.904807120888887E9
variance	返回一组数字的方差	select var_pop(id) from data;8.904807120888887E9
var_samp	返回一组数字的样本方差	select var_samp(id) from data;1.3357210681333332E10
covar_pop	总体协方差	select covar_pop(a,b) from big_data;8.333333333324998E10
covar_samp	样本协方差	select covar_samp(a,b) from big_data;8.333334090900824E10
corr	皮尔逊相关系数	select corr(a,b) from big_data;1.0

regr相关函数

函数	简介	用法
regr_avgx	计算第二个参数的平均值,参数值为x,y	select regr_avgx(id,user_id) from test;= avg(user_id)
regr_avgy	计算第一个参数的平均值,参数值为x,y	select regr_avgy(id,user_id) from test;= avg(id)
regr_count	返回两列非空数量	select regr_count(id,user_id) from test;
regr_intercept	返回回归线的y轴截距 (SUM(y)* SUM(x * x)-SUM(X)* SUM(x * y))/(N * SUM(x * x)-SUM(x)* SUM(X) )	select regr_intercept(id,user_id) from test;-4.5
regr_r2	返回回归线的确定系数POWER(N * SUM(x * y)-SUM(x)* SUM(y)，2)/((N * SUM(x * x)-SUM(x)* SUM(x ))*(N * SUM(y * y)-SUM(y)* SUM(y)))	select regr_r2(id,user_id) from test;1
regr_slope	返回线性回归线的斜率 (N * SUM(x * y)-SUM(x)* SUM(y))/(N * SUM(x * x)-SUM(x)* SUM(x))	select regr_slope(id,user_id) from test;1.5
regr_sxx	辅助分析函数 SUM(x * x)-SUM(x)* SUM(x)/ N	select regr_sxx(id,user_id) from test;2.0
regr_sxy	回归模型的统计有效性 SUM(x * y)-SUM(x)* SUM(y)/ N	select regr_sxy(id,user_id) from test;3.0
regr_syy	辅助分析函数SUM(y * y)-SUM(y)* SUM(y)/ N	select regr_syy(id,user_id) from test;4.5

字符串函数

字符串常规函数

函数	简介	用法
aes_decrypt	解密(input binary, key string/binary)	select aes_decrypt(unbase64('ThkIuvL03UnaQXTfWjSZNg=='),'123456789012345a');abcd
aes_encrypt	加密(input string/binary, key string/binary)返回值二进制需要base64 第二个字符串长度16/24/32别的不会显示	select base64(aes_encrypt('abcd','123456789012345a'));
length	字符串长度	select length('abcdefgh');8
uuid	唯一标识符字符串	select uuid();e8b6113b-6c2e-49da-b9f8-1ec01c0edf29
repeat	重复函数	select repeat('1234',4);1234123412341234
reverse	倒置函数	select reverse('abcd');dcba
space	返回X个空格	select concat('a',space(4),'a');a a
printf	打印函数 必须字符串	select printf('abfhg');

字符串大小写函数

函数	简介	用法
initcap	字符串首字母大写	select initcap('abcdefg');Abcdefg
lower	字符串转小写	select lower('ABCD');abcd
lcase	字符串转小写	select lcase('ABCD');abcd
ucase	字符串大写	elect ucase('aBCD');ABCD
upper	字符串转大写	select upper('abcd');ABCD

字符串查找、拼接、替换函数

函数	简介	用法
coalesce	第一个不为空的值	select coalesce(NULL,null,1,'1');1
levenshtein	字符串差异个数 仅限字符串	select levenshtein('abcdABcd', 'ABCDADcd');5
field	返回第一个字符串在后续字符串的下标	select field('2022',id,user_id,desc) from data;2
locate	第一次出现的位置	select locate('abcd','abcdabcdabcd',2);5
elt	返回第n个字符串 参数仅限字符串	select elt(3,'a','b','c','d','e','f');c
lpad	指定长度字符串,不足指定的长度的字符串,则用指定字符从左边补全	select lpad('abcd',10,1);111111abcd
rpad	指定长度字符串,不足指定的长度的字符串,则用指定字符从右边补全	select rpad('abcd',10,1);abcd111111
concat	字符串拼接	select concat('ab','cd','ef');abcdef
substr	字符串截取	select substr('abcdef',1,3);abc select substr('abcdef',3);cdef
substring	字符串截取	select substring('abcdef',1,3);abc select substring('abcdef',3);cdef
substring_index	第二个分隔符出现之前的字符串	select substring_index('ab.cd.ef.gh','.',2);ab.cd
replace	字符串替换	select replace('abcdm','a','m');mbcdm
translate	字符串替换 abc替换成xyz	select translate('abcdefgh','abc','xyz');
soundex	字符串转换成 soundex字符串	select soundex('abcd');A123
instr	子字符串在字符串中位置	select instr('abcdefg','cd');3
rtrim	去掉字符串右侧空格	select rtrim(' abcd ');abcd
ltrim	去掉字符串左侧空格	select ltrim(' abcd');abcd
trim	去掉字符串左右侧空格	select ltrim(' abcd ');abcd

字符正则相关函数

函数	简介	用法
regexp	正则like	select 'abcdefgh' regexp '^ab';true
regexp_extract	将字符串按照正则表达式的规则拆分，返回指定的字符	select regexp_extract('abcd1efgh2ijk', '([a-z]*)', 1);abcd1
regexp_replace	正则替换	select regexp_replace('abcd1234', '\d+', 'a');abcda
rlike	正则like	select 'abcdefgh' rlike '^ab';true "." 任意单个字符 "*" 匹配前面的字符0次或多次 "+" 匹配前面的字符1次或多次 "?" 匹配前面的字符0次或1次 "\d" 等于 [0-9] "\u4E00-\u9FA5" 汉字

字符串编码、进制相关函数

函数	简介	用法
ascii	字符串转ascii码	select ascii('4');52
md5	md5加密	select md5('abc');900150983cd24fb0d6963f7d28e17f72
sha	SHA-1摘要 作为十六进制字符串返回	SELECT sha('ABC');3c01bdbb26f358bab27f267924aa2c9a03fcfdb8
sha1	SHA-1摘要 作为十六进制字符串返回 字符串和二进制	SELECT sha1('ABC');SELECT sha1(binary('3'));
sha2	SHA-2摘要 作为十六进制字符串返回	select sha2('abcd',224/256/384/512);
encode	第二个参数字符集对第一个参数进行编码	select encode('aa','UTF-8');aa
decode	第二个参数解码第一个参数	select decode(encode('aa','UTF-8'),'utf-8');aa
chr	将字节码数字转为对应字母	select chr('108');l select chr('106');j
character_length	返回字符串或者二进制的长度	SELECT char_length(bin(1024));SELECT char_length('1234');
char_length	返回字符串或者二进制的长度	SELECT char_length(bin(1024));SELECT char_length('1234');
octet_length	str或二进制数据中的字节数	SELECT octet_length('HUX8 ');5 SELECT octet_length('abcde');5
crc32	返回字符串或二进制参数的循环冗余校验值	select crc32('abc');891568578
conv	进制转换	SELECT conv('100', 10, 2);1100100
base64	将给定的二进制转换为字符串	select base64(unbase64('abcd'));abcd
unbase64	64位的字符串转换二进制	select base64(unbase64('abcd'));abcd
bin	将整数转换为二进制,参数限制整数	select bin(3);
binary	将字符串转换为二进制,参数限制字符串	select binary('3');
hex	字符串转十六进制	select hex(1234);4D2 select hex('abcd');61626364
unhex	解析十六进制	select unhex('61626364');abcd
hash	返回参数的哈希值	select hash('abcd');2987074

日期函数

日期获取函数

函数	简介	用法
datetime_legacy_hybrid_calendar	日历有一个起始时间,这个之前时间是错误的 用这个函数修正 不重要	select datetime_legacy_hybrid_calendar(CAST('0601-03-07' AS DATE));0601-03-04
to_epoch_milli	暂时不知道这个函数用法 纪元的毫秒数	create table tstz1_n1(t timestamp with local time zone);insert into tstz1_n1 values(current_timestamp());select to_epoch_milli(t) from tstz1_n1;1660403689952
trunc	第二个参数最开始时间	select trunc(current_date(),'MM');'MM','QUARTER','YYYY'
second	返回时间的秒 参数date/timestamp	select second(date('2018-09-19'));select second(current_timestamp());
minute	返回时间的分钟 参数date/timestamp	select minute(date('2018-09-19'));select minute(current_timestamp());
hour	返回时间的小时参数date/timestamp	select hour(date('2018-09-19'));0 select hour(current_timestamp());
current_date	当前日期	select current_date();2022-08-13
current_timestamp	当前时间戳	select current_timestamp();2022-08-13 12:15:17.435
day	当前日期的天 参数date/timestamp	select day(date('2018-09-19'));19 select day(current_timestamp());14
dayofmonth	月里面天数 参数date/timestamp	select dayofmonth(date('2018-09-19'));19 select dayofmonth(current_timestamp());14
dayofweek	周天数 参数date/timestamp	select dayofweek(date('2022-09-19'));2 select dayofweek(current_timestamp());1
weekofyear	周数 参数date/timestamp	select weekofyear(date('2022-08-13'));select weekofyear(current_timestamp());
month	返回时间的月份参数date/timestamp	select month(date('2018-09-19'));select month(current_timestamp());
quarter	返回时间的季度参数date/timestamp	select quarter(date('2018-09-19'));select quarter(current_timestamp());
year	返回时间的年份 参数date/timestamp	select year(date('2018-09-19'));select year(current_timestamp());

日期转换函数

函数	简介	用法
to_date	返回时间戳中的日期部分	select to_date(current_timestamp());
to_unix_timestamp	转化成时间戳	select to_unix_timestamp('1970-01-01 00:00:00','PST');0
from_utc_timestamp	输入转成对应时区的时间	SELECT from_utc_timestamp('2016-08-31', 'Asia/Seoul');2016-08-31 09:00:00
to_utc_timestamp	转化成UTC下的时间戳	select to_utc_timestamp('1970-01-01 00:00:00','PST');1970-01-01 08:00:00
date_format	前面格式转换成后面的格式	1:date/timestamp/string select date_format('2009-07-30','yyyyMMdd');select date_format(current_timestamp(),'yyyy
from_unixtime	UNIX时间戳转日期	select from_unixtime(86400,'yyyy-MM-dd HH:mm:ss');1970-01-02 00:00:00
unix_timestamp	日期转UNIX时间戳	select unix_timestamp('2022-01-01 00:00:00');1640995200
datediff	日期差 'yyyy-MM-dd HH:mm:ss' or 'yyyy-MM-dd' 第一个减去第二个	SELECT datediff('2009-07-30', '2009-07-25');5 SELECT datediff('2009-07-30 12:12:12', '2009-07-25 12:12:12');5
last_day	月份最后一天的日期函数	select last_day(current_date());2022-08-31
next_day	当前日期的下一个周几是哪天	SELECT next_day('2022-08-13','TU');下一个周二是哪天 2022-08-16
date_add	日期相加	SELECT date_add('2009-07-30', 1);2009-07-31 不是这个格式的NULL
date_sub	日期相减	SELECT date_sub('2009-07-30', 1);
add_months	月份相加 输入必须yyyy-MM-dd 输出可以第三个参数指定	select add_months('2022-08-01',2,'yyyyMMdd');20221001
months_between	相差的月份	select months_between(current_date(),'2022-5-13'),months_between('2022-09-13','2022-5-13') ;3 4

日期获取 floor函数

函数	简介	用法
floor_day	返回时间戳的天开始时间	select floor_day(current_timestamp());2022-08-13 00:00:00 （真实时间 2022-08-13 14:45:30）
floor_hour	返回时间戳的小时开始时间	select floor_hour(current_timestamp());2022-08-13 14:00:00 （真实时间 2022-08-13 14:45:30）
floor_minute	返回时间戳的分钟开始时间	select floor_minute(current_timestamp());2022-08-13 14:45:00 （真实时间 2022-08-13 14:45:30）
floor_month	返回时间戳的月份开始时间	select floor_month(current_timestamp());2022-08-01 00:00:00 （真实时间 2022-08-13 14:45:30）
floor_quarter	返回时间戳的季度开始时间	select floor_quarter(current_timestamp());2022-07-01 00:00:00 （真实时间 2022-08-13 14:45:30）
floor_second	返回时间戳的秒开始时间	select floor_second(current_timestamp());2022-08-13 14:45:30 （真实时间 2022-08-13 14:45:30）
floor_week	返回时间戳的周开始时间	select floor_week(current_timestamp());2022-08-08 00:00:00 （真实时间 2022-08-13 14:45:30）
floor_year	返回时间戳的年开始时间	select floor_year(current_timestamp());2022-01-01 00:00:00 （真实时间 2022-08-13 14:45:30）

集合函数

函数	简介	用法
size	集合长度函数	select size(map(1,2,3,4));2 select size(array(1,2,3,4));4
array	输入参数转数组 会把所有值转换为字符串	select array(1,2,'3','4');["1","2","3","4"]
split	字符串切数组	select split('a,b,c,d',',');["a","b","c","d"]
index	返回第一个参数的 第二个参数的值	select index(array(1,2,3,4),2);
array_contains	数组包含 第二个参数必须是字符串	select array_contains(array('a',2,'3','4'),'2');
sort_array	集合排序	select sort_array(array(4,2,3,4));[2,3,4,4]
sort_array_by	集合排序
replicate_rows	一行变成多行	select replicate_rows(cast (5 as BIGINT),'abcd');
explode	爆炸函数	select desc,dessplit from data lateral view explode(split(desc,','))t as dessplit;a,b,c,d,e,f {a,b,c,d,e,f}
posexplode	带下标的爆炸函数	select desc,dessplit,dessplit_index from data lateral view posexplode(split(desc,','))t as dessplit,dessplit_index;
collect_list	将列转换数组 可以重复	select collect_list(id) from data;
collect_set	将列转换数组 不可以重复	select collect_set(id) from data;
concat_ws	将数组内容按照分隔符拼接成字符串	select concat_ws('*',collect_list(user_id)) from data;
find_in_set	返回str_array中str的第一个匹配项,其中str_array是逗号分隔的字符串	SELECT find_in_set('abcd','a,ab,abc,abcd,abcde');4
inline	将数据和结构分解为表	select inline(array(struct('a','1','b',2),struct('c','3','d',4)));col1 col2 col3 col4 a 1 b 2 c 3 d 4
str_to_map	字符串转map	select str_to_map('a:1,b:2,c:3,d:4',',',':');{"a":"1","b":"2","c":"3","d":"4"}
map	构造map函数都转成字符串	select map(1,2,'a','b');{"1":"2","a":"b"}
map_keys	返回map的key	select map_keys(map(1,2,'a','b'));["1","a"]
map_values	返回map的value	select map_values(map(1,2,'a','b'));["2","b"]
struct	构造结构体函数	select struct(1,'abcd',2.0,false);{"col1":1,"col2":"abcd","col3":2,"col4":false}
named_struct	结构体构造	select named_struct('a',1,'b',2);{"a":1,"b":2}

分组函数

函数	简介	用法
min	最小值	select min(id) over(partition by id) from data;
max	最大值	select max(id) over(partition by id) from data;
least	列表最小的值	select least(id,user_id) from data;
greatest	两列最大的值	select greatest(id,user_id) from data;
sum	聚合函数	select name, score, sum(score)over(order by name ) from window_test;
row_number	组函数 不用介绍了
grouping	groupby 升级用法	SELECT id,user_id,count(1) FROM data GROUP BY id,user_id GROUPING SETS (id,user_id,(id,user_id));
first_value	第一个值 依赖over函数	select name, score, first_value(score)over(partition by name order by score) from window_test;
last_value	最后一个值 依赖over函数	select name, score, last_value(score)over(partition by name order by score) from window_test;
lag	上两行score字段	select name, score, lag(score,2)over(partition by name order by score) from window_test;
lead	下两行score字段	select name, score, lead(score,2)over(partition by name order by score) from window_test;
rank	排名函数1234 ,相同顺序 下一个加二 依赖over函数	select name, score, dense_rank()over(partition by name order by score) from window_test;
dense_rank	排名函数,相同顺序 下一个加一 依赖over函数	select name, score, dense_rank()over(partition by name order by score) from window_test;
cume_dist	排名/总排名函数	select name, score, cume_dist()over(partition by name order by score) from window_test;
percent_rank	百分比分组函数	select name, score, percent_rank()over(partition by name order by score) from window_test;
percentile	百分位数函数	select percentile(id,0.5) from data; 2023.0
percentile_approx	多个百分位数函数	select percentile_approx(id,array(0.25,0.5,0.75,1)) from data;[2022.0,2023.0,102112.0,202201.0]
ntile	分块函数,数据氛围多块 参数为int	select name, score, ntile(3)over(order by score) from window_test;
field	返回第一个字符串在后续字符串的下标	select field('2022',id,user_id,desc) from data;2

文件解析函数

函数	简介	用法
in_file	文件数据与字符串str匹配 整行匹配	select in_file('202201,2022,2021','/opt/hive/hive/data/data/000000_0');

URL解析函数

函数	简介	用法
parse_url	从URL中提取部件：HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO 键指定要提取的查询	SELECT parse_url('http://facebook.com/path/p1.php?query=1','USERINFO');NULL
parse_url_tuple	从URL中提取部件	SELECT parse_url_tuple('http://facebook.com/path/p1.php?query=1','HOST','PATH','QUERY','REF','PROTOCOL','AUTHORITY','FILE','USERINFO');

JSON解析函数

函数	简介	用法
get_json_object	解析字符串	select get_json_object('{"a": 1, "b": [1, 2, 3]}','$.b');[1,2,3]
json_tuple	解析字符串	select json_tuple('{"a": 1, "b": [1, 2, 3]}','a','b');1 [1,2,3]

XML解析函数

函数	简介	用法
xpath	按照第二个参数解析第一个xml	SELECT xpath('b1b2b3c1c2','a/b/text()');["b1","b2","b3"]
xpath_boolean	xml解析 布尔类型判断	SELECT xpath_boolean('false','a/b/text()="false"');true
xpath_double	xml解析 类型提取	SELECT xpath_double('3.1415','a/b/text()');3.1415
xpath_float	xml解析 类型提取	SELECT xpath_float('3.1415','a/b/text()');3.1415
xpath_int	xml解析 类型提取	SELECT xpath_int('3.1415','a/b/text()');3
xpath_long	xml解析 类型提取	SELECT xpath_long('3.1415','a/b/text()');3
xpath_number	xml解析 类型提取	SELECT xpath_number('3.1415','a/b/text()');3.1415
xpath_short	xml解析 类型提取	SELECT xpath_short('3.1415','a/b/text()');3
xpath_string	xml解析 类型提取	SELECT xpath_string('3.1415','a/b/text()');3.1415

java反射函数

函数	简介	用法
java_method	使用反射调用方法	select java_method("java.lang.Math", "max", 2, 3);
reflect	使用反射调用方法	select reflect('java.lang.Math','abs',-18);18
reflect2	Hive类型对应类的方法	select reflect2(-18,'toString');18 这个是Integer

系统函数

函数	简介	用法
compute_stats	返回一列的元数据信息	select compute_stats(id,'hll') from data;{"columntype":"Long","min":2022,"max":2022,"countnulls":0,"numdistinctvalues":1,"ndvbitvector":HLL����}
current_authorizer	当前认证规则	select current_authorizer();org.apache.hadoop.hive.ql.udf.generic.GenericUDFCurrentAuthorizer
current_database	当前数据库	select current_database();default
current_groups	当前用户组	select current_groups();root
current_user	当前用户	select current_user();root 暂时不理解这个用户和current_authorizer的关系
logged_in_user	返回登录的用户名	select logged_in_user();NULL
version	hive版本	select version();3.1.3 r4df4d75bf1e16fe0af75aad0b4179c34c07fc975

类型转换函数

函数	简介	用法
cast	类型转换函数	select cast('20220101' as int);20220101
udftoboolean	参数转布尔类型默认为true	select udftoboolean('true');true select udftoboolean('false');false select udftoboolean('1234');true
udftobyte	参数转字节类型默认为NULL	select udftobyte(true);1 select udftobyte('false');-128 ~ 127
udftodouble	参数转双精度类型默认为NULL	select udftodouble('3');3.0 select udftodouble('sad');NULL
udftofloat	参数转浮点类型默认为NULL	select udftofloat('true');NULL select udftofloat('3');3.0
udftointeger	参数转整数类型	select udftointeger('true');NULL select udftointeger('1234');1234 -2147483648 ~ 2147483647
udftolong	参数转长类型	select udftolong('true');NULL select udftolong('1234');1234 -9223372036854775808 ~ 9223372036854775807
udftoshort	参数转整数类型	select udftoshort('true');NULL select udftoshort('1234');1234 -32768~32767
udftostring	参数转字符串类型	select udftostring('false');false select udftostring('true');true select udftostring(1234);1234

判断函数

函数	简介	用法
if	条件函数 不用介绍了	select if(11>10,true,false) ;
nullif	两个参数相等 NULL 否则第一个参数	select nullif(12,10);12
nvl	第一个参数为null 就返回默认值	select nvl(13,12);13 select nvl(NULL,12);12 select nvl(null,12);12
isfalse	false返回true 别的返回false	select isfalse(true);false select isfalse(false);true select isfalse('1234');false
isnotfalse	不是false 返回true 别的返回false	select isnotfalse(true);true select isnotfalse(false);false select isnotfalse('1234');true
isnotnull	非空返回true 别的返回false	select isnotnull(null);false select isnotnull(NULL);false select isnotnull('1234');true
isnottrue	不是true 返回true 别的返回false	select isnottrue(true);false select isnottrue(false);true select isnottrue('1234');false
isnull	空返回true 别的返回false	select isnull(null);true select isnull(NULL);true select isnull('1234');false
istrue	true返回true 别的返回false	select istrue(true);true select istrue(false);false select istrue('-1234');true
assert_true	如果不为true的话抛出异常,true返回NULL。这个函数还不如if呢
assert_true_oom	仅仅测试模式可用
enforce_constraint	强制非空检查 内部使用

不知道怎么分类函数

函数	简介	用法
create_union	将第一个参数和后面第一个参数对应的值union起来	select create_union(3,'a','b','c','d','e','f');{3:"d"}
stack	将列转换为第一个参数的行数	SELECT stack(1, "en", "dbpedia", NULL );col0 col1 col2 en dbpedia NULL
restrict_information_schema	是否强制信息 内部使用	select restrict_information_schema();false
sentences	按照空格将输入语句变成数组	SELECT sentences("Hive is an excellent tool for data querying") AS value;[["Hive","is","an","excellent","tool","for","data","querying"]]
sq_count_check	对标量子查询表达式进行内部检查，以确保返回最多一行	select sq_count_check(id) from data;
width_bucket	width_bucket(expr, min_value, max_value, num_buckets) min_value<expr<max_value 均值映射 expr>max_value=max_value+1  expr<min_value=1	select width_bucket(2,1,4,4);2
merge	合并表 full join 类似的功能	set hive.support.concurrency=true; set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive.compactor.initiator.on = true; set hive.compactor.worker.threads = 1; set hive.auto.convert.join=false; set hive.merge.cardinality.check=false; ALTER TABLE data_year_orc SET TBLPROPERTIES ("transactional"="true"); select * from data_year_orc; explain merge into data_year_orc as table_a USING data_year as table_b on table_a.year = table_b.year WHEN MATCHED and (table_a.year = '2014') THEN UPDATE SET b=table_b.b WHEN MATCHED and table_b.year = '2015' then delete WHEN NOT MATCHED then insert VALUES(table_b.year,table_b.b);

暂未理解、废弃函数

函数	简介	用法
bloom_filter	布隆过滤器,应该是用于索引的。但是hive 3.0 起删除索引 建议使用parquet和orc文件
in_bloom_filter	布隆过滤器 废弃了
cardinality_violation	select cardinality_violation(id) from data;在源码里面搜到explain merge 会有,但是没有不知道为什么
context_ngrams	第一个参数字符串数组、字符串数组数组 第二个参数将估计主要表达式中ab之后的前'k'个单词 第四个参数是内存 出来结果是NULL 看不懂这个函数	SELECT context_ngrams(sentences(user_id), array('a','b',null), 3).estfrequency FROM data;
get_splits	暂时不知道这个函数用法 没有tez引擎	select get_splits('abcdefgh',4);
histogram_numeric	使用第二个参数bin计算数字'expr'的直方图	select histogram_numeric(id,3) from data;[{"x":2022.0,"y":1.0}]
likeall	暂时不知道这个函数用法 like 多个函数	select * from test where id like any ('%3%','%6%');但是没有调通
likeany	暂时不知道这个函数用法 like 多个函数	select * from test where id like any ('%3%','%6%');但是没有调通
matchpath	暂时看不懂这个函数的意思	create table flights_tiny_n0 ( ORIGIN_CITY_NAME string, DEST_CITY_NAME string, YEAR int, MONTH int,DAY_OF_MONTH int, ARR_DELAY float, FL_NUM string );select origin_city_name, fl_num, year, month, day_of_month, sz, tpath from matchpath(on flights_tiny_n0 distribute by fl_num sort by year, month, day_of_month arg1('LATE.LATE+'), arg2('LATE'), arg3(arr_delay > 15), arg4('origin_city_name, fl_num, year, month, day_of_month, size(tpath) as sz, tpath[0].day_of_month as tpath') )
murmur_hash
ngrams	暂时看不懂这个函数的意思，下面是函数的用法 看代码应该是字符串拷贝的类	SELECT ngrams(sentences(lower('abcd')), 2, 100, 1000).estfrequency ;
noop	暂时看不懂这个函数的意思，下面是函数的用法 看代码应该是字符串拷贝的类	select count(id) from noop(on data_par partition by id);
noopstreaming	暂时看不懂这个函数的意思，下面是函数的用法 看代码应该是字符串拷贝的类	select count(id) from noopstreaming(on data_par partition by id);
noopwithmap	暂时看不懂这个函数的意思，下面是函数的用法 看代码应该是字符串拷贝的类	select count(id) from noopwithmap(on data_par partition by id);
noopwithmapstreaming	暂时看不懂这个函数的意思，下面是函数的用法 看代码应该是字符串拷贝的类	select count(id) from noopwithmapstreaming(on data_par partition by id);
windowingtablefunction	暂时不知道这个函数用法 这个函数在hive 测试中没有一个测试用例，应该是内部函数

字符串掩盖函数

mask 掩盖给定值

    mask(value,upperChar, lowerChar,digitChar,otherChar,numberChar,dayValue,monthValue,yearValue)

    upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值：'     lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值：'x'
    digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值：'    otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值：-1
    numberChar - 用数字替换数字的字符。有效值：0-9。默认值：'   dayValue - 用日期替换日期字段的值。指定-1以保留原始值。有效值：1-31。默认值：1
    monthValue - 用日期替换日期中的月份字段的值。指定-1以保留原始值。有效值：0-11。默认值：0   yearValue - 用日期替换年份字段的值。指定-1以保留原始值。默认值：0

mask_first_n 掩盖值的前n个字符

     mask_first_n（value，charCount，upperChar，lowerChar，digitChar，otherChar， numberChar）

     value - 要屏蔽的值。支持的类型：TINYINT，SMALLINT，INT，BIGINT，STRING，VARCHAR，CHAR
     charCount - 字符数。默认值：4
     upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值：'
     X'lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值：'x'
     digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值：'
     n'otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值：-1
     numberChar - 用数字替换数字的字符。有效值：0-9。默认值：'1'

mask_hash 返回给定值的哈希值

    select mask_hash('1234');03ac674216f3e15c761ee1a5e255f067953623c8b388b4459e13f978d7c846f4

mask_last_n 屏蔽值的最后n个字符

    mask_last_n（value,charCount,upperChar,lowerChar,digitChar,otherChar, numberChar）

    value - 要屏蔽的值。支持的类型：TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR  charCount-字符数。默认值：4
    upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值：'  lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值：'x'
    digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值：'   otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值：-1
    numberChar - 用数字替换数字的字符。有效值：0-9。默认值：'1' 

mask_show_first_n 掩码除了值的前n个字符以外的所有字符

    mask_show_first_n（value,charCount,upperChar,lowerChar,digitChar,otherChar ,numberChar）

    value - 要屏蔽的值。支持的类型：TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR  charCount - 字符数。默认值：4
    upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值：'  lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值：'x'
    digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值：'  otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值：-1
    numberChar - 用数字替换数字的字符。有效值：0-9。默认值：'1'

mask_show_last_n 掩码除了值的最后n个字符之外的所有

    mask_show_last_n（value,charCount,upperChar,lowerChar,digitChar,otherChar ,numberChar）

    value - 要屏蔽的值。支持的类型：TINYINT,SMALLINT,INT,BIGINT,STRING,VARCHAR,CHAR
    charCount - 字符数。默认值：4   upperChar - 用大写字符替换大写字符的字符。指定-1以保留原始字符。默认值：' lowerChar - 用小写替换小写字符的字符。指定-1以保留原始字符。默认值：'x'
    digitChar - 用数字字符替换的字符。指定-1以保留原始字符。默认值：'  otherChar - 用其替换所有其他字符的字符。指定-1以保留原始字符。默认值：-1
    numberChar - 用数字替换数字的字符。有效值：0-9。默认值：'1'