• hive函数之数学函数


    hive函数之数学函数
     
    round(double d)--返回double型d的近似值(四舍五入),返回bigint型;
    round(double d,int n)--返回保留double型d的n位小数double型近似值(四舍五入);
    floor(double d)--返回<=d的最大bigint值;
    ceil(double d)--返回>=d的最小bigint 值;
    ceiling(double d)--返回>=d的最小bigint 值;
    rand() --每行返回一个double型随机数;
    rand(int seed) --每行返回一个double型随机数,整数seed是随机因子;
    exp(double d)--返回e的 d幂次方,返回double型;
    ln(double d)--以自然数为底d的对数,返回double型;
    log10(double d)--以10为底d的对数,返回double型;
    log2(double d)--以2为底d的对数,返回double型;
    log(double base,double d)--以base为底d的对数,返回double型;
    pow(double d,double p)--d的p次幂,返回double型;
    power(double d,double p)--d的p次幂,返回double型;
    sqrt(double d)--d的平方根,返回double型;
    bin(bigint i)--二进制i的string类型;
    hex(bigint i)--十六进制i的string类型;
    hex(string str)--计算十六进制表达的str值;
    unhex(string i)--hex(string str)的逆方法;
    conv(bigint num,int from_base,int to_base)--将bigint类型的num从from_base进制转换成to_base进制,返回string类型;
    conv(string num,int from_base,int to_base)--将string类型的num从from_base进制转换成to_base进制,返回string类型;
    abs(double d)--计算double型d 的绝对值,返回double型;
    pmod(int i1,int i2)--int型i1对 int型 i2取模,结果为int型;
    pmod(double d1,double d2)--double型i1对double型 i2取模,结果为double型;
    sin(double d)--返回d的正弦值,结果为double型;
    asin(double d)--返回d的反正弦值,结果为double型;
    cos(double d)--返回d 的余弦值,结果为double型;
    acos(double d)--返回d的反余弦值,结果为double型;
    tan(double d)--返回d的正切值,结果为double型;
    atan(double d)--返回d的反正切值,结果为double型;
    degrees(double d)--将弧度值d转换成角度值,结果为double型;
    radians(double d)--将角度值d转换成弧度值,结果为double型;
    positive(int i)--等价有效表达式是+i,返回i,结果为int型;
    positive(double d)--等价有效表达式是+d,返回d,结果为double型;
    negative(int i)--等价有效表达式是-i,返回i的负数,结果为int型;
    negative(double d)--等价有效表达式是-i,返回d的负数,结果为double型;
    sign(double d)--如果d是正数的话,则返回float型1.0,如果d是负数的话,则返回-1.0,否则返回0.0;
    e()--数学常熟e,超越数;
    PI()--数学常数Pi,圆周率;
     
    hive函数之聚合函数
     
    count(*)--计算总行数,包括null值;
    count(expr)--计算expr表达式的值,非null的行数;
    count(distinct expr[,expr_.])--计算expr表达式的值排重后非null的行数;
    sum(col)--指定行的值的和;
    sum(distinct col)--排重后值的和;
    avg(col)--指定行的值的平均值;
    avg(distinct col)--排重后的值的平均值;
    min(col)--指定行的值的最小值;
    max(col)--指定行的值的最大值;
    variance(col)--返回col 中一组数值的方差;
    var_pop(col)---返回col 中一组数值的方差;
    var_samp(col)--返回col 中一组数值的样本方差;
    stddev_pop(col)--返回col 中一组数值的标准偏差;
    stddev_samp(col)--返回col 中一组数值的样本偏差;
    covar_pop(col1,col2)--返回一组数值的协方差;
    covar_samp(col1,col2)--返回一组数值的样本协方差;
    corr(col1,col2)--返回两组数值的相关系数;
    percentile(bigint int_expr,p)--int_expr在p(范围是[0,1])处对应的百分比,其中p是double型;
    percentile(bigint int_expr,array(p1[,p2…]))--int_expr在p(范围是[0,1])处对应的百分比,其中p是double型数组;
    percentile(double col,p[,NB])--col在p(范围是[0,1])处对应的百分比,其中p是double型,NB是用于估计的直方图中的仓库数量(默认10000);
    percentile_approx(double col,array(p1[,p2…])[,NB])--col在p(范围是[0,1])处对应的百分比,其中p是double型数组,NB是用于估计的直方图中的仓库数量(默认10000);
    histogram_numeric(col,NB)--返回NB数量的直方图仓库数组,返回结果array<struct{'x','y'}>中的值x是中心,y是仓库的高;
    collect_set(col)--返回集合col元素排重后的数组;
    set hive.map.aggr=true; --通过设置属性hive.map.aggr值为true来提高聚合性能;
     
    hive函数之表生成函数
     
    当时用表生成函数时,hive要求使用别名;
    explode(ARRAY array)--返回0到多行结果,每行都对应输入的array数组中的一个元素;
    explode(MAP map)--返回0到多行结果,每行对应每个map键-值对,其中一个字段是map键,另一个字段是对应的map值;
    explode(ARRAY<TYPE> a)--对于a的每个元素,explode()会生成一行记录包含这个元素;
    inline(ARRAY<STRUCT[,STRUCT]>)--将结构体数组提取出来并插入到表中;
    json_tuple(STRING jsonStr,p1p2,…,pn)--本函数可以接受多个标签名称,对于输入的json字符串进行处理,这个与get_json_object类似,不过更高效,通过一次调用就可以获得多个键值;
    parse_url_tuple(url,partname1,partname2,…,partnameN)--从url中解析出n部分信息,其输入参数是url,以及多个要抽取部分的名称。所有输入的参数类型都是string,部分名称大小写是敏感的,不应该包含空格:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO,QUERY:<KEY_NAME>;
    stact(int n,col1,col2,…,colM)--把M列换成N行,每行有M/N个字段,n为常数;
     
    hive函数之其他内置函数
     
    ascii(string s)--返回字符串s中首个ASCII字符的整数型;
    base64(binary bin)--基于二进制值bin转换成基于64位的字符串;
    binary(srting s)--将输入的值转换成二进制值;
    binary(BINARY b)--将输入的值转换成二进制值;
    cast(<expr> as <type>)--将expr转换成type类型的,例如cast('1' as bigint)会将字符串转换成bigint数值类型,如果转换失败,则返回null;
    concat(binary s1,binary s2,…)--将二进制字节码按次序拼接成一个字符串;
    concat(string s1,string s2,…)--将字符串s1,s2等拼接成一个字符串,例如concat('ab','cd')的结果是 'abcd';
    concat_ws(string separator,string s1,string s2,…)--与concat类似,不过是使用指定的分隔符进行拼接的;
    context_ngrams(array<array<string>>,array<string>,int K,int pf)--与ngrams类似,但是从每个外层数组的第二个单词数组来查找前K个字尾;
    decode(binary bin,string charset)--使用指定的字符集charset将二进制bin解码成字符串(支持的字符集有:'US_ASCII','IOS-8859-1','UTF-8','UTF-16BE','UTF-16FE','UTF-16'),如果任一项输入参数为null,则结果为null;
    encode(string src,string charset)--使用指定的字符集charset将字符串src编码成二进制值(支持的字符集有:'US_ASCII','IOS-8859-1','UTF-8','UTF-16BE','UTF-16FE','UTF-16'),如果任一项输入参数为null,则结果为null;
    find_in_set(string s,string commaSeparatedString)--返回在以逗号分隔的字符串中s出现的位置,如果没找到则返回null;
    format_number(number x,int d)--将数值x转换成‘#,###,###.##’格式字符串,并保留d位小数。如果d为0,那么输出值就没有小数点后面的值;
    get_json_object(string json_string,string path)--从给定路径上的json字符串中抽取json对象,并返回这个对象的json字符串形式。如果输入的json是非法的,则返回null;
    in--例如test in(val1,val2,…),其表示如果test值等于后面列表中任一值的话,则返回true;
    in_file(string s,string filename)--如果文件名为filename的文件中有完整一行数据和字符串s完全匹配的话,则返回true;
    instr(string str,string substr)--查找字符串str中子字符串substr第一次出现的位置;
    length(string s)--计算字符串s的长度;
    locate(string substr,string str[,int pos])--查找字符串str中pos位置后字符串substr第一次出现的位置;
    lower(string s)--将字符串中所有字母转换成小写字母;
    lcase(string s)--和lower()一样;
    lpad(string s,int len,string pad)--从左边开始对字符串s使用字符串pad进行填充,最终达到len长度为止。如果字符串s本身长度比len大的话,那么多余部分会被去除;
    ltrim(string s)--将字符串s前面出现的空格全部去除掉;
    ngram(array<array<string>>,int N,int K,int pf)--估计文件中前K个字尾。pf是精度系数;
    parse_url(string url,string partname[,string key])--从url中抽取指定部分的内容。参数url表示一个url字符串,参数partname表示要抽取的部分名称,其是大小写敏感的,可选的值有:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO,QUERY:<KEY>;如果partname是QUERY的话,那么还需要指定第三个参数key;
    printf(string format,Obj…args)--按照printf风格格式化输出输入的字符串;
    regexp_extract(string subject,string regexp_pattern,string index)--抽取字符串subject中符合正则表达式regexp_pattern的第 index个部分的子字符串;
    regexp_relpace(string s,string regex,string replacement)--按照java正则表达式regex将字符串s中符合条件的部分替换成replacement所指定的字符串a,如果replacement部分是空的话,那么符合正则的部分将会被去除掉。如regexp_relpace('hive','[ie]','z')的结果是'hzvz';
    repeat(string s,int n)--重复输入n次字符串s;
    reverse(string s)--反转字符串;
    rpad(string s,int len,string pad)--从右面开始对字符串s使用字符串pad进行填充,最终达到len长度为止,如果字符串s本身长度比len大的话,那么多余部分将会被去除;
    rtrim(string s)--将字符串s右面出现的空格全部去除掉;
    sentences(string s,string lang,string locale)--将输入字符串s转换成句子数组,每个句子又由一个单词数组构成,单词lang和locale是可选的,如果没有使用,则使用默认本地化信息;
    size(MAP<K.V>)--返回map中元素的个数;
    size(ARRAY<T>)--返回数组array的元素个数;
    space(int n)--返回n个空格;
    split(string s,string pattern)--按照正则表达式pattern分割字符串s,并将分割后的部分以字符串数组的方式返回;
    str_to_map(string s,string delim1,string delim2)--将字符串s按照指定分隔符转化成map,第一个参数是输入的字符串,第二个参数是键值对之间的分隔符,第三个参数是键和值之间的分隔符;
    substr(string s,string start_index,string length)--对于字符串s,从start位置开始截取length长度的字符串,作为子字符串,例如substr('abcdefgh',3,5)的结果是'cdefg';
    substring(string s,string start_index,string length)--对于字符串s,从start位置开始截取length长度的字符串,作为子字符串,例如substr('abcdefgh',3,5)的结果是'cdefg';
    substr(binary s,string start_index,string length)--对于二进制字节值s,从start位置开始截取length长度的字符串,作为子字符串;
    substring(binary s,string start_index,string length)--对于二进制字节值s,从start位置开始截取length长度的字符串,作为子字符串;
    trim(string a)--将字符串a前后出现的空格全部去掉;
    unbase64(string str)--将基于64位的字符串str转换成二进制值;
    upper(string a)--将字符串中所有的字母转换成大写字母;
    ucase(string a)--将字符串中所有的字母转换成大写字母;
    from_unixtime(bigint unixtime[,string format])--将时间戳秒数转换成UTC时间,并用字符串表示,可以通过format规定的时间格式,指定输出的时间格式;
    unix_timestamp()--获取当前本地时区下的当前时间戳,例如:1534132825;
    unix_timestamp(string date)--输入的时间字符串格式必须是yyyy-MM-dd HH:mm:ss,如果不符合则返回0,如果符合则将此时间字符串转换成Unix时间戳,例如unix_timestamp('2009-03-20 11:30:01')=1237519801;
    unix_timestamp(string date,string pattern)--将指定时间字符串格式转换成Unix时间戳,如果格式不对,则返回0,例如unix_timestamp('2009-03-20','yyyy-MM-dd')=1237478400;
    to_date(string timestamp)--返回时间字符串的日期部分,例如:to_date("1970-01-01 00:00:00")="1970-01-01";
    year(string date)--返回时间字符串中的年份并使用int类型表示。例如:year("1970-01-01 00:00:00")="1970";
    month(string date)--返回时间字符串中的月份并使用int类型表示。例如:month("1970-01-01 00:00:00")="1";
    day(string date)--返回时间字符串中的天并使用int类型表示。例如:day("1970-01-01 00:00:00")="1";
    dayofmonth(string date)--返回时间字符串中的天并使用int类型表示。例如:day("1970-01-01 00:00:00")="1";
    hour(string date)--返回时间字符串中的小时并使用int类型表示。例如:hour("1970-01-01 11:58:59")="11";
    minute(string date)--返回时间字符串中的分钟数;
    second(string date)--返回时间字符串中的秒数;
    weekofyear(string date)--返回时间字符串位于一年中第几个周内,例如:weekofyear("1970-11-01 11:58:59")="44";
    datediff(string enddate,string startdate)--计算开始时间startdate到结束时间enddate相差的天数,例如 datediff('2009-03-01','2009-02-27')=2;
    date_add(string startdate,int days)--为开始时间startdate增加days天。例如:date_add('2018-12-31',1)='2009-01-01';
    date_sub(string startdate,int days)--从开始时间startdate减去days天。例如date_sub('2008-12-31',1)='2018-12-30';
    from_utc_timestamp(TIMESTAMP timestamp,STRING timezone)--如果给定的时间戳并非UTC,则将其转化成指定的时区下的时间戳;
    to_utc_timestamp(TIMESTAMP timestamp,STRING timezone)--如果给定的时间戳是指定的时区下的时间戳,则将其转化成UTC下的时间戳;
     
    以上是我整理的hive函数,不太全,可能有些有错误,手工打,见谅~
     

  • 相关阅读:
    ZYNQ. Interrupt(1)Private Timer
    RaspberryPi.1.开机与远程桌面
    ZYNQ. DMA基本用法
    ZYNQ. LwIP.PHY.KSZ9031RNX
    Verilog笔记.三段式状态机
    c语言.函数指针数组
    c语言学习笔记.链表.
    D3D基本框架:即D3D头文件分类
    win32窗口:关于鼠标定位位置偏移问题的原因及解决方法
    <转>C++基础知识: 引用
  • 原文地址:https://www.cnblogs.com/xiao02fang/p/9487389.html
Copyright © 2020-2023  润新知