使用Apache commons-maths3-3.6.1.jar包，在hive上执行获取最大值的操作

udf是对hive上的每行（单行）数据操作，现在我要实现对hive上的一列数据操作，udf函数已经满足不了我的要求了，使用udaf对hive的一列求最大值；

代码如下：

package com;

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.io.FloatWritable;
import org.apache.commons.math3.stat.descriptive.rank.Max;

public class MaxFloat  extends UDAF{
    public Object Max;
    public static class MaxiNumberIntUDAFEvaluator implements UDAFEvaluator{ 
        //最终结果 
        private FloatWritable result; 
        //负责初始化计算函数并设置它的内部状态，result是存放最终结果的 
        public void init() { 
            result=null; 
        } 
        //每次对一个新值进行聚集计算都会调用iterate方法 
        public boolean iterate(FloatWritable value) 
        { 
            if(value==null) 
                return false; 
            if(result==null) 
              result=new FloatWritable(value.get()); 
            else{
                Max max = new Max();
                double[] values = new double[2];
                values[0] = result.get();
                values[1] = value.get();  
                result.set((float) max.evaluate(values));
//                result.set(Math.max(result.get(), value.get()));                 
            }
            return true; 
        }                                                                                                                              
        //Hive需要部分聚集结果的时候会调用该方法 
        //会返回一个封装了聚集计算当前状态的对象 
        public FloatWritable terminatePartial() 
        { 
            return result; 
        } 
        //合并两个部分聚集值会调用这个方法 
        public boolean merge(FloatWritable other) 
        { 
            return iterate(other); 
        } 
        //Hive需要最终聚集结果时候会调用该方法 
        public FloatWritable terminate() 
        { 
            return result; 
        } 
    } 
}

按照这种格式写各种函数；

打成jar包（打jar包的步骤我之前的博客里有详细描述）

将jar包和测试数据导入linux

登入hive，执行以下操作：

add jar /home/data_service/ysf/jar_test/MaxFloat.jar;

create temporary function maxf as 'com.MaxFloat';

set hive.limit.optimize.enable=true;

set hive.fetch.task.conversion=more;

select maxf(num) from dim_number_test_ysf4;

结果如下：

源数据为：

0.33
1.33
0.27333
0.3
0.501
0.444
0.44
0.34496
0.33
0.3
0.292
0.667

总结：一开始，我以为udf可以，后面问其他同事，才知道原来udf只对hive单行数据进行处理，立马五脸懵逼，各种百度，没想到真找到了，感谢度娘。