• hive的udf制剂


    1.配置环境

    1.介绍jar包裹:hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar

    2.书写udf性能

    1.extends UDF
    2.又一次定义UDF的evaluate函数。
    package com.qunar.hiveudf;
    import java.text.SimpleDateFormat;
    import java.util.Calendar;
    import java.util.Date;
    
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    public class IsSundayOrSaturday extends UDF
    {
    	public Boolean evaluate(String dateString)
    	{
    		try 
    		{
    			//将string转化为date
    			String str = dateString.split(" ")[0];
    			SimpleDateFormat sdf= new SimpleDateFormat("yyyy-MM-dd");
    			Date date =sdf.parse(str);
    			
    			//将date转换为calendar
    			Calendar calendar = Calendar.getInstance();
    			calendar.setTime(date);
    			
    			//获取date的星期
    			int week = calendar.get(Calendar.DAY_OF_WEEK)-1;
    			if(week == 0 || week == 6)
    			{
    				return true;
    			}
    			else 
    			{
    				return false;
    			}	
    		} 
    		catch (Exception e) 
    		{
    			// TODO: handle exception
    			return false;
    		}
    	}
    }
    

    3.将jar包引入hadoop环境

    1.将jar放入hive的lib的物理文件夹下;

    2.打开hiveclient,增加jar包
    add jar /home/hive/lib/HiveUDF.jar

    3.创建一个暂时文件
    create temporary function IsSundayOrSaturday AS 'com.qunar.hiveudf.IsSundayOrSaturday'

    4.调用函数
    select IsSundayOrSaturday(intime) from user_tag

    注意:

    1.假设函数的參数中含有文件。则先要将文件放入hive的执行环境中
    add file /home/filename


    版权声明:本文博主原创文章。博客,未经同意不得转载。

  • 相关阅读:
    String类的常用方法(P小写)
    二维数组:判断是否有目标数
    java实现输入年份判断在哪一天(正则表达式待改进)
    Java实现八进制正整数转化为十进制数
    时钟和定时器
    电路的频率响应---带宽的定义
    stm32两轮平衡车资料
    二阶常系数齐次线性微分方程的解法
    同步积分
    陀螺仪信号解调
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/4804531.html
Copyright © 2020-2023  润新知