• oozie 4.1.0与4.2.0版本问题BUG


    oozie调用hive执行hql时的error
    java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn/32f78598-6ef2-444b-b9b2-c4bbfb317038/hive_2016-07-07_00-46-43_542_5546892249492886535-1
     
    4.1.0版本解决
    修改org.apache.oozie.action.hadoop.JavaActionExecutor
    位置:coresrcmainjavaorgapacheoozieactionhadoopJavaActionExecutor
     
    1、加入此方法
    加入全局变量
        public static final String HADOOP_REDUCE_JAVA_OPTS = "mapreduce.reduce.java.opts";
        private static final String JAVA_TMP_DIR_SETTINGS = "-Djava.io.tmpdir=";
    2、在该类中调用此方法 
     
    3、修改org.apache.oozie.action.hadoop.HiveMain
    位置:sharelibhivesrcmainjavaorgapacheoozieactionhadoopHiveMain
     
    4、用maven打包编译, mvn clean package -DskipTests
     
    5、替换对应的包的class文件
    oozie-core-4.1.0-cdh5.5.0.jar 更新
    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/jars
     
    oozie-sharelib-hive-4.1.0-cdh5.5.0.jar 更新
    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/jars
    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/oozie/oozie-sharelib-yarn/lib/hive
    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/lib/oozie/libserver
     
    6、修改oozie的hdfs的sharelib目录下的文件
    hdfs://xxd-hdfs-ha/user/oozie/share/lib/lib_20160706183059/hive/oozie-sharelib-hive-4.1.0-cdh5.5.0.jar
    hdfs://xxd-hdfs-ha/user/oozie/share/lib/lib_20160706183059/hive/oozie-sharelib-hive.jar
    这两个jar都是对应的oozie-sharelib-hive-4.1.0-cdh5.5.0.jar包,只是名不同。
  • 相关阅读:
    逻辑回归
    异常
    内部类
    接口
    多态
    final关键字(最终的)
    不能被继承的父类成员
    对象初始化的过程
    方法重写
    abstract关键字
  • 原文地址:https://www.cnblogs.com/liupeiyou/p/5649924.html
Copyright © 2020-2023  润新知