• 编译hadoop,spark遇到的问题总结


    编译hadoop2.6.4 

    1、JDK8版本过高,换成JDK7;

    2、换成命令行mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true

    注意:检查命令中-符号,而不是中文—,-Dmaven.javadoc.skip=true编译时略过创建javadoc

    有可能遇到多次无法解决依赖报错,可先强制更新Maven所有依赖,执行命令:mvn clean install -U,再执行上述命令行)

    我当时是使用mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true命令,依然用的是jdk1.8 最后编译成功,如果maven部分依赖下载不下来可以换个网络试试

    Hadoop Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar

    编译spark 1.6.1 

    输入命令进行编译

    ./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -Pspark-ganglia-lgpl

    没想到才开始就报了个错

    [ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4:enforce (enforce-versions) on project spark-parent_2.10: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]

    看了一些warn提示,感觉可能是mvn版本不一致的问题。
    原因是 POM对maven版本进行了强制要求

    进入pom.xml文件发现maven版本为3.3.3,我的编译环境maven版本为3.3.1,遂改之(或者你也可以把maven版本升级),效果如下:

    http://blog.csdn.net/lsshlsw/article/details/48371651

  • 相关阅读:
    Linux下安装python
    oracle 12c使用问题总结
    oracle下载地址
    Informatica PowerCenter下载地址
    主流ETL工具
    【phonegap】下载文件
    eclipse显示包的层次关系
    UltraISO 9.6.5.3237
    Windows操作系统设置代理
    wireshark常用的过滤命令
  • 原文地址:https://www.cnblogs.com/rocky-AGE-24/p/7352459.html
Copyright © 2020-2023  润新知