• Spark源码编译,官网学习


    这里以spark-1.6.0版本为例

    官网网址   http://spark.apache.org/docs/1.6.0/building-spark.html#building-with-buildmvn

    前提:使用Maven构建Spark需要Maven 3.3.3或更新版本和Java 7以上版本。

    Spark构建可以提供合适的Maven二进制文件; 见下文。

    1.用build/mvn 进行构建spark

    Spark现在包含一个独用的Maven安装,以便轻松地从本地源码的build/目录下构建和部署Spark。 此脚本将自动下载并设置所有必需的构建要求(Maven,Scala和Zinc)在本身的build /目录里。 如果已经存在任何mvn二进制文件,它将会被授予,否则将自动下载Scala和Zinc副本,确保正确的版本要求得到满足。 build / mvn执行作为一个传递到mvn调用,允许从以前的构建方法轻松转换。 例如,可以如下构建Spark的版本:

    build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

    这种方法没有测试,只看了官网的介绍,有兴趣大家可以自己测试一下。

    2.make-distribution.sh 方式

    要创建Spark分布,就像由Spark Downloads页面分发的那样,并且被布局为可运行,可以使用项目根目录中的make-distribution.sh。 它可以配置Maven配置文件设置等等直接的Maven构建。 例:

    ./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

    对于这个指令的更多的使用信息,可以help查看

    ./make-distribution.sh --help

    这种方式没有测试,依旧只看了官网的介绍,有兴趣大家可以自己测试一下

    3.maven进行构建spark

  • 相关阅读:
    使用vscode 用git 拉取代码,提示:在签出前,请清理存储库工作树
    区分手机端和pc端加载不同的样式
    关于vue的代码规范
    各种名词汇总整理
    ZB埋点汇总
    项目实战 OLAP数据提取
    大数据intern_1总结:数据埋点以及SQL复习
    leetcode 343+279+91+64+70 动态规划
    leetcode 241 加优先级括号
    leetcode 17+79+93+46+47+77+39+40+78+90+131+37 回溯法
  • 原文地址:https://www.cnblogs.com/tijun/p/7552828.html
Copyright © 2020-2023  润新知