Spark 源码编译

写在前面

生产上的spark一般来说都是需要我们自己手动编译的，编译适合自己公司生产环境上的spark版本。参照官网http://spark.apache.org/docs/latest/building-spark.html

前置：使用Maven构建Spark需要Maven 3.5.4和Java 8.

Spark 源码编译

首先调大CacheSize

vim ~/.bash_profile
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
不把参数调大可能会报OOM的错误，如下：
[ERROR] Java heap space -> [Help 1]

方式一：不推荐

Spark 源代码中自带一个maven
./build/mvn -DskipTests clean package
这样编译出来的都是源代码中pom.xml中指定的版本
默认情况编译的是不支持yarn,hive,jdbc…这样就不能使用yarn,访问hive等

方式二：不能得到tgz的包

以上种种原因，我们坑定是需要自己指定hadoop,hive等等的版本
-P 通过-P来指定pom文件中的哪一个profile,是不能乱写的，必须要pom文件中有定义过才行
-Pyarn 让yarn生效
-Phadoop-2.7 指定的hadoop版本是2.7，默认是hadoop2.6
-Dhadoop.version=2.7.3 -D指定具体的小版本

支持yarn,并指定hadoop的版本：

# Apache Hadoop 2.6.X
./build/mvn -Pyarn -DskipTests clean package

# Apache Hadoop 2.7.X and later
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package

支持hive：

# With Hive 1.2.1 support

./build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests clean package

我们公司的版本是：
hadoop: hadoop-2.6.0-cdh5.7.0.tar.gz
scala:scala-2.11.8.tgz

直接来到下载的源码根目录,使用自己的maven,执行：

mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package

第一次编译会非常慢,会下载非常多的依赖
执行可能会报错： zinc
解决后，再次执行。但是这样的方式是不能得到类似.tar.gz这样的文件的。

方式三：推荐

上产上使用的方式是make-distribution.sh：文件
https://github.com/apache/spark/blob/master/dev/make-distribution.sh
就是封装好了许多maven的参数

–name： 指定打包出来的文件的名称，建议就使用hadoop的版本

源码的根目录执行：

./dev/make-distribution.sh 
--name 2.6.0-cdh5.7.0 
--tgz 
-Phive 
-Phive-thriftserver 
-Pyarn  
-Phadoop-2.6 
-Dhadoop.version=2.6.0-cdh5.7.0 

直接这样是会很慢的,要想快一点也是可以的
make-distribution.sh
找到源码根目录/dev/make-distribution.sh,
手动指定以下的版本，先注释掉，再贴进去就可以【生产最佳实践】

VERSION=2.4.3
SCALA_VERSION=2.11
SPARK_HADOOP_HOME=2.6.0-cdh5.7.0
SPARK_HIVE=1

保存退出，再次执行上面的编译命令

报错：
Failed to execute goal on project spark_launcher_2.11…

修改 下载源码的pom.xml，/repo 进行搜索

添加cdh的仓库

<repositories>
	...
	<repository>
		<id>cloudera</id>
	 	<name>Cloudera Repository</name>
	 	<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
	</repository>

</repositories>

保存退出，再次执行上面的编译命令

名字由来：

if [ "$MAKE_TGZ" == "true" ]; then
  TARDIR_NAME=spark-$VERSION-bin-$NAME
  TARDIR="$SPARK_HOME/$TARDIR_NAME"
  rm -rf "$TARDIR"
  cp -r "$DISTDIR" "$TARDIR"
  tar czf "spark-$VERSION-bin-$NAME.tgz" -C "$SPARK_HOME" "$TARDIR_NAME"
  rm -rf "$TARDIR"
fi

编译成功，成功文件位置在源代码的根目录下
spark-2.4.3-bin-2.6.0-cdh5.7.0

Spark 安装包目录结构说明：

bin/  存放客户端相关的脚本
conf/ 配置文件
data/ 存放测试数据
examples/ Spark自带的测试用例, 重点
jars/ 存放Spark相应的jar包, 2.x里面是散的
lib/
logs/
python/
sbin/ 存放服务端相关的脚本：启停集群...
work/
yarn/ 存放yarn相关的jar包

几个点：
1.make-distribution.sh 这个shell文件的学习 重点
2.编译过程的最佳实践，手动指定参数
3.编译出来的examples测试用例的学习

很多东西可以借助别人的，github等。对自己的代码也要学会复用，自己的代码总结好。新的项目说不定就能使用上