搭建最新的 Spark 2.3.1 。
首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0 jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用
jdk 10 会有问题,所以老老实实使用 jdk8.0
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0
去往 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载 jdk 8.
我们可以下载 rpm 包,然后使用 ubuntu 的 alien 命令安装,这个命令可以把 rpm 包转成 debian 包之后进行安装非常方便。使用命令
sudo alien -i -c -v jdkxxxxx.rpm
进行安装
然后将其地址加入到用户的环境变量里面 bashrc zshrc xxxxx
export JAVA_HOME=/usr/java/jdk8.xxxx
这里注意一下,安装完了之后可能会有一些信息,有些是成功之后的提醒,有一些是警告可以看一下,我安装完毕之后没有出现什么问题。
下载最新版 spark
http://spark.apache.org/downloads.html
这里我下载了最新的 spark2.3.1 | Pre-built for Hadoop2.7 and later
解压
tar xvf sparkxxxx
然后使用命令
./bin/run-example SparkPi 10 测试是否安装成功
最后再去 spark-shell 看下是否能正常启动交互程序。
我之前尝试使用最新的 jdk10 ,在验证 pi 程序计算的时候是可以正常运行的,但是无法正常进入交互程序。装回 jdk8 就正常了所以 jdk 的版本要注意。
Reference:
https://help.ubuntu.com/community/RPM/AlienHowto Alien 用法
http://www.oracle.com/technetwork/java/javase/downloads/index.html JDK 列表
http://spark.apache.org/downloads.html Spark 官方下载源