CentOS7安装scala2.11.8+spark2.0.2

        说明：

（

1、安装JDK1.8+hadoop2.6+SSH：https://www.cnblogs.com/SysoCjs/p/10835793.html

2、安装hive1.2.2+mysql5.7：https://www.cnblogs.com/SysoCjs/p/10835954.html

）

Master 192.168.112.10

Slave1 192.168.112.11

Slave2 192.168.112.12

#master：表示在master节点上操作

#slave1：表示在slave1节点上操作

#slave2：表示在slave2节点上操作

 

一、下载资源包

#master

        可以使用wget命令下载资源包，但前提是你有对应版本的镜像下载地址。本人习惯是直接到到官网下载资源包到windows下面，然后通过ctrl+c和ctrl+v的方式，将资源包放到虚拟机上面，虚拟机也必须是有可视化操作界面。

至于为什么选择这两个版本，首先，scala开发，是要在IDEA上面操作的，可以在IDE上面查看scala的插件版本，本人使用的IDEA是2018.2版本，所以对应的scala版本是2.11.8.

二、解压资源包

#master

        将上一步下载回来的资源包拷贝到虚拟机的Desket，为了方便管理，使用mv命令统一移动到一个自己认为比较方便的文件夹下：

mv /home/cjs/Desktop/spark-2.0.2-bin-hadoop2.6.tgz /usr/local/src/
mv /home/cjs/Desktop/scala-2.11.8.tgz /usr/local/src/ 

去到src目录下，解压压缩包：

cd /usr/local/src/
tar -zxvf scala-2.11.8.tgz
tar -zxvf spark-2.0.2-bin-hadoop2.6.tgz 

三、配置相关文件

#master

• 配置scala

vim ~/.bashrc

追加配置项：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOME/bin

ESC退出编辑，摁shift+：后，输入wq保存修改，重启资源文件：

source ~/.bashrc

验证scala安装是否成功：

scala -version

远程分发文件到slave1和slave2：

scp -r /usr/local/src/scala-2.11.8 root@slave1:/usr/local/src/
scp -r /usr/local/src/scala-2.11.8 root@slave2:/usr/local/src/

#slave1、#slave2

vim ~/.bashrc

追加配置项：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOME/bin

重启配置文件：source ~/.bashrc

• 配置spark

进入spark的conf文件夹：

 cd /usr/local/src/spark-2.0.2-bin-hadoop2.6/conf/

编写spark-env.sh，因为本身是没有这个文件，所以采用cp的方式生成该文件：

cp spark-env.sh.template spark-env.sh

修改文件：

vim spark-env.sh

添加内容：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export JAVA_HOME=/usr/local/src/jdk1.8.0_201
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G

保存，退出。

SPARK_LOCAL_DIRS：此文件夹用于做shuffle和RDD数据

SPARK_DRIVER_MEMORY：驱动器内存大小

编写slaves文件，同样的，slaves文件也是没有的，采用cp方式生成：

cp slaves.template slaves
vim slaves

追加内容：

slave1
slave2

从注释可以看到，这个文件是决定worker节点在哪些机器上启动。

远程分发文件到slave1和slave2上：

scp -r /usr/local/src/spark-2.0.2-bin-hadoop2.6 root@slave1:/usr/local/src/
scp -r /usr/local/src/spark-2.0.2-bin-hadoop2.6 root@slave2:/usr/local/src/

启动spark集群：

/usr/local/src/spark-2.0.2-bin-hadoop2.6/sbin/start-all.sh 

在master机器上出现master节点，slave机器上出现worker节点，说明spark安装成功了一半，还有另一半通过测试才知道。

四、测试spark集群

在spark-2.0.2-bin-hadoop2.6根目录下：

#本地模式

./bin/run-example SparkPi 10 --master local[2]

#yarn集群测试

hadoop集群和spark集群都要打开

 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.0.2.jar 10

至此，说明spark安装100%成功