Spark集群搭建记录 | 云计算[CentOS7] | Spark配置

本文目录

• • 写在前面
  • step1 Spark下载
  • step2 修改环境变量
  • • ~/.bashrc
    • /etc/profile
  • step3 配置Master-文件修改
  • • slaves
    • spark-env.sh
  • step4 配置slave节点
  • step5 集群启动
  • step6 web浏览器状态查看
  • step7 配置开机启动（可选）

写在前面

本系列文章索引以及一些默认好的条件在 传送门
要想完成Spark的配置，首先需要完成Hadoop的配置
Hadoop配置教程：链接

若未进行明确说明，均按照root用户操作

step1 Spark下载

下载链接
因为后续可能会涉及到很严重的版本问题，所以说在这里我们为了适配，选择2.4.0版本

下载后放在master主机的/usr/local下
然后解压并改名：
cd /usr/local
tar -zxvf spark-2.4.0-bin-without-hadoop.tgz.gz
mv spark-2.4.0-bin-without-hadoop spark
最后改变拥有者为：root
chown -R root:root spark

step2 修改环境变量

配置文件修改请勿盲目CV，应根据自己实际情况确定

~/.bashrc

vim ~/.bashrc
加入：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

source一下使其生效
source ~/.bashrc

/etc/profile

vim /etc/profile
加入：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

并source /etc/profile

step3 配置Master-文件修改

slaves

cd /usr/local/spark/conf
cp slaves.template slaves
vim slaves
修改为：

slave1
slave2

博主去掉了里面的localhost

spark-env.sh

cp spark-env.sh.template spark-env.sh
vim spark-env.sh
配置文件修改请勿盲目CV，应根据自己实际情况确定
比如JAVA_HOME、SPARK_MASTER_IP

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP= 这里要写上master的IP
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export SPARK_WORKER_MEMORY=1024m
export SPARK_WORKER_CORES=1

step4 配置slave节点

在主机操作：
cd /usr/local
tar -zcf spark.master.tar.gz spark
slave01-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave01-315:/usr/local/spark.master.tar.gz
切换slave01-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz

在主机操作：
cd /usr/local
slave02-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave02-315:/usr/local/spark.master.tar.gz
切换slave02-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz

step5 集群启动

在主机操作：
启动hadoop:
/usr/local/hadoop/sbin/start-all.sh
启动spark的Master
/usr/local/spark/sbin/start-master.sh
启动spark所有的slave
/usr/local/spark/sbin/start-slaves.sh
关闭集群只需要将start换成stop

step6 web浏览器状态查看

进入8080端口进行查看：

进入spark-shell:

然后进入web浏览器查看4040端口：

step7 配置开机启动（可选）

vim /etc/rc.local
请根据自己实际情况添加，切勿满目CV

su - root -c /usr/local/hadoop/sbin/start-all.sh
su - root -c /usr/local/spark/sbin/start-master.sh
su - root -c /usr/local/spark/sbin/start-slaves.sh

到此，spark配置结束
下一篇（运行scala程序实现单词技术）已经实现择时更新~，敬请期待
到时你将看到：