在安装独立部署模式中遇见的坑:
步骤一:
解压安装:tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录 #最好是从根目录跟踪
步骤二:
改文件名并修改配置文件:
注意:这里slaves中当时我的里面有一个localhost 没有注释,所以导致了Master节点出现了两个Worker,一定要注释 或者 删除
# 首先将slaves.template 和 spark-env.sh.template 改名字
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh
# 修改slaves 添加你的节点名
#localhost # 一定要保证这里注释 或者 删除
hadp01
hadp02
hadp03
# 修改 spark-env.sh 添加Java环境 设置主节点名 端口号
export JAVA_HOME=/opt/module/jdk # 你的JAVA_HOME
SPARK_MASTER_HOST=hadp01 # 这里的hadp01是我的节点一的hostname
SPARK_MASTER_PORT=7077 # spark 端口号
我搜索了一下解决方法,里面有一个在 spark/sbin/spark-config.sh 中添加Java的环境
但是这里跟两个Worker没有直接的关系,不属于这里的坑,所以我就不赘述了
步骤三:
分发到其他节点:
[root@hadp01 spark]# xsync spark/ # xsync 是集群间的分发文件脚本,详细内容参见本人的HDFS学习之路
步骤四:
启动:
# 注意:没有配置环境变量,只能在Spark路径下来启动
[root@hadp01 spark]# sbin/start-all.sh