两个问题:1、服务崩了 2、服务启动不起来
问题1可能和数据以及代码有关,Spark服务崩溃也常见,一般它会自动重启
问题2是因为部署另一个Spark服务的时候,在/opt/hadoopclient/Spark2x/spark/jars文件夹下放了三个jar包:
kafka_2.11-0.11.0.1.jar
kafka-clients-0.11.0.1.jar
spark-streaming-kafka-0-10_2.11-2.3.1.jar
而另一个Spark服务依赖jar包:
kafka-clients-0.8.2.1.jar
kafka_2.11-0.8.2.1.jar
spark-streaming-kafka-0-8_2.11-2.1.0.jar
另一个服务启动的时候会优先加载spark/jars下面的三个jar包,而没有加载--jars启动参数的jar包,导致报错,服务直接启动不起来,而不是启动起来因报错而崩溃
解决:
删除spark/jars文件夹下的那三个jar包,spark服务正常启动