解决Spark集群无法停止
执行stop-all.sh时，出现报错：no org.apache.spark.deploy.master.Master to stop，no org.apache.spark.deploy.worker.Worker to stop
原因：
Spark的停止，是通过一些.pid文件来操作的。
查看spark-daemon.sh文件，其中一行：$SPARK_PID_DIR The pid files are strored . /tmp by default .
$SPARK_PID_DIR存放的pid文件中，就是要停止的进程的pid，其中$SPARK_PID_DIR默认是在系统的/tmp目录。
系统每隔一段时间就会清除/tmp目录下的内容。到/tmp下查看，如果没有Spark相关.pid文件，这就是导致Spark集群无法停止的原因。
解决：
查看spark-daemon.sh文件中.pid文件命名规则，其中一行：pid=$SPARK_PID_DIR/spark-$SPARK_IDENT_STRING-$command-$instance.pid
其中
$SPARK_PID_DIR是/tmp
$SPARK_IDENT_STRING是登录用户$USER，我的用户名是root
$command是调用spark-daemon.sh时的参数，有两个：
org.apache.spark.deploy.master.Master
org.apache.spark.deploy.worker.Worker
$instance也是调用spark-daemon.sh时的参数
因此pid文件名如下：
spark-cdahdp-org.apache.spark.deploy.master.Master-1.pid（在master机器中/tmp下创建）
spark-cdahdp-org.apache.spark.deploy.worker.Worker-1.pid（在每一台worker机器中/tmp下创建，如果一台机器开启了多个worker，就创建多个.pid文件，文件名最后的数字依次递增）
通过jps查看所有机器相关进程（master、worker）的pid数字。编辑所有.pid文件，把pid数字一一对应写入.pid文件，最后每个.pid文件中都是一个进程号。
然后执行spark的stop-all.sh，即可正常停止spark集群。
彻底解决：
在集群所有节点编辑spark-env.sh，增加一行：export SPARK_PID_DIR=/home/ap/root/app/pids
删除之前自己创建的所有.pid文件。
然后可以启动spark集群了。