在提交spark-submit时添加参数即可
//这个是集群运行名称
--conf spark.driver.extraJavaOptions="-Xloggc:/tmp/gc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --name "test02 "
这个gc.log在集群上不一定在那个节点上,需要自己找,然后查看
查看日志监控:tail -f gc.log
在提交spark-submit时添加参数即可
//这个是集群运行名称
--conf spark.driver.extraJavaOptions="-Xloggc:/tmp/gc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --name "test02 "
这个gc.log在集群上不一定在那个节点上,需要自己找,然后查看
查看日志监控:tail -f gc.log