SparkStreaming之 任务失败后,自动重启

一、通用脚本

当运行streaming任务时,可能会因为某些原因比如代码的bug,以及其他的因素导致streaming程序停止(FINISHED,KILLED,FAILED),虽然我们可以再手动重启一次程序,

但是这样还是比较麻烦的,接下来要做的就是让linux自动监控streaming程序是否停止,如果停止就自动重启,话不多说下面写重启脚本:

#!/bin/bash
        myapp_status=$(yarn application -list| awk '{print $2}'  | grep WBStreamingClusterDriver  | wc -l)
 
        if [ $myapp_status = 0 ];then
 
        echo 'adx_show is stop'
 
        nohup  /usr/java/checkpoint/wb2/wb_run.sh &
 
                echo "restart WBStreamingClusterDriver success !!!"  
 
else
 
        echo 'WBStreamingClusterDriver is running !!'
 
        fi

下面解释下,脚本的内容:

yarn application -list| awk '{print $2}' | grep WBStreamingClusterDriver | wc -l

这句话的意思在linux中查找你所运行的spark任务中  任务名称为WBStreamingClusterDriver的任务有没有,如果有则返回值是1,myapp_status=1,(如果你启动多次则返回几,其实就是这个任务的次数),如果没有这个任务就返回0,myapp_status=0

接下来就是if  else根据你的返回值来判断任务是否在执行,如果没有执行,则会启动spark submit 任务,重启你的streaming任务,我这里写的自己写的streaming脚本,你也可以直接写你的submit命令,结果一样,如果检测到你的程序在运行,则不会有影响,

因为这个脚本是你用来监控streaming的,如果你想每隔几分钟,运行一下这个监控脚本,需要写一个crontab,定时任务,比如

*/3 * * * * /usr/restart_wb.sh   这样就可以每隔3分钟检测一下你的streaming是否在运行,如果停止了则会自动重启了,没有停止则不会有影响.

二、如果是standalone模式

spark submit -supervise