spark任务提交之后作业运行状态
在spark向yarn提交作业之后,正常情况下,作业运行结束之前,状态分为两种,分别是:accept以及running
一、accept
该状态表示Application已经提交给调度器。
在NEW_SAVEING转换为SUBMITTED状态的时候,RMAppImpl会除法StartAppAttemptTransition,这是会创建一个新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件给处理器,经过RMAppAttempt处理机。当该RMAppAttempt交给度器(的某个组)后,状态改为ACCEPTED。
二、running
AM已经启动并注册到RM上。两种情况下会转换为RUNNING状态:
AM启动会向RM注册,这时候会触发RMApplmpl状态转换为RUNNING。
RMAppImpl也有可能在Recovery模式下转换为RUNNING.
三、运行流程图
所以说,spark作业在提交之后处于accept状态的情况下,并不会占用driver端的内存。