• spark源码(十一)Worker receive 总结


    onstart revice方法总结

        onstart
            1.启动定时发送 向自己 ReregisterWithMaster(一直运行)
            2.启动多线程 向master RegisterWorker
        msg: RegisterWorkerResponse 
            1.更新master  向自己 SendHeartbeat(一直运行)
            2.向自己 WorkDirCleanup (一直运行)
            3.向master WorkerLatestState 
        SendHeartbeat
            向master Heartbeat 
        WorkDirCleanup
            删除资源文件和 shuffleService.executorRemoved 文件
        MasterChanged
            只是被动接受消息,之更改自身的变量属性即可
        ReconnectWorker
            1.启动定时发送 向自己 ReregisterWithMaster(一直运行)
            2.启动多线程 向master RegisterWorker
        LaunchExecutor
            1.创建资源文件夹 修改资源总数
            2.向自己 ExecutorStateChanged //成功 失败 
            3.向master ExecutorStateChanged //失败的消息
        executorStateChanged: ExecutorStateChanged
            判断状态 调用 shuffleService.executorRemoved 服务
        KillExecutor(masterUrl, appId, execId)
            杀任务  但是没有找到回收资源代码 coresUsed memoryUsed 操作变量
        LaunchDriver(driverId, driverDesc, resources_)
            1.操作资源变量、资源文件、java参数、自定义参数
            2.向自己 DriverStateChanged 
        KillDriver(driverId)
            杀任务  但是没有找到回收资源代码 coresUsed memoryUsed 操作变量
        driverStateChanged @ DriverStateChanged(driverId, state, exception)
            1.操作资源变量
            2.回收资源
        ReregisterWithMaster
            1. 向master RegisterWorker 
            2.定时调用自己
        ApplicationFinished(id)
            executorStateChanged
        DecommissionWorker
            更改自己的状态
        WorkerSigPWRReceived
            1.DecommissionWorker
            2.向master WorkerDecommissioning //自己失联消息

    有一个猜测:
    KillExecutor KillDriver 之前或者以后都会调用 executorStateChanged driverStateChanged
    以便更改资源变量

  • 相关阅读:
    sprintboot 发布
    springmvc 常用注解
    react-navigation使用技巧
    Windows 10提示你不能访问此共享文件夹,因为你组织的安全策略阻止未经身份验证的来宾访问
    Python 精选文章
    自动化办公:python操作Excel
    VSCode 插件
    使用 Visual Studio Code(VSCode)搭建简单的Python+Django开发环境的方法步骤
    纯洁的微笑
    初进python世界之数据类型
  • 原文地址:https://www.cnblogs.com/wuxiaolong4/p/16687776.html
Copyright © 2020-2023  润新知