• Hadoop心跳机制源码分析


    正文: 

    一.体系背景 

    首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:

    1. hadoop的RPC机制(参考:http://www.cnblogs.com/sh425/p/6893491.html )
    2. 动态代理(参考 :http://www.cnblogs.com/sh425/p/6893662.html )
    3. Java NIO(参考 :http://www.cnblogs.com/sh425/p/6893501.html  )

    以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

    二.心跳机制 

    1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

    2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

    3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

    4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

    三.Datanode、Namenode心跳源码分析


    既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

    代码一:

    Java代码  
    1. /** 
    2.    * 循环调用“发送心跳”方法,直到shutdown 
    3.    * 调用远程Namenode的方法 
    4.    */  
    5.   public void offerService() throws Exception {  
    6. •••  
    7.     while (shouldRun) {  
    8.       try {  
    9.         long startTime = now();  
    10.          // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间  
    11.         if (startTime - lastHeartbeat > heartBeatInterval) {  
    12.           lastHeartbeat = startTime;  
    13. //Datanode发送心跳  
    14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,  
    15.                                                        data.getCapacity(),  
    16.                                                        data.getDfsUsed(),  
    17.                                                        data.getRemaining(),  
    18.                                                        xmitsInProgress.get(),  
    19.                                                        getXceiverCount());  
    20.           myMetrics.addHeartBeat(now() - startTime);  
    21.            
    22.           if (!processCommand(cmds))  
    23.             continue;  
    24.         }  
    25.          
    26.       •••  
    27.       }  
    28.     } // while (shouldRun)  
    29.   } // offerService  

    需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧: 

    代码二:

    Java代码  
    1. public DatanodeProtocol namenode = null;  

    namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧: 

    代码三:

    Java代码  
    1. this.namenode = (DatanodeProtocol)   
    2.     RPC.waitForProxy(DatanodeProtocol.class,  
    3.                      DatanodeProtocol.versionID,  
    4.                      nameNodeAddr,   
    5.                      conf);  

    其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898 。

    四.Tasktracker、Jobtracker心跳源码分析


    同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码: 

    代码四:

    Java代码  
    1. 代码一:  
    2. State offerService() throws Exception {  
    3.     long lastHeartbeat = System.currentTimeMillis();  
    4.     while (running && !shuttingDown) {  
    5.      •••  
    6.           
    7.         // 发送心跳,调用代码二  
    8.         HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);  
    9.   
    10.       •••  
    11.     return State.NORMAL;  
    12.   }  
    13.   
    14. 代码二:  
    15. HeartbeatResponse transmitHeartBeat(long now) throws IOException {  
    16.    •••  
    17.     HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,   
    18.                                                               justStarted,  
    19.                                                               justInited,  
    20.                                                               askForNewTask,   
    21.                                                          heartbeatResponseId);                                
    22. •••  
    23.     return heartbeatResponse;  
    24.   }  

    其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议: 

    代码五:

    Java代码  
    1. InterTrackerProtocol jobClient;  

    该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:

    代码六:

    Java代码  
    1. this.jobClient = (InterTrackerProtocol)   
    2.  UserGroupInformation.getLoginUser().doAs(  
    3.      new PrivilegedExceptionAction<Object>() {  
    4.    public Object run() throws IOException {  
    5.      return RPC.waitForProxy(InterTrackerProtocol.class,  
    6.          InterTrackerProtocol.versionID,  
    7.          jobTrackAddr, fConf);  
    8.    }  
    9.  });  

    代理的底层实现也是RPC机制。参考博客:http://www.cnblogs.com/sh425/p/6893491.html。

    转自:http://weixiaolu.iteye.com/blog/1544860

  • 相关阅读:
    构造TreeView
    vs2017和Xamarin
    最可能的原因使用的托管的处理程序,但是未安装或未完整安装asp.net
    网站搭建(二)
    网站搭建(一)
    .asp 和 .aspx
    第一天
    IMU的预计分算法
    VINS-MONO初始化
    VINS-MONO ProjectionFactor代码分析及公式推导
  • 原文地址:https://www.cnblogs.com/sh425/p/6893528.html
Copyright © 2020-2023  润新知