• HDFS源码分析之NameNode(1)————启动过程


    源码:2.8.0

    入口类:org.apache.hadoop.hdfs.server.namenode.NameNode

    main方法会调用createNameNode 创建 NameNode 实例,如果是 FORMAT 戒 FINALIZE,调用对应的方法后退出,如果是其他的参数,将创建NameNode 对象。创建的服务如下:

    服务                             类                              
    server                   ipc.RPC.Server      server.namenode.NameNodeRpcServer
    serviceRpcServer         ipc.RPC.Server    
    HttpServer               http.HttpServer    
    Trash Emptier            fs.Trash.Trash.Emptier    
    hbthread                 hdfs.server.namenode.FSNamesystem.HeartbeatMonitor      
    lmthread                 hdfs.server.namenode.LeaseManager.Monitor    
    replthread               hdfs.server.namenode.FSNamesystem.ReplicationMonitor    
    dnthread                 hdfs.server.namenode.DecommissionManager.Monitor  
    

      

    初始化步骤如下:

    分析启动模式: Format(格式化NameNode元数据及日志信息)

    // Parse the rest, NN specific args.
        StartupOption startOpt = parseArguments(argv);
        if (startOpt == null) {
          printUsage(System.err);
          return null;
        }
        setStartupOption(conf, startOpt);

    准备工作:

    setClientNamenodeAddress(conf);  //设置clients访问nomenode或nameservice的访问地址  配置项fs.defaultFS  

    1.初始化登录认证,如果HADOOP开启了Kerberos认证,则进行认证。

    UserGroupInformation.setConfiguration(conf);
    loginAsNameNodeUser(conf);

    认证的配置信息来自hdfs-site.xml

    配置项
    Dfs.namenode.keytab.file		     	#keytab文件
    Dfs.namenode.kerberos.principal	          #kerberos认证个体

    最后调用接口进行认证

    //UserGroupInformation管理用户登录
    UserGroupInformation.loginUserFromKeytab(principalName, keytabFilename);
    

      

    2.如果当前启动的NameNode角色是启用状态,启动HTTPServer服务

        if (NamenodeRole.NAMENODE == role) {
          startHttpServer(conf);
        }
    

      

    3.创建RPCServer

    rpcServer = createRpcServer(conf);

    创建过程如下:

    #初始化NameNode线程数,dfs.namenode.handler.count 默认10
    int handlerCount = 
          conf.getInt(DFS_NAMENODE_HANDLER_COUNT_KEY, 
                      DFS_NAMENODE_HANDLER_COUNT_DEFAULT);
    
    #设置初始化的RPC Engine 
    RPC.setProtocolEngine(conf, ClientNamenodeProtocolPB.class,
            ProtobufRpcEngine.class);

    NameNodeRpcServer实现NamenodeProtocols  支持以下Rpc调用

    public interface NamenodeProtocols
      extends ClientProtocol,
              DatanodeProtocol,
              DatanodeLifelineProtocol,
              NamenodeProtocol,
              RefreshAuthorizationPolicyProtocol,
              RefreshUserMappingsProtocol,
              RefreshCallQueueProtocol,
              GenericRefreshProtocol,
              GetUserMappingsProtocol,
              HAServiceProtocol,
              TraceAdminProtocol {
    }

    NameNodeRpcServer

      /** The RPC server that listens to requests from DataNodes 
        ##Address配置:dfs.namenode.servicerpc-address 默认8022
        ##dfs.namenode.service.handler.count 处理线程数
      */
      private final RPC.Server serviceRpcServer;
      private final InetSocketAddress serviceRPCAddress;
    
      /** The RPC server that listens to lifeline requests 
       #
    dfs.namenode.lifeline.rpc-address 默认50070*/
      private final RPC.Server lifelineRpcServer;
      private final InetSocketAddress lifelineRPCAddress;
      
      /** The RPC server that listens to requests from clients
        dfs.namenode.rpc-bind-host 默认8020*/
    protected final RPC.Server clientRpcServer; 
    protected final InetSocketAddress clientRpcAddress;
  • 相关阅读:
    Jquery 复习练习(01)
    web前段 弹出小例子
    MacBook 显示隐藏文件夹命令
    sqlserver 纵横
    C#获取当前页面的url
    C# Json 转对象
    jquery导航栏
    AJAX
    hao dongxi
    微信网页获取openId
  • 原文地址:https://www.cnblogs.com/Dhouse/p/6890141.html
Copyright © 2020-2023  润新知