• cloudera learning3:Hadoop配置和守护进程logs


    Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等。

    Roles:在service配置时,由Cloudera Manager创建。比如NameNode是HDFS service的一个role。

    Role Group:对Role的管理,可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。

    Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。

    configuration priority: Role Instance > Role Group > Service

    Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。

    每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件,CM称之为client configuration,存放在/etc/hadoop/conf;一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。

    Hadoop守护进程的log主要包括NameNode,DataNodes,NodeManager,JobHistory Server的log.

    Application log包括YARN containers的log,以及spark,Hive等service的log

    .out文件:包含进程启动时的stdout和stderr。

    .log文件:service的log文件。

  • 相关阅读:
    线性表3 数据结构和算法08
    线性表3 数据结构和算法08
    线性表的链式存储结构
    OD使用教程9 调试篇09|解密系列
    线性表
    线性表
    线性表
    OD使用教程9 调试篇09|解密系列
    验证中英文数字和下划线中划线
    formEl.submit is not a function的原因
  • 原文地址:https://www.cnblogs.com/zhq1007/p/5918149.html
Copyright © 2020-2023  润新知