第132讲：Hadoop集群监控：日志、Metrics学习笔记
一般用第三方工具，因为有针对性，可视化更好。
监控的目标是检测集群，在什么时候没有提供需要的服务。
hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode和nodemanager。
依据日志可以发现系统的发生的事件。从日志角度讲默认日志信息不够，希望改变日志的级别。这时可在故障排查时可以查看log4j。
log4j.property中可配置log4j。
metrics更有用。因为metrics可以收集hdfs/mapreduce守护进程的事件和统计信息。如datanode会收集写入的字节数，block复本数和客户端发起的读请求，操作的请求数，包括本地和远程。metrics存储于上下文，如hadoop使用的dfs/mapr/rpc等，metrics都会收集。
hadoop-metrics.property中可配置。默认所有上下文都配置成不发布metrics。
用户可以访问守护进程的metrics的信息。如想放在文件中可用fileContext，将metrics定到本地文件。
集群中监控的话，因为fileContext会把集群分为各个节点，给分析带来难度，所以用gangliaContext（后面讲）
以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第132讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。
微信公众账号：DT_Spark
电话：18610086859
QQ:1740415547
微信号：18610086859
新浪微博：ilovepains
王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！
可以通过王家林老师的微信号18610086859发红包捐助，目前已经发布的王家林免费视频全集如下：
1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq
2，《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu
3，《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu
4，《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25
5，《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF
6，《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd
7，Spark实战高手之路全部六阶段视频：http://edu.51cto.com/pack/view/id-144.html
8，《大数据Spark企业级实战》购买http://item.jd.com/11622851.html
第132讲视频网站地址：
|
51CTO |
http://edu.51cto.com/lesson/id-78712.html |