• 设置Hadoop+Hbase集群pid文件存储位置


    有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢? 
    因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 

    如何配置避免把进程文件写到临时目录下面呢? 

    一:Hadoop配置: 

    (1)修改hadoop-env.sh 
    修改如下,如果没有下面的设置,可以直接添加: 

    export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
    export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    NameNode 
    DataNode 
    SecondaryNameNode 
    进程pid存储 



    (2)修改mapred-env.sh 
    修改 
    export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    JobHistoryServer 
    进程pid存储 

    (3)修改yarn-env.sh 
    修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

    export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    NodeManager 
    ResourceManager 
    进程pid存储 


    二:Hbase的配置 
    修改hbase-env.sh 

    export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 


    上述配置,影响 
    HMaster 
    HRegionServer 

    进程pid存储 


    再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来: 


     




    如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关 
    进程,这样做比较危险,一般情况不推荐这样做 

    参考文章: 
    http://blog.csdn.net/xiao_jun_0820/article/details/35222699 


    最后欢迎大家扫码关注微信公众号:我是攻城师(woshigcs),我们一起学习,进步和交流!(woshigcs) 
    本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园,有什么问题随时都可以留言,欢迎大家来访! 

     

  • 相关阅读:
    Oracle PLSQL Demo
    Oracle PLSQL Demo
    Oracle PLSQL Demo
    Oracle PLSQL Demo
    Apache Commons Lang的StringUtils.isEmpty(STR)和StringUtils.isBlank(STR)
    随记MySQL的时间差函数(TIMESTAMPDIFF、DATEDIFF)、日期转换计算函数(date_add、day、date_format、str_to_date)
    jquery,checkbox无法用attr()二次勾选
    随笔记:如何使用Python连接(/操作)Oracle数据库(Windows平台下)
    MySQL获取随机数
    Python的模块调用
  • 原文地址:https://www.cnblogs.com/qindongliang/p/4894572.html
Copyright © 2020-2023  润新知