• hbase 的hdfs目录解析


    Hbase在hdfs上的存储位置,根目录是由配置项hbase.rootdir决定,默认就是"/hbase"

    其中hbase master 的webui 由参数hbase.master.info.port决定,一般配置为 60010

     [dip@g3-test-36 ~]$ hadoop fs -ls /hbase
    Found 7 items
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/.tmp
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/MasterProcWALs
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/WALs
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/data
    -rw-r--r--   3 dip supergroup         42 2020-07-30 15:43 /hbase/hbase.id
    -rw-r--r--   3 dip supergroup          7 2020-07-30 15:43 /hbase/hbase.version
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/oldWALs

    一、/hbase/.tmp

    当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

    二、/hbase/MasterProcWALs

    这部分存储的是hbase master的状态日志,仔细搜索了一下相关文章,发现cdh的社区大佬faston发表过一篇文章:《由MasterProcWals状态日志过多导致的HBase Master重启失败问题

    需要琢磨一下配置定期清理策略(cdh和apache环境)

    /hbase/WALs
    在该目录下,对于每个RegionServer,都会对应1~n个子目录

     /hbase/oldWALs

    当/hbase/WALs中的HLog文件被持久化到存储文件时,它们就会被移动到/hbase/oldWALs

    /hbase/hbase.id

    集群唯一的id

    /hbase/hbase.version

    集群的文件格式版本信息

  • 相关阅读:
    Python正则表达式
    机器学习--------SVM
    tensor内部结构
    Tensor类型
    Tensor索引操作
    常用的Tensor操作
    Tensor基本操作
    神经网络
    Autograd:自动微分
    nginx之fastcgi配置
  • 原文地址:https://www.cnblogs.com/students/p/13405380.html
Copyright © 2020-2023  润新知