• Hadoop元数据备份与恢复方案


    Hadoop元数据备份与恢复方案

    标签(空格分隔): Hadoop


    Namenode

    备份策略:

    周期性备份namenode、standby namenode的dfs.namenode.name.dir
    因为主从切换可能导致edits log分散在两台机器上,需要两台机器共同提供完整的edits log
    恢复步骤:

    1,删除journalnode数据文件,启动服务(所有jn均执行)
    2,登陆namenode
    3,下载最新的备份文件
    4,解压,移至dfs.namenode.name.dir
    5,执行hdfs namenode –initializeSharedEdits(hdfs namenode -initializeSharedEdits will initialize the shared edits directory with the edits data from the local NameNode edits directories)
    6,启动zkfc
    7,启动namenode
    8,登陆standby namenode
    9,执行hdfs namenode -bootstrapStandby(The bootstrapStandby command will download the most recent fsimage from the active NameNode into the $dfs.name.dir directory of the standby NameNode.)
    10,启动zkfc
    11,启动namenode

    适用场景:

    namenode、standby namenode全部故障
    如果只是一台namenode故障,可以清空name文件夹,执行hdfs namenode -bootstrapStandby

    Journalnode

    备份策略:


    恢复方法:
    从正常的jn节点拷贝数据,启动,即可。
    无需停止正常节点再拷贝,直接拷贝即可。这样拷贝会有部分缺失数据,故障节点启动后,不会补齐这些缺失数据,但不影响新数据的写入。对于缺失的edits,只要有一台机器上有,namenode就可以启动。

    适用场景:

    单个节点故障

    Zookeeper

    备份策略:

    周期性备份
    < dataDir >/version-2/acceptedEpoch
    < dataDir >/version-2/currentEpoch
    < dataDir >/version-2/snapshot.
    < dataLogDir >/version-2/log.
    其中snapshot、log备份最近的几份就行
    恢复步骤:
    1,登陆一台zookeeper服务器
    2,下载最新的备份文件
    3,解压,将data、datalog移至< dataDir>,并创建data/myid文件(与配置文件一致)
    启动服务
    4,其余节点配置data/myid文件,启动即可

    适用场景:

    部分或全部数据丢失
    如果只是单个节点故障,清空故障节点的data、datalog文件夹,启动后会自动从正常节点复制数据,无需人工恢复

  • 相关阅读:
    用Metasploit破解Mysql用户名和密码
    利用Android的UXSS漏洞完成一次XSS攻击
    Kali linux渗透测试常用工具汇总2-渗透攻击
    Kali linux渗透测试常用工具汇总1
    phantomjs模拟登录
    javascript中的面向对象
    javascript中的闭包
    Python的高级特性11:拓展基本数据类型(dict)
    Python的高级特性10:无聊的@property
    Python的高级特性9:蹩脚的多态
  • 原文地址:https://www.cnblogs.com/hit-zb/p/11718588.html
Copyright © 2020-2023  润新知