• 【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例


    分布式存储环境:

    Dell PowerEdge机架式服务器;
    数据库类型:Hbase、Hive;
    16台物理服务器。


    故障:

    16台服务器节点,在每台物理服务器上平均有3台虚拟机,在虚拟机上配置分布式,上层部署的hbase数据库和hive数据库。数据库底层文件被误删除,导致数据库不可用。管理员联系北亚数据恢复中心恢复hbase和hive数据库的数据。


    分布式存储数据恢复过程:

    经过现场对环境的简单检测,北亚数据恢复工程师发现虚拟机还可以正常启动,但是虚拟机上部署的数据库块文件丢失。块文件丢失之后整个集群环境没有新的数据写入,底层数据损坏可能性比较小,具有较大的可恢复性。由于还没有对底层结构进行分析,再加上hbase和hive的算法和底层结构十分复杂,恢复概率无法准确判断。

    1、备份:
    A、将存储设备断电、关机,对物理服务器底层做备份。
    B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。
    C、北亚数据恢复工程师准备了一台数据恢复服务器,在这台数据恢复服务器上以只读方式挂载原服务器的硬盘,使用北亚磁盘备份工具进行完整的扇区对扇区的备份。
    D、备份完成后,由北亚数据恢复工程师提供详细报告,然后将原服务器硬盘交还给管理员。

    2、块文件结构分析:
    A、对每个虚拟机磁盘的块文件进行分析;
    B、分析文件底层的聚合方式;
    C、分析每个磁盘中数据的分布情况。

    3、Block文件key分析:
    A、定位数据库文件中的key信息;
    B、提取并解析数据库文件中key信息;
    C、整合数据库文件key信息。

    4、Block文件拼接:
    A、根据Block文件的key信息提取文件片段;
    B、对Block文件的片段进行拼接;
    C、校验拼接后的Block文件的正确性。

    5、Block文件导入:
    A、校验提取出的Block文件完整性及正确性;
    B、把提取出来的Block文件导入到hbase和hive数据库中。

    6、数据验证:
    A、由管理员对恢复出来的数据进行详细验证;
    B、如发现新问题,则复盘数据恢复过程查找问题原因并加以解决。


    北亚数据恢复服务:
    1、整个过程不会对原盘有任何的写操作,以确保原盘的数据安全;
    2、尽最大可能保证服务的操作可逆,确保人力可控范围内操作可回溯;
    3、提供后期数据保管和服务跟踪;
    4、以上所有操作在有备份的情况下进行,若不成功不影响其他数据恢复方案的进行。


    本次数据恢复周期:

  • 相关阅读:
    2020牛客多校第二场A.All with Pairs hash+kmp
    2020杭电多校第三场
    2020牛客多校第六场K.K-Bag (思维?)
    2020牛客多校第六场 G.Grid Coloring 构造
    2020杭电多校第一场
    2020牛客暑期多校训练营(第三场)D.Points Construction Problem 构造
    ACM模板_axiomofchoice
    关于deque的行为分析
    Codeforces Round #665 (Div. 2) 题解 (CDEF)
    Codeforces Global Round 10 题解 (DEF)
  • 原文地址:https://www.cnblogs.com/frombyte/p/15926307.html
Copyright © 2020-2023  润新知