• GaussDB(DWS):非侵入式备份及其在NBU上的应用


    摘要:Netbackup软件必须要有该集群所支持的OS的安装包,一种新的非侵入式备份架构呼之欲出。

    1. 通用的备份方案介绍

    除Netbackup深度定制的厂商外,通常数据库厂商都按XBSA接口来实现NBU备份。首先在集群内每个节点安装NBU客户端,通过XBSA发命令至本地NBU客户端,然后NBU客户端与远端服务器上的NBU服务端程序通信,将数据写入挂载于远端的磁带或磁盘设备。早期的GaussDB(DWS)便是采用如此方式,应用于线下场景。下图展示了这个备份架构原理。

    如上图,GaussDB的备份工具Roach,在每个节点都启动一至多个Roach agent进程,用于读取本节点的GaussDB数据,并将其存入缓存buffer。然后调用XBSA接口,将缓存数据转发给NBU处理。

    不难看出,该架构的特点就是Netbackup第三方软件需要侵入式部署到我们的集群内,备份进程也要使用安装NBU Client时一起提供的libxbsa64.so动态库才能使用XBSA接口。这样就隐含了一个前提:Netbackup软件必须要有该集群所支持的OS的安装包。但是,云上环境基本都是欧拉OS,或者鲲鹏服务器,目前针对这些系统并没有Netbackup软件的安装包,这个前提变得不可获得。更进一步,适配更多第三方厂商的备份协议时,当前架构就要求第三方厂商必须支持欧拉OS、鲲鹏等版本,增加了各种组合的复杂性,不利于生态拓展。于是一种新的非侵入式备份架构呼之欲出。

    2. 非侵入式备份架构介绍

    非侵入式架构下,第三方厂商的客户端软件不部署在GaussDB集群内。同时,GaussDB开发一个新插件,部署于远端备份服务器上,负责与集群内的Roach工具进行通信,于是架构变为下图所示:

    这里说的新插件就是Roach client组件,用户使用前需要提前在备份服务器上部署该组件。和Roach工具一样,该组件也不允许以root用户部署,应当新建一个普通用户,在该用户下部署。

    图中NBU只是一种示例,其它第三方软件对接时原理也是相同的。

    展开一点来说,集群内每个节点都有Roach agent进程负责本节点一至多个DN实例的数据备份,该进程会根据DN个数fork出多个子进程,每个Roach agent子进程负责一个DN。备份出来的数据会转发给远端备份服务器的Roach client进程,该进程内部又会根据DN个数fork出多个子进程,每个子进程负责与一个DN(亦对应一个Roach agent)通信。这里不能创建为线程是因为XBSA本身限制,每个进程才能独占一份NBU链接。即有如下映射关系图:

    从性能角度考虑,需要根据一定比例配备多个NBU media server服务器。比如GaussDB集群有200个节点,每4个DN对应一个备份盘或磁带,每10个GaussDB节点配备一台NBU media server,则共需20台media服务器。示意图如下:

    3. 云上非侵入式NBU备份的使用

    用户可通过DWS管控面发起NBU备份操作,发起之前需按照非侵入式方式提前部署好NBU环境和Roach client组件。

    首先,可在插件下载界面提前down下来Roach client组件包(OS版本需要与NBU media server的系统相同):

    然后配置快照策略,图中的备份服务器即是NBU media server。

    接下来就可以创建快照了:

    创建快照成功后,后期即可使用该快照来恢复集群。

    本文分享自华为云社区《非侵入式备份及其在NBU上的应用》,原文作者:dws。

     

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    扫雷!!!!!!
    各种版本的flash player下载
    酷炫3d投影
    CodeSmith连接Access,Sql,Oracle,mysql
    处理模型——使用加速度控制速度
    处理模型——缩放模型
    处理2D图像和纹理——创建一个3D爆炸效果,简单的粒子系统
    处理模型——对不同对象设置不同的世界矩阵,组合世界矩阵
    处理模型——使用BasicEffect类载入模型
    处理模型——使用自定义Effects和纹理绘制模型
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/14462558.html
Copyright © 2020-2023  润新知