Greeplum 系列（六） 备份与恢复
http://www.dbdream.com.cn/category/greenplum/
先介绍几个命令查看 Greenplum 集群状态：
# 1. 查看所有 gp 节点状态
select * from gp_segment_configuration;
# 2. 查看 gp 正在执行那些 sql
select * from * from pg_stat_activity;
# 3. 查看 gp 节点状态，4.3之前是 gpstate -m
gpstate -s;
一、 Segment 节点恢复
1.1 备份原理
在 Greenplum4.X 版本中，主备之间的同步是基于文件级复制做的，在这种情况下，如果系统中有一个节点挂掉了，那么系统仍然可以继续运行，等到失败节点恢复的时侯，再根据主备之间的文件差异来同步数据。
在正常情况下， Primary Segment 中发生的变更都会体现数据文件的变化，同步进程监控到此变化，就会记录文件的同步状态，并且将文件变化数据块发送到 Mirror 节点中。除非 Primary 发生故障，否则 Mirror 会一直处于非活动状态，如图 6-1 所示。
当 Mirror 失败时， Primary 会记录下此阶段所有发生变更的文件数据块，等到 Mirror 节点恢复后开始同步。当 Primary 失败时， Mirror 节点会自动唤醒代替 Primary，此时两者的角色会发生变，系统状态会变为修改跟踪(Change Tracking)模式。待 Primary 恢复后，Primary 变成 Mirror 节点，并将这段时间的所有文件同步恢复。
1.2 失败节点恢复
在 Greenplum 中，提供了 gprecoverseg 脚本用于对失败的 Segment 节点进行恢复。 有增量恢复和全量恢复两种方式，所谓的全量恢复就是把失败的 Segment 节点的数据目录全部删除，再从其它节点完整的拷贝一份新的数据过来，而增量恢复只会拷贝新增的数据。
gprecoverseg 脚本会检查 Primary 与 Mirror 之间的文件差异，操作会导致整个数据库卡住，无法执行命令，如果文件比较多，这一步会耗时比较久文件差异比完之后， gprecoverseg 脚本就退出了，但这个时候，数据还没有完全同步成功，数据会在后台进行同步，同步状态会被修改成 Resynchronizing，同步完成后同步状态为 Synchronized。在同步的过程中，可以通过 gestate -m 命令査看同步的进度。
(1) 恢复所有失效的节点(增量恢复)
gprecoverseg
(2) 还原所有的 Segment 角色
首先，执行这一步之前必须确认所有的 Segment 都是 Synchronized 状态的：
# 查询结果为 0 时说明所有的节点都处于同步状态
select count(1) from gp_segment_configuration where status='d' or mode<>'s';
等待数据全部同步気成之后，运行恢复命令：
gprecoverseg -r
当然，重启数据库(gpstop -afr)也可以达到同样的效果。
(3) 全量恢复
有时候 Segment 被破坏，可能导致增量同步失败，这个时候只能采用全量同步。在进行全量同步的时候，应该使用 gprecoverseg 先将能增量恢复的节点先恢复了，然后再开始全量恢复，减少全量恢复的数据量。
gprecoverseg -F
Greenplum4.3 可以用 gpstate -s 查看节点状态，之前的版本用 gpstate -m。
二、 Greenplum Master 备份策略
(1) 添加 Standby Master
# 如果 $MASTER_DATA_DIRECTORY 节点已经存在(如 Master 节点恢复正常)，要先删除该文件空间
gpinitstandby -s smdw
在 gpinitstandby 初始化的过程中， Greenplum 会先用 gpstop -a 停止数据库，然后使用 utility 模式启动 Master，在数据字典(gp_segment_configuration)中增加 Standby Maste r的配置，关闭 Master。接着将攵件系统中的数据从 Master 上复制到 Standby Master 上，最后重新启动数据库即可。
(2) 删除 Standby Master
gpinitstandby -r
(3) 同步 Standby Master
gpinitstandby -n
(4) 激活 Standby Master
先模拟 Master 挂掉的情况，也可以直接将 Master 关机
gpstop -m
激活 Standby Master
gpactivatestandby -d $MASTER_DATA_DIRECTORY
注意：在执行 gpactivatestandby 命令之前要在 .bashrc 中添加如下配置：
source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
export PGPORT=543
(5) 重新激活 Master
执行 gpactivatestandby 后，查看 gp_segment_configuration 发布 mdw 节点已经不存在了，所以要重新激活 Master 要重复 1-4 步。
三、数据备份与恢复
3.1 备份
3.1.2 并行备份(gp_dump)
GP 同时备份 Master 和所有活动的 Segment 实例，备份消耗的时间与系统中实例的数量没有关系。在 Master 主机上备份所有 DDL 文件和 GP 相关的数据字典表，每个 Segment 备份各自的数据。所有备份文件组成一个完整的备份集合，通过唯一 14 位数字的时间戳来识别。
gp_dump dbname;
gp_dump 命令将在数据目录(如 /data/master/gpseg-1)生成如下的备份文件：
-- 在 Master 主机上
gp_catalog_1_<dbid>_<timestamp> -- 数据字典表
gp_cdatabase_1_<dbid>_<timestamp> -- 创建数据库 SQL 语句
gp_dump_1_<dbid>_<timestamp> -- 创建 schema SQL 语句
gp_dump_1_<dbid>_<timestamp>_post_data -- 创建 Table SQL 语句
-- 在 Segment 主机上
gp_dump_0_ <dbid>_<timestamp> -- 用户数据文件
gp_dump_status_0_ <dbid>_<timestamp> -- 日志文件
3.1.2 并行备份(gpcrondump)
gpcrondump -x dbname -- -x 指定数据库
在 Master 和 Segment 的数据目录创建备份文件：
-- Segment 数据的备份使用 gzip 压缩格式
<data_directory>/db_dumps/YYYYMMDD
使用 CRON 调度备份操作，定义一个调用 gpcrondump 的 crontab 条目。
-- 例如，在午夜1点备份 dbname 数据库
0 1 0 * * * gpadmin source $GPHOME/greenplum_path.sh;
gpcrondump –x dbname –c –g –G –a –q >> gp_dbnamedump.log;
-- 创建一个名为 mail_contacts 的文件放置在 GP SUPERUSER 的根目录。
vi /home/gpadmin/mail_contacts
-- mail_contacts 放入邮件地址
dba@company.com
3.1.3 非并行备份(pg_dump)
GP 依然支持常规的 PostgreSQL 备份命令 pg_dump 和 pg_dumpall，备份将在 Master 主机上创建一个包含所有 Segment 数据的大的备份文件。因此， 不适合于全部数据备份，适用于小部分数据的迁移或备份。
[gpadmin@mdw ~]$ pg_dump dbname > dbname.sql; -- 导出 SQL 脚本文件
pg_dump –Ft –gp-syntax dbname > dbname.tar; -- 导出包含分布键信息的 tar 文件
pg_dump –Fc dbname > dbname.dump; -- 导出到定制格式的归档文件
pg_dump –t tb_cp_02 dbname > tb_cp_02_dbname.sql; -- 导出单个表
pg_dump –t '"MixedTableName"' dbname > tab_dbname.sql; -- 导出混合大小写名称的表
pg_dumpall > all.dump; -- 集群备份
3.2 恢复
在决定使用恢复程序时，需确定以下几个问题：
-
备份文件在哪里？
如果备份文件位于 gp_dump 生成的原始位置，可以简单的通过 gp_restore 命令恢复；如果备份文件已经移除 GP 集群，使用 gpdbrestore 来恢复。 gp_restore、gpdbrestore 恢复的前提是 greenplum 仍正常运行。
-
是否需要恢复整个系统，还是只恢复数据？
如果 GP 仍在运行并仅需要恢复数据，使用 gp_restore 或 gpdbrestore 命令来恢复；如果丢失了整个集群或者需要从备份来重建整个集群，使用 gpinitsystem 命令
-
是否恢复的系统与备份时的系统具有相同数量的 Instance？
如果相同，使用 gp_restore 或 gpdbrestore 命令来恢复； 如果是在不同集群间迁移，必须使用非并行恢复。
3.2.1 并行恢复(gp_restore)(?????)
通过 gp_dump 产生的时间戳来辨识备份集合，恢复数据库对象和数据到分布式数据库中，每个 Segment 并行恢复各自的数据。被恢复的 GP 系统必须与备份的系统同构，否则只能使用串行恢复。
如果在备份时使用了参数：-s(仅模式)，-a(仅数据)，--gp-c(压缩)，--gp-d(修改备份文件目录)，那么在恢复时也要指定这些参数。
恢复数据库
createdb dbname;
-- 在Master主机，运行gp_restore命令(--gp-k 指定备份操作时间戳标识符，-d 指定恢复的数据库)
gp_restore –-gp-k=20131231001327 –d dbname;
gp_restore 命令将执行如下操作
(1) 在 Master 主机上
- 运行由 gp_dump 生成的 gp_dump_1_
_ 文件中 SQL DDL 命令，重建数据库的模式和对象； - 在 Master 数据目录生成日志文件，日志文件的名称为：gp_restore_status_1_
_ - gp_restore 在每个需要恢复的 Instance 上启动一个名为 gp_restore_agent 的程序，gp_restore_agent 进程在 Segment 主机上运行并向 Master 主机上的 gp_restore 进程报告状态
(2) 在 Segment 主机上
- 每个 Instance 使用 gp_dump 生成的 gp_dump_1
文件来恢复用户数据 - 每个 Instance 生成一个日志文件，名字为：gp_restore_status_1_
_
2.2 并行恢复(gpdbrestore)(?????)
gpdbrestore 命令是对 gp_restore 命令的包装，提供更灵活的选项，使用 gpcrondump 备份生成的备份文件来进行恢复。
createdb dbname -- 创建需要被恢复的数据库
-- 指定备份文件目录
gpdbrestore –b 20131231
-- 在 Master 主机上执行 gpdbrestore 命令(-R 指定备份文件所在的主机名和路径)
gpdbrestore –R archive_host:/gpdb/backups/archive/20131231
3.2.3 非并行恢复(pg_restore)
使用由 pg_dump 或 pg_dumpall 创建的备份文件来恢复，使用非并行恢复可以实现异构系统恢复。
-- 使用 pg_restore 或 psql 进行恢复
pg_restore –d dbname dbname.dump;
psql -d dbname –f tb_cp_02_dbname.sql;
3.2.4 非并行恢复异构系统
确保具备了全部的备份文件，包括 Master 和每一个 Segment 的文件，所有的文件具有相同的时间戳标识符
-- 1. 创建需要恢复的数据库
createdb dbname;
-- 2. 装载 Master 备份文件以恢复数据库对象
psql -d dbname -f /data/backups/gp_dump_1_1_20131231001327;
-- 3. 装载每个 Segment 的备份文件以恢复数据
psql –d dbname -f /data/backups/gp_dump_0_2_20131231001327;
psql –d dbname -f /data/backups/gp_dump_0_3_20131231001327;
-- 4. 恢复 Table 相关的对象，比如索引、触发器、主键约束等
psql –d dbname -f /data/backups/gp_dump_1_1_20131231001327_post_data;
来自《Greenplum企业应用实战》12 章 P287。
每天用心记录一点点。内容也许不重要，但习惯很重要！