一、Oracle GoldenGate介绍
GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。
1、应用场景
1)高可用容灾
2)数据库迁移、升级（支持跨版本、异构数据库、零宕机时间、亚秒级恢复）
3)实时数据集成（支持异构数据库、多源数据库）
2、常用拓扑
（下图来自网络）
3、支持的平台和数据库
我这边几年前做过oracle到mysql的同步，也作过mysql到mysql的同步（支持不是很好，而且有DDL和DML的限制、字段类型限制等）
（下图来自网络）
4、OGG同步原理
源端通过抽取进程提取redo log或archive log日志内容，通过pump进程（TCP/IP协议）发送到目标端，最后目标端的rep进程接收日志、解析并应用到目标端，进而完成数据同步。
5、OGG相关进程
GoldenGate主要包含Manager进程、Extract进程、Pump进程、Replicat进程
1)Manager进程
不管是源端还是目标端必须并且只能有一个Manager进程，可以启动、关闭、监控其他进程的健康状态，报告错误事件、分配数据存储空间，发布阀值报告等。
2)Extract 进程
运行在数据库源端，负责从源端数据表或日志中捕获数据，然后捕获到的将写到本地trail文件。 想要复制的对象数据发生改变时，Extract进程 就会进行捕捉，当事务提交时，所有和该事务相关的日志记录被以事务为单元顺序的记录到trail文件中。Extract进程利用其内在的checkpoint机制，周期性的记录其读写的位置，实现断点同步。
Extract其实有两种捕获模式
A.传统模式
抽取方式：基于在线日志或归档日志进行抽取
B.Integrated模式（ Oracle Goldengate 11g版本）
抽取方式： Logmining server负责以LCR格式从数据库日志中捕获数据变化，extract进程再将这些数据存入 trail文件。
传统模式是大家非常熟悉的模式啦，平时搭建的都是传统模式。但是Integrated模式是Oracle Goldengate 11g版本才出现的，很多人会比较陌生，有兴趣的朋友也可以去了解一番。
3)Pump进程（可选）
运行在数据库源端， 其作用是将源端产生的本地trail文件，把trail以数据块的形式通过TCP/IP 协议发送到目标端。
但是如果如果不使用trail文件，那么extract进程在抽取完数据以后，直接投递到目标端，生成远程trail文件，那么这时候，Pump进程就可以不用配置(存在)了。
4)Replicat进程
运行在数据库目标端 ，负责读取源端传送到目标端的trail文件中的内容，并将其解析为DML或 DDL语句， 然后应用到目标数据库中。
Replicat两种模式
A.传统模式：基于sql交付，最常用的一种方式
B.Integrated模式（OGG12c）
对应这种模式，官方文档是这样描述的
Replicat 操作的过程如下：
读取源端传输过来的 trail 文件；执行data 数据过滤和转换操作；
DML操作：根据commit顺序，构造LCR；DDL 操作：Replicat 进程直接apply；
Replicat 通过lightweight streaming 接口和目标库后台进程（Database inbound server）建立 连接；
将LCR传输到inbound server，然后apply 这些数据到目标数据库。
两个Apply Servers的Integrated模式
其实对于进程的Capture and Apply Modes可以参考一下官方文档：
5)Server Collector进程
运行于目标端，作用就是把Extract/Pump进程投递过来的数据块重新组装成Trail文件。运行期间无需任何配置。是一个完全自动的进程
好了对GoldenGate的进程介绍到处就告一段落了。
6、OGG相关目录
dirbdb
dirchk：检查点文件，记录了该进程的检查点信息
dircrd
dirdat：trail日志文件，存放收取接手的日志文件
dirdef：用来存放通过DEFGEN工具生成的源或目标端数据定义文件
dirdmp
dirout
dirpcs：用来存放进程状态文件
dirprm：用来存放参数文件，该进程所配置的参数（edit param 进程组名 就是配置该文件）
dirrpt：用来存放进程报告（report）文件，可以查看该进程运行时的报错信息等（view report 进程组名 就是看该文件）
dirsql：用来存放SQL脚本文件
dirtmp：当事物所需要的内存超过已分配内存时，缺省存在此目录
dirwlt
dirwww
二、Oracle GoldenGate安装
1、安装环境
|
源端 |
目标端 |
|
|
IP地址 |
10.20.11.176 |
10.20.32.23 |
|
操作系统 |
RHEL6.6_X64 |
RHEL6.6_X64 |
|
数据库 |
ORACLE_11.2.0.4 |
ORACLE_11.2.0.4 |
|
OGG |
Version 12.2.0.1.1 |
Version 12.2.0.1.1 |
2、OGG下载
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html
http://download.oracle.com/otn/goldengate/12301/123012_fbo_ggs_Linux_x64_shiphome.zip
3、OGG安装
1)源端：
tnsname配置
开启归档等
archive log list alter database add supplemental log data; select supplemental_log_data_min from v$database; alter database force logging; (不是必须)
alter system set recyclebin=off;（更好的支持DDL）
show parameter recyclebin；
备注： 在oracle中可以通过rowid来定位某条记录，但是目标端的数据库和源端数据库的数据库可能完全不一样，所以无法通过rowid来确定源端数据库的逻辑变化，
这时附加日志supplemental log便登上了表演的舞台。数据库在开启附加日志功能后，对于源端的修改操作，oracle会同时追加能够唯一标示记录的列到redo log。
这样目标端数据库就可以知道源端发生了哪些具体的变化。
ogg安装（略）
2)目标端：
tnsname配置
开启归档等
ogg安装
[root@node1 oracle]# unzip 123012_fbo_ggs_Linux_x64_shiphome.zip [root@node1 oracle]# mv fbo_ggs_Linux_x64_shiphome /home/oracle/ogg_install [root@node1 oracle]# chown -R oracle:oinstall /home/oracle/ogg_install [oracle@node1 response]$ vi /home/oracle/ogg_install/Disk1/response/oggcore.rsp INSTALL_OPTION=ORA11g SOFTWARE_LOCATION=/home/oracle/ogg_install START_MANAGER=false MANAGER_PORT= DATABASE_LOCATION= INVENTORY_LOCATION=/home/oracle/ogg_install/ogg_log UNIX_GROUP_NAME=oinstall [oracle@node1 Disk1]$ ./runInstaller -silent -responseFile /home/oracle/ogg_install/Disk1/response/oggcore.rsp
至此OGG软件安装成功，为方便管理OGG可以设置环境变量
[oracle@node1 ogg_install]$ vi ~/.bash_profile
PATH=$PATH:$HOME/bin:/home/oracle/ogg_install
[oracle@node1 ogg_install]$ source ~/.bash_profile
[oracle@node1 ~]$ ggsci Oracle GoldenGate Command Interpreter for Oracle Version 12.3.0.1.2 OGGCORE_12.3.0.1.0_PLATFORMS_171208.0005_FBO Linux, x64, 64bit (optimized), Oracle 11g on Dec 8 2017 21:13:00 Operating system character set identified as UTF-8. Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved. GGSCI (node1) 1> create subdirs Creating subdirectories under current directory /home/oracle Parameter file /home/oracle/ogg_install/dirprm: created. Report file /home/oracle/ogg_install/dirrpt: created. Checkpoint file /home/oracle/ogg_install/dirchk: created. Process status files /home/oracle/ogg_install/dirpcs: created. SQL script files /home/oracle/ogg_install/dirsql: created. Database definitions files /home/oracle/ogg_install/dirdef: created. Extract data files /home/oracle/ogg_install/dirdat: created. Temporary files /home/oracle/ogg_install/dirtmp: created. Credential store files /home/oracle/ogg_install/dircrd: created. Masterkey wallet files /home/oracle/ogg_install/dirwlt: created. Dump files /home/oracle/ogg_install/dirdmp: created.
至此真正的OGG安装完毕，可以进行下面的数据同步部署了。
三、Oracle GoldenGate数据同步
1、源端配置
1)创建数据同步用户、表空间
SQL> create tablespace ogg_tbs datafile '/U01/app/oracle/oradata/testdb/ogg_data.dbf' size 30M autoextend on next 10M; Tablespace created. SQL> create user ogguser identified by "ogguser"; User created. SQL> alter user ogguser default tablespace ogg_tbs; User altered. SQL> grant create session to ogguser; Grant succeeded. SQL> grant dba to ogguser; Grant succeeded.
2)更改相关数据库配置
归档检查和更改：
SQL> archive log list Database log mode Archive Mode Automatic archival Enabled Archive destination /oracle/archivelog Oldest online log sequence 180 Next log sequence to archive 181 Current log sequence 181 若处于非归档模式，则改为归档模式： SQL> shutdown immediate Database closed. Database dismounted. ORACLE instance shut down. SQL> startup mount; ORACLE instance started. SQL> alter database archivelog; Database altered. SQL> alter database open; Database altered.
force_logging开启
SQL> select force_logging from v$database; FOR --- NO SQL> alter database force logging; Database altered. SQL> select force_logging from v$database; FOR --- YES
supplemental log开启
SQL> select supplemental_log_data_min from v$database; SUPPLEME -------- NO
SQL> alter database add supplemental log data; Database altered.
##切换日志，使更改生效
SQL> alter system switch logfile; System altered.
SQL> select supplemental_log_data_min from v$database; SUPPLEME -------- YES
关闭回收站（10g需要，11g可以不关闭）
SQL> show parameter recyclebin NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ recyclebin string on SQL> alter system set recyclebin=off; System altered. SQL> show parameter recyclebin NAME TYPE VALUE ------------------------------------ ------------------------------- recyclebin string OFF
3)配置manager进程
GGSCI (dg) 1> edit params mgr
port 7809 DYNAMICPORTLIST 7810-7880 --AUTORESTART ER *,RETRIES 5,WAITMINUTES 7 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7 LAGREPORTHOURS 1 LAGINFOMINUTES 30 LAGCRITICALMINUTES 45
MANAGER进程参数配置说明： PORT：指定服务监听端口；这里以7839为例，默认端口为7809 DYNAMICPORTLIST：动态端口：可以制定最大256个可用端口的动态列表，当指定的端口不可用时，管理进程将会从列表中选择一个可用的端口，源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口； COMMENT：注释行，也可以用--来代替; AUTOSTART：指定在管理进程启动时自动启动哪些进程； AUTORESTART：自动重启参数设置：本处设置表示每7分钟尝试重新启动所有EXTRACT进程，共尝试5次； PURGEOLDEXTRACTS：定期清理trail文件设置：本处设置表示对于超过7天的trail文件进行删除。 LAGREPORT、LAGINFO、LAGCRITICAL： 定义数据延迟的预警机制：本处设置表示MGR进程每隔1小时检查EXTRACT的延迟情况，如果超过了30分钟就把延迟作为信息记录到错误日志中，如果延迟超过了45分钟，则把它作为警告写到错误日志中。
4)配置extract进程
ogg 12版本可创建用户别名：
[oracle@dg ogg]$ ggsci GGSCI (dg) 3> add credentialstore Credential store created in ./dircrd/. GGSCI (dg) 4> alter credentialstore add user gguser alias ogguser Password: Credential store in ./dircrd/ altered. --这里就可以使用别名登录 (正常用户名密码 dblogin userid ggs,password ggs) GGSCI (dg) 3> dblogin useridalias ogguser Successfully logged into database.
GGSCI (dg) 5> add extract EXT01,tranlog,begin now EXTRACT added.
###可以通过命令add extract EXT01,tranlog,begin 2018-05-06 08:05:14，制定开始抽取的日志时间
GGSCI (customerdg) 6> edit params EXT01
##extract配置文件内容如下
EXTRACT ext01 SETENV (ORACLE_HOME="/U01/app/oracle/product/11.2.0.4") setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8") setenv (ORACLE_SID="testdb") useridalias ogguser GETTRUNCATES REPORTCOUNT EVERY 1 MINUTES, RATE DISCARDFILE ./dirrpt/ext01.dsc,APPEND,MEGABYTES 1000 WARNLONGTRANS 2h,CHECKINTERVAL 10m EXTTRAIL ./dirdat/ex TRANLOGOPTIONS EXCLUDEUSER gguser TRANLOGOPTIONS MINEFROMACTIVEDG DBOPTIONS ALLOWUNUSEDCOLUMN DYNAMICRESOLUTION FETCHOPTIONS FETCHPKUPDATECOLS --table table CUSTOMER.t_t1; table CUSTOMER.t_t2; table CUSTOMER.t_t3;
添加该extract对应的trail文件，用来存储抽取的数据。单个文件大小设置为100MB
GGSCI (dg) 1> add exttrail /home/oracle/ogg_install/dirdat/ex,extract ext01 MEGABYTES 100
EXTTRAIL added.
5)配置pump进程
为了避免primary extract受到网络的影响，我们在源端和目标端之间增加一个data pump，这样的话，primary extract负责将数据从源数据中抽取出来，存在本地的trail文件中，然后data pump进程负责将本地trail文件中的数据传输到目标端的trail文件里。这样能提高更高的灵活性和可用性(当源和目标端之间的网络出现故障时，primary extract会继续抽取数据存到本地的trail中)
GGSCI (dg) 5> edit params pump01 EXTRACT pump01 RMTHOST 10.20.32.23, MGRPORT 7809, compress PASSTHRU RMTTRAIL /home/oracle/ogg_install/dirdat/rt DYNAMICRESOLUTION --table table CUSTOMER.t_t1; table CUSTOMER.t_t2; table CUSTOMER.t_t3; GGSCI (dg) 14> add extract pump01,exttrailsource ./dirdat/ex EXTRACT added. GGSCI (dg) 15> add rmttrail /home/oracle/ogg_install/dirdat/rt,extract pump01 RMTTRAIL added.
2、目标端配置
1)创建数据同步用户、表空间
SQL> create tablespace ogg_tbs datafile '/U01/app/oracle/oradata/testdb/ogg_data.dbf' size 30M autoextend on next 10M; Tablespace created. SQL> create user ogguser identified by "ogguser"; User created. SQL> alter user ogguser default tablespace ogg_tbs; User altered. SQL> grant create session to ogguser; Grant succeeded. SQL> grant dba to ogguser; Grant succeeded.
2)归档开启
3)配置manager进程
GGSCI (node1) 1> add credentialstore Credential store created. GGSCI (node1) 2> alter credentialstore add user ogguser alias ogguser Password: Credential store altered. GGSCI (node1) 3> dblogin useridalias ogguser Successfully logged into database.
GGSCI (node1 as ogguser@testdb) 4> edit params mgr
port 7809 DYNAMICPORTLIST 7810-7880 --AUTORESTART ER *,RETRIES 5,WAITMINUTES 7 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7 LAGREPORTHOURS 1 LAGINFOMINUTES 30 LAGCRITICALMINUTES 45
GGSCI (node1) 1> start mgr Manager started. GGSCI (node1) 2> info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING
4)配置replicate进程
REPLICAT rep01 SETENV (ORACLE_HOME="/U01/app/oracle/product/11.2.0.4") setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8") setenv (ORACLE_SID="testdb") useridalias ogguser REPORT AT 01:59 REPORTCOUNT EVERY 30 MINUTES, RATE REPERROR DEFAULT, ABEND HANDLECOLLISIONS assumetargetdefs DISCARDFILE ./dirrpt/rep01.dsc, APPEND, MEGABYTES 1000 GETTRUNCATES ALLOWNOOPUPDATES --table map gguser.t_t1, target gguser.t_t1; map gguser.t_t2, target gguser.t_t2; map gguser.t_t3, target gguser.t_t3;
5)、添加checkpoint表
GGSCI (node1) 5> dblogin useridalias ogguser Successfully logged into database. GGSCI (node1 as ogguser@testdb) 6> add checkpointtable ogguser.checkpointtab Successfully created checkpoint table ogguser.checkpointtab.
GGSCI (node1 as ogguser@testdb) 7> add replicat rep01,exttrail /home/oracle/ogg_install/dirdat/rt,checkpointtable ogguser.checkpointtab REPLICAT added.
3、源端进程启动
1)源端启动mgr进程、extract进程、pump进程
GGSCI (dg) 20> start mgr Manager started. GGSCI (dg as gguser@testdb) 9> start ext01 Sending START request to MANAGER ... EXTRACT EXT01 starting GGSCI (dg as gguser@testdb) 12> start PUMP01 Sending START request to MANAGER ... EXTRACT PUMP01 starting GGSCI (dg as gguser@testdb) 14> info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING EXT01 00:00:03 00:00:03 EXTRACT RUNNING PUMP01 00:00:00 00:00:08
4、数据库初始化
1)源端导出数据
##创建导出文件目录、查看到处点SCN
select * from dba_directories; create directory DATA_PUMP_DIR as '/U01/oracle/oggdump'; col CURRENT_SCN format 999999999999999999999999; set line 200; set pagesize 20000; select current_scn from v$database; select dbms_flashback.get_system_change_number current_scn from dual;
##导出表数据
##只导出数据
expdp '/ as sysdba' directory=DATA_PUMP_DIR file=20180506.dmp tables=ogguser.t_t1,ogguser.t_t2,ogguser.t3 grants=n statistics=none triggers=n compress=n content=data_only FLASHBACK_SCN=54995990597 log=expdp.log
##只导出表结构
expdp '/ as sysdba' directory=DATA_PUMP_DIR file=20180506.dmp tables=ogguser.t_t1,ogguser.t_t2,ogguser.t3 grants=n statistics=none triggers=n compress=n content=METADATA_ONLY FLASHBACK_SCN=54995990597 log=expdp.log
##导出表结构和数据
expdp '/ as sysdba' directory=DATA_PUMP_DIR file=20180506.dmp tables=ogguser.t_t1,ogguser.t_t2,ogguser.t3 grants=n statistics=none triggers=n compress=n FLASHBACK_SCN=54995990597 log=expdp.log
2)目标端数据导入
##若表结构事前没有创建好，需要表结构和表数据一起导入，若表结构已创建，只需要导入表数据即可
##导入表数据 impdp '/ as sysdba' DIRECTORY=DATA_PUMP_DIR DUMPFILE=20180506.dmp REMAP_SCHEMA=source_user:target_user content=data_only LOGFILE=impdp.log ##导入表结构 impdp '/ as sysdba' DIRECTORY=DATA_PUMP_DIR DUMPFILE=20180506.dmp REMAP_SCHEMA=source_user:target_user content=METADATA_ONLY LOGFILE=impdp.log ##导入表结构和数据 impdp '/ as sysdba' DIRECTORY=DATA_PUMP_DIR DUMPFILE=20180506.dmp REMAP_SCHEMA=source_user:target_user LOGFILE=impdp.log
5、目标端进程启动
目标端启动mgr、replicate进程
GGSCI (node1 as ogguser@testdb) 9> start mgr Manager started. GGSCI (node1) 2> start rep01,aftercsn 54995990597 Sending START request to MANAGER ... REPLICAT REP01 starting GGSCI (node1) 4> info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING REPLICAT RUNNING REP01 00:00:00 00:00:00
四、Oracle GoldenGate管理
1、进程启动、关闭以及状态查看
启动：
GGSCI (node1) 1> start mgr Manager started.
##可以通过SCN启动
start rep01,aftercsn 54995990597
##可以通过时间启动
add extract EXT01,tranlog,begin 2018-05-06 08:05:14
关闭：
GGSCI (node1) 3> stop mgr Manager process is required by other GGS processes. Are you sure you want to stop it (y/n)?yes Sending STOP request to MANAGER ... Request processed. Manager stopped.
状态查看：
GGSCI (node1) 1> info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING REPLICAT STOPPED REP01 00:00:00 00:14:29 GGSCI (node1) 2> info rep01 REPLICAT REP01 Initialized 2018-05-04 16:29 Status STOPPED Checkpoint Lag 00:00:00 (updated 00:14:51 ago) Log Read Checkpoint File /home/oracle/ogg_install/dirdat/rt000000000 First Record RBA 0
2、进程添加、编辑、删除、配置文件查看
进程文件添加：
##抽取进程 add extract ext5,tranlog,begin now add exttrail /usr/local/mysql/ogg/dirdat/ex,extract ext5 ##pump进程 add extract pump01,exttrailsource /usr/local/mysql/ogg/dirdat/ex add rmttrail /oracle/app/ogg/dirdat/pt,extract pump5 ##检查点 add checkpointtable ogg.checkpointtab add replicat rep2,exttrail /oracle/app/ogg/dirdat/pt,checkpointtable ogg.checkpointtab ##别名
add credentialstore alter credentialstore add user ogguser alias ogguser
文件编辑：
##管理进程文件
edit params mgr
##抽取进程文件
edit params ext01
##传输进程文件
edit params pump01
##应用进程文件
edit params rep01
文件查看：
##管理进程文件 view params mgr ##抽取进程文件 view params ext01 ##传输进程文件 view params pump01 ##应用进程文件 view params rep01
文件删除：
GGSCI (node1) 5> dblogin useridalias ogguser
Successfully logged into database.
GGSCI (node1 as ogguser@testdb) 8> delete checkpointtable ogguser.checkpointtab This checkpoint table may be required for other installations. Are you sure you want to delete this checkpoint table? yes Successfully deleted checkpoint table ogguser.checkpointtab. GGSCI (node1 as ogguser@testdb) 9> delete rep01 Deleted REPLICAT REP01.
3、SCN和时间互转
##SCN转为时间戳
select to_char(scn_to_timestamp(54995990597),'yyyy-mm-dd hh24:mi:ss') from dual;
##时间戳转为为SCN
select timestamp_to_scn(to_timestamp('2018-05-06 08:05:14','yyyy-mm-dd hh24:mi:ss')) from dual;