• OGG_GoldenGate复杂参数定义(案例)


    2014-03-10 Created By BaoXinjian

     一、摘要


    1. Manger参数

    2. Extract / Pump参数

    3. Replicat参数

    4. GLOBAL参数

     

     二、Manger参数


    1. MANAGER常用参数

    (1). PORT

    指定服务监听端口,这里以7839为例,默认端口为7809

    (2). DYNAMICPORTLIST

    动态端口,可以制定最大256个可用端口的动态列表,当指定的端口不可用时,管理进程将会从列表中选择一个可用的端口,源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口;

    (3). COMMENT

    注释行,也可以用--来代替;

    (4). AUTOSTART

    指定在管理进程启动时自动启动哪些进程;

    (5). AUTORESTART

    自动重启参数设置,本处设置表示每3分钟尝试重新启动所有EXTRACT进程,共尝试5次;

    (6). PURGEOLDEXTRACTS

    定期清理trail文件设置,本处设置表示对于超过3天的trail文件进行删除。

    (7). LAGREPORT、LAGINFO、LAGCRITICAL

    定义数据延迟的预警机制,本处设置表示MGR进程每隔1小时检查EXTRACT的延迟情况,如果超过了30分钟就把延迟作为信息记录到错误日志中,如果延迟超过了45分钟,则把它作为警告写到错误日志中。

     

    2. 参数案例

    PORT 7839
    DYNAMICPORTLIST 7840-7939
    --AUTOSTART ER *
    AUTORESTART EXTRACT *,RETRIES5,WAITMINUTES 3
    PURGEOLDEXTRACTS./dirdat/*,usecheckpoints, minkeepdays 3
    LAGREPORTHOURS 1
    LAGINFOMINUTES 30
    LAGCRITICALMINUTES 45

     

     三、Extract / Pump参数


    1. Extrarct / Pump 常用参数

    (1). SETENV

    配置系统环境变量

    (2). USERID/ PASSWORD

    指定OGG连接数据库的用户名和密码,这里使用3.4部分中创建的数据库用户OGG;

    (3). COMMENT

    注释行,也可以用--来代替;

    (4). TABLE

    定义需复制的表,后面需以;结尾

    (5). TABLEEXCLUDE

    定义需要排除的表,如果在TABLE参数中使用了通配符,可以使用该参数指定排除掉得表。

    (6). GETUPDATEAFTERS|IGNOREUPDATEAFTERS

    是否在队列中写入后影像,缺省复制

    (7). GETUPDATEBEFORES| IGNOREUPDATEBEFORES

    是否在队列中写入前影像,缺省不复制

    (8). GETUPDATES|IGNOREUPDATES

    是否复制UPDATE操作,缺省复制

    (9). GETDELETES|IGNOREDELETES

    是否复制DELETE操作,缺省复制

    (10). GETINSERTS|IGNOREINSERTS

    是否复制INSERT操作,缺省复制

    (11). GETTRUNCATES|IGNORETRUNDATES

    是否复制TRUNCATE操作,缺省不复制;

    (12). RMTHOST

    指定目标系统及其GoldengateManager进程的端口号,还用于定义是否使用压缩进行传输,本例中的compress为压缩传输;

    (13). RMTTRAIL

    指定写入到目标断的哪个队列;

    (14). EXTTRAIL

    指定写入到本地的哪个队列;

    (15). SQLEXEC

    在extract进程运行时首先运行一个SQL语句;

    (16). PASSTHRU

    禁止extract进程与数据库交互,适用于Data Pump传输进程;

    (17). REPORT

    定义自动定时报告;

    (18). STATOPTIONS

    定义每次使用stat时统计数字是否需要重置;

    (19). REPORTCOUNT

    报告已经处理的记录条数统计数字;

    (20). TLTRACE

    打开对于数据库日志的跟踪日志;

    (21). DISCARDFILE

    定义discardfile文件位置,如果处理中油记录出错会写入到此文件中;

    (22). DBOPTIONS

    指定对于某种特定数据库所需要的特殊参数;

    (23). TRANLOGOPTIONS

    指定在解析数据库日志时所需要的特殊参数,例如:对于裸设备,可能需要加入以下参数rawdeviceoggset 0

    (24). WARNLONGTRANS

    指定对于超过一定时间的长交易可以在gsserr.log里面写入警告信息,本处配置为每隔3分钟检查一次场交易,对于超过2小时的进行警告;

     

    2. Extract参数案例 

    EXTRACTextnd
    setenv(NLS_LANG = "AMERICAN_AMERICA.UTF8")
    SETENV(ORACLE_HOME = "/u01/oracle/oracle/product/10.2.0/db_1")
    SETENV(ORACLE_SID = "ndtest")
    USERID ogg, PASSWORD oracle
    --GETTRUNCATES
    REPORTCOUNTEVERY 1 MINUTES, RATE
    DISCARDFILE./dirrpt/extnd.dsc,APPEND,MEGABYTES 1024
    --THREADOPTIONS  MAXCOMMITPROPAGATIONDELAY 60000 IOLATENS60000
    DBOPTIONS  ALLOWUNUSEDCOLUMN
    WARNLONGTRANS2h,CHECKINTERVAL 3m
    EXTTRAIL./dirdat/nd
    --TRANLOGOPTIONSEXCLUDEUSER USERNAME
    FETCHOPTIONSNOUSESNAPSHOT
    TRANLOGOPTIONS  CONVERTUCS2CLOBS
    TABLEolive.ol$_objects
    

     

    3. Pump参数案例

    EXTRACTdpend
    SETENV(NLS_LANG = "AMERICAN_AMERICA.UTF8")
    USERID ogg, PASSWORD oracle
    PASSTHRU
    RMTHOST10.122.0.113, MGRPORT 7839, compress
    RMTTRAILF:oggdirdat
    d
    TABLEolive.ol$_objects;

     

     五、Replicat参数


    1. 参数常用

    (1). ASSUMETARGETDEFS

    假定两端数据结构一致使用此参数;

    (2). SOURCEDEFS

    假定两端数据结构不一致,使用此参数指定源端的数据结构定义文件,该文件需要由GlodenGate工具产生。

    (3). MAP

    用于指定源端与目标端表的映射关系;

    (4). MAPEXCLUDE

    用于使用在MAP中使用*匹配时排除掉指定的表;

    (5). REPERROR

    定义出错以后进程的响应,一般可以定义为两种:

    (6). ABEND

    即一旦出现错误即停止复制,此为缺省配置;

    (7). DISCARD

    出现错误后继续复制,只是把错误的数据放到discard文件中。

    (8). DISCARDFILE

    定义discardfile文件位置,如果处理中油记录出错会写入到此文件中;

    (9). SQLEXEC

    在进程运行时首先运行一个SQL语句;

    (10). GROUPTRANSOPS

    将小交易合并成一个大的交易进行提交,减少提交次数,降低系统IO消耗;

    (11). MAXTRANSOPS

    将大交易拆分,每XX条记录提交一次;

     

    2. 参数案例 

     

     

     六、GLOBAL参数


    1. 参数常用

    2. 参数案例

     

     七、总结


    1. 常用命令

    (1). edit params命令

    (2). DBLOGIN USERID <user>, PASSWORD <password>

    (3). ADD TRANDATA命令

    (4). ADD EXTRACT 命令

    (5). ADD EXTTRAIL命令

    (6). EXTFILESOURCE <file name>意思

    (7). ADD RMTTRAIL命令

    (8). ADD REPLICAT命令

    (9). PURGEOLDEXTRACTS

    (10). AUTOSTART参数

    (11). DYNAMICRESOLUTION

    (12). SOURCEDB

    (13). PASSTHRU

    (14). ASSUMETARGETDEFS

    (15). REPERROR

    (16). 使用通配符

     

    Thanks and Regards


  • 相关阅读:
    java 抽象类
    ClassNotFoundException: dao.impl.ActionImpl
    侦听状态一直为T的处理
    Duplicate entry '1' for key 'PRIMARY'(报错)
    ibatis学习笔记
    java中的堆、栈和常量池
    servlet学习
    三大排序
    第一次面试??交流
    毕业季,学长,学姐们的践行
  • 原文地址:https://www.cnblogs.com/eastsea/p/4222523.html
Copyright © 2020-2023  润新知