• GoldenGate抽取进程hang


    今早,同事说遇到的奇怪的GoldenGate延时问题,让帮忙看看。

    1、现象描述:

    A库上有2个抽取进程,(抽取进程1)后期投递给B库,(抽取进程2)后期投递给C库,两个进程抽取的内容基本相同。 抽取进程1 出现延时,延迟了1个多小时,而抽取进程2一切正常。

    2、处理过程:

    (1)、一般情况下,抽取进程很少会出现延迟的现象。如果出现延迟,通常是如下几种原因:

                       a. 数据变化量太大,抽取进程忙不过来。

                       b. 大的业务变更。例如:某张表直接update或者delete几千万甚至上亿条记录。

                       c. 存在长时间未提交的大事务。因为即使未提交的事务,GoldenGate也会抽取这个事务的数据变化,但抽取的这些信息不会写入trail文件,而是临时缓存到内存中,分配给GoldenGate的内存毕竟有限,如果这个长时间未提交的大事务占用了大量内存,则也可能会出现延迟。

    (2)、让同事执行 send extract ...., status 命令,想看看该进程当前的状态。 但反馈说该命令无响应,一会就超时报错。

    (3)、检查ggserr.log文件,无任何异常。

    (4)、执行info extract ....., showch命令,查看该进程的checkpoint信息。等待10分钟后,再次查看该进程的checkpoint信息。

    发现:该抽取进程的current checkpoint无任何变化 。这说明该抽取进程已经完全hang死,而不是因为抽取慢而导致延迟。

    (5)、此时, 只能利用strace 或者 pstack 等工具查看该进程的系统调用情况。

                 pstack 该进程:  无任何输出

                 strace 该进程:   只显示一条记录,futex(0X7f8b833fb9d0, FUTEX_WAIT, 35298, NULL

    (6)、至此,只能搜索MOS,通过关键字futex_wait, 找到Linux: Application Client Intermitttently Hangs (Doc ID 2278335.1)

                 大概是的意思是:操作系统的内核存在一个BUG,具体的BUG号未提供,服务器端程序运行一切正常,但客户端程序有可能会突然hang住。

    3、解决办法:

              尝试重启该抽取进程,但发现stop 该进程时,无响应。 没办法,直接 kill -9 该进程, 启动该抽取进程后,立即追平数据,无任何延迟。 从这个处理结果来看,也可以间接证明这一故障就是上述所提及的BUG。

  • 相关阅读:
    c++ 视频和教程下载站点
    SQL超时解决方法
    初学者必备:C++经典入门详细教程
    人生致命的八个经典问题
    字长与字节
    typedef用法(三)
    遍历搜索注册表
    数据库连接字符串大全 之 SQL服务器篇
    十五个步骤收获学习的习惯
    谈基于.net平台windows开发中的模式窗体.NET教程,.NET Framework
  • 原文地址:https://www.cnblogs.com/missyou-shiyh/p/13729757.html
Copyright © 2020-2023  润新知