• 如何处理大数据量抽数长期无响应


    在一个项目上线过程中,由于一些模型数据量巨大,抽数十分缓慢,长期在黄灯状态,monitor的消息是:missing messages.

     

    处理几次类似问题后,总结了一点经验:

     

     

    首先检查系统的一些参数设置是否正确,和抽数相关的参数包括:

    1. 检查系统链接是否正常:SM59

    2. SBIW进行传输设置:

    IDOC频率:多少个数据IDOC后返回一个消息IDOCmonitor中,要收到消息IDOC才能确认数据传输完成,否则一直等待直到报missing messages错误)。当IDOC数据包比较大时,建议降低频率,这样可以及时发现问题。一般在5-10之间,不超过20

    IDOC数据包:每个数据包包含几条记录,通常在5000~20000之间。一般,每个加载进程不要超过100个数据包,因此大抽取大量业务数据时,最好将该值设得大一点。例如:50000oracle/sql server)10000informix)

    3. 根据数据量,估计设置infopackage执行时的最长等待时间, 并设置好timeout的时间

    4. 设置TRFC最大连接数:SM58

     

    然后,根据监控器反馈的信息及时处理问题:

    1. 若监控器的xxxx from yyyy一直在变化,说明数据一直在传输中,正常情况下会一直到xxxx=yyyyyyyy为源的数据量。

    2. 若监控器的xxxx from yyyy不动了,则有问题,应当看看detail的消息。一般会出现missing messages, 是抽数线程太多造成SQL 死锁。这时,则应通过SM50观察抽数进程是否扔在工作。若抽数进程不动了,应去SM58观察TRFC的情况,手工执行(F6)死锁的TRFC以及长时间等待的TRFC。此时SM50中的进程应该继续工作了。

    3. 观察监控器,直到数据全部抽取到BW并完成处理。若数据全部抽完(xxxx=yyyy),但一直出于missing messages的黄灯或红灯状态,则可以手工置红request,然后手工更新数据包,然后再手工置绿。有时,还需要手工roll up.

    4. 数据量大的话,最好先做full update,然后再做无数据的initial

    5. 数据量很大的话(千万以上),full update时,最好按时间段或凭证号分次上数。

    这个是很早之前写的,讲的不够全面,先放上来,有时间再慢慢改。欢迎大家补充...

    满怀希望,期待未知的旅程。

     

    Pasted from <http://blog.vsharing.com/WKingChen/A1151720.html>

  • 相关阅读:
    设计模式之适配器模式(Decorator)
    可复用面向对象软件的基础
    dpkg命令的用法
    UML类图几种关系的总结
    Java多线程并发编程之原子变量与非阻塞同步机制
    Java内部类总结
    多线程并发编程之构建自定义同步工具
    多线程并发编程之显示锁ReentrantLock和读写锁
    多线程并发编程之变量
    汇编语言学习系列 冒泡排序实现
  • 原文地址:https://www.cnblogs.com/hanmos/p/2584889.html
Copyright © 2020-2023  润新知