• 数据同步程序,利用数据库事务机制


    产生的原因:

      我们每天定时会在几点将new表数据同步到old表. 原先数据量不大.所以同步很快. 最近这两年每次需要同步100w条以上. 单次同步需要用10多分钟

    处理方法:

      数据产生的地方. 就从new表数据copy一份到old表.  这样将数据移动的高峰给分割开了. 

      事务机制: 如果未完成, 程序挂了,再次启动以后需要重新同步. 如果完成了即使程序重新启动也不会再次copy. 

    流程图: 

    好处

      1. 数据量分割, 所以即使数据量增长也不会有影响. 

      2. 表配置动态化. 程序里面不用写死固定哪些表. 而是采用配置文件进行配置. 

    源码

      https://files.cnblogs.com/files/blog-east/DataSync.rar

  • 相关阅读:
    面试
    二叉树- 二叉树直径
    排序算法
    JAVA编程
    JAVA编程
    JAVA中break和continue的区别
    HTTP的序列化和反序列化
    PL/SQL基础
    G. Game Design
    hdu 6703 array
  • 原文地址:https://www.cnblogs.com/blog-east/p/11890737.html
Copyright © 2020-2023  润新知