• 时间戳实现增量数据同步


    数据同步
    1、靠记录中本身的时间戳来增量更新

      分页获取必须排序(时间戳), 排序后也会出错(会出现记录跳过的情况),中途脚本停止更是会出错
      非分页的会出问题,脚本中断更会出问题(时间戳不能保证是从低到高)

      解决方法:

        1、分页条数为1、并排序但效率不高
        2、分页采用每次获取比当前时间戳大的的limit条数,再不断变化时间戳(会有问题)
        3、数据一次性全部取出来排序处理(适用于小数据量情况)

    2、时间戳存在缓存中,等全部处理完再更新时间戳
      普通分页仍旧会出现记录跳过的情况
      非分页的则不会出现问题(因为时间戳是最后才更新),脚本中断也不会出问题。

    总结:
    1、时间戳存在缓存中
      1、减少计算
      2、最后更新时间戳更不容易出问题,顶多会重复处理

    2、每次运行 取缓存中的时间(>=)和脚本当时的时间(<)数据,运行完成后设置当前时间到缓存


    历史数据的增量同步(不会更改的数据)

    1、用自增主键是最完美的,因为主键不会重复

      where id>x order by id asc limit xx

    2、时间戳

      错误的示范:where insert_time>lastmax_timestamp order by timestamp  asc limit xx 

      错误1:> 应该是>=, 但是如果用>=,会一直可以取出数据,陷入无限循环中

       错误2: 由于用了limit,limit中的可能有相同时间戳数据,并且前面用的>会丢失数据

      正确:where insert_time>lastmax_timestamp and insert_time<=current_timestamp  order by timestamp  asc limit xx 

         不断调整 lastmax_timestamp ,可以每次运行完就把 lastmax_timestamp  存储redis

        对于中间数据会变的,一定不能用  offset,limit(建议放弃这种方式) 

        

        之所以需要 insert_time<=current_timestamp 是因为时间戳可以相同,但主键不会重复

        注意:该方式同样适用于时间戳变化中的方式

      对于分表的可以在取到为空的时候,可以重新设定时间进行跨表操作

  • 相关阅读:
    HttpModule和HttpHandler
    SharePoint
    两种遍历Hashtable方法(小技巧)
    在线游戏开发人员的行话
    AS3 条件编译
    Flash开发MMORPG的时候一些技术障碍
    Java实现几种常见排序方法
    画贝塞尔曲线
    一一解答
    如何留住核心人才?
  • 原文地址:https://www.cnblogs.com/siqi/p/4316992.html
Copyright © 2020-2023  润新知