• 使用Kettle工具进行增量数据同步


    使用Kettle工具进行增量数据同步

    使用Kettle工具进行增量数据同步 - 简书 (jianshu.com)

    增量同步的方式有很多种,我使用的是: 快照表 + 触发器
    需求:

    当主库库表发生增删改时,从库库表与主库库表数据保持一致。

    环境:
    1、Mysql
    2、kettle 7.1

    思路:

    1、在主库中,将需要同步的库表新建快照表,表结构一致。

    #创建同步临时表(insert)
    DROP TABLE IF EXISTS brch_temp_insert;
    CREATE TABLE brch_temp_insert like brch;
    
    #创建同步临时表(delete)
    DROP TABLE IF EXISTS brch_temp_delete;
    CREATE TABLE brch_temp_delete like brch;
    
    #创建同步临时表(update)
    DROP TABLE IF EXISTS brch_temp_update;
    CREATE TABLE brch_temp_update like brch;
    

    2、在主库中,分别新增库表的增、删、改的触发器。

    #创建同步表触发器(insert)
    DROP TRIGGER IF EXISTS tri_insert_brch;
    CREATE TRIGGER tri_insert_brch 
    AFTER INSERT ON brch
    FOR EACH ROW
    BEGIN
         insert into brch_temp_insert
         (  
            ROW_ID,
            BRCH_ID,
            BRCH_NAME
        ) 
        values(
            new.ROW_ID,
            new.BRCH_ID,
            new.BRCH_NAME
        );
    END;
    
    #创建同步表触发器(delete)
    DROP TRIGGER IF EXISTS tri_delete_brch;
    CREATE TRIGGER tri_delete_brch 
    AFTER delete ON brch
    FOR EACH ROW
    BEGIN
         insert into brch_temp_delete(
            ROW_ID
        ) 
        values(
            old.ROW_ID
        );
    END;
    
    #创建同步表触发器(update)
    DROP TRIGGER IF EXISTS tri_update_brch;
    CREATE TRIGGER tri_update_brch 
    AFTER update ON brch
    FOR EACH ROW
    BEGIN
         insert into brch_temp_update(
            ROW_ID,
            BRCH_ID,
            BRCH_NAME
        ) 
        values(
            new.ROW_ID,
            new.BRCH_ID,
            new.BRCH_NAME
        );
    END;
    

    2、新建一个转换,该转换只针对一张表的增删改。

     
    image

    3、新建‘表输入’控件,查询主库的快照表

     
    image
     
    image
     
    image

    4、新建‘插入/更新’控件,插入数据到从库的库表,查询的关键字要求唯一。

     
    image
     
    image
     
    image

    5、新建‘删除’控件,将主库的快照表中的数据删除。

     
    image
     
    image
     
    image

    注意:主库的库表,要新增针对增、删、改的三张表快照,三张表的步骤同上面的1 - 5 一致。

    6、新建作业控件

      分别将三个转换引用进来。
    
     
    image

    7、配置发送邮件服务

     
    image
     
    image

    8、完成



    作者:叫我老村长
    链接:https://www.jianshu.com/p/d0e34f966596
    来源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
  • 相关阅读:
    《1024伐木累》-小白篇之月侠-总章节五
    《1024伐木累-周末特别篇》-中彩票了,开发APP
    《1024伐木累》-有话直说,蛋疼~
    《1024伐木累》- 老王请客吃晚饭,介绍对象
    《1024伐木累》-小白篇之丽姐(前篇)-总章节四
    程序员最值得听的歌曲TOP10
    《1024伐木累》-职位不分贵贱,没房子怎么乐
    偶是一只别人眼里的程序猿
    《1024伐木累》-写代码写的娘炮了
    《1024伐木累》-小白篇之加班(结束篇)-总章节三
  • 原文地址:https://www.cnblogs.com/zkwarrior/p/14899045.html
Copyright © 2020-2023  润新知