ETL-拉链算法-1

参考链接：http://blog.csdn.net/nisjlvhudy/article/details/8559518

自己的理解：

 主要针对数据的状态变化

 表：原表：source

       目标表：target

       临时表：vt_new

       临时表：vt_inc

  vt_new将原表数据加工为容易处理的记录，增加起始时间与结束时间，即当日全量表

  vt_inc保存target与vt_new表对比后的结果，即增量表

  更新目标表

使用函数的参考链接：http://blog.csdn.net/rachel_luo/article/details/8073458

声明一个函数：

create or replace function data_common(P_ETLDATE date) return integer as
$body$
declare
    skyid integer;
BEGIN
   #将原表数据加工处理后插入vt_new
    insert into vt_new select id,name,balance,data_date,'29991231' from source where data_date=P_ETLDATE;
 #将目标表与当日全量表vt_new比较，将比较结果存入增量表vt_inc
 insert into vt_inc
    select id,name,balance,start_dt,'19900102' from vt_new VT where end_dt='29991231'
and(
     not exists (select 1 from target T where VT.id=T.id)
     or exists (select 1 from (select id, max(end_dt) end_dt from target group by id) TT                           where TT.id = VT.id  and TT.end_dt > P_ETLDATE));
#将增量表中的目标表中已存在的某条记录更新，更新结束日期
    update target t
   set end_dt=P_ETLDATE
   where end_dt='29991231'and exists
       (select 1 from vt_inc c
           where c.id=t.id and c.balance<>t.balance and c.start_dt=P_ETLDATE);
     #将增量表中的目标表中不存在的某条记录添加到目标表中
    insert into target
   select id,name,balance,start_dt,'29991231' from vt_inc where start_dt=P_ETLDATE;
     #删除两个临时表中的数据
    truncate table vt_new;truncate table vt_inc;
 
    skyid=1;
    return skyid;
END;
$body$
ANGUAGE 'plpgsql' VOLATILE;

使用函数：

select data_common('20140101');

insert into vt_inc
     select * from vt_new a left join target b on a.id=b.id and b.end_dt='29991231'
          where b.id is null or (a.name<>b.name or a.bal<>b.bal);

进阶拉链算法：http://blog.csdn.net/nsj820/article/details/5876895