• 使用kettle制作拉链表


    拉链表是在数据仓库中常见的表,主要用还存储不按时间变化的表,比如客户基本信息表。

    下面先建两个实例表,user_info和user_info_l,其中user_info_l为拉链表。

    user_info表及数据:

    user_info_l表及转换后的数据:

    kettle的设计其实很简单,就一个“表输入”一个“维度查询/更新

    下面来看一下表输入的配置:

    这个很简单,但是一定要有个基本表的数据日期

    下面几个是“维度查询/更新”的配置:

    下面介绍一下设置中的关键地方,依次如下:

    1.不钩选的话变化的数据不会插入,至于不勾选时的用途,大家可以研究一下。

    2.这里是创建每个版本关键字,基本就是源表的主键。

    3.这里是要更新的字段,除了源表关键字,其他都选好了。

    4.截图的时候忘了到几了。。。

    5.kettle自动给啦链表生成的主键。

    6.代理关键字获取的方法。

    7.每条记录的版本号,每变化依次一个版本号。

    8.根据哪个字段判断是哪天更新的,也可以使用系统时间。

    9.拉链的最早开始日期,第一次插入空表时也是这个日期。

    10.拉链的最晚结束日期,更新的字段都使用这个值,被更新后变为更新的日期,可以参考上面图中user_info_l里的数据。

    我在用的时候发现了一个问题,不知道是bug,还是kettle有意为之。就是在插入拉链表时,会产生一条代理主键为0的空记录。可能是bug,也可能是kettle为防止数据出现问题,强制让其他字段为可以为空。

    要解决这个问题很简单,只需要在加一个删除的trans即可:

    生成记录的配置如下:

    然后把两个trans放到一个job里即可,job如下图:

    至此,拉链表便创建完成。

    如果在使用中,有疑问的同学可以联系我QQ:415426434.

  • 相关阅读:
    ThinkPHP 统计数据(数字字段)更新 setInc 与 setDec 方法
    JS正则表达式验证账号、手机号、电话和邮箱
    javascript document.referrer 用法
    location.hash详解
    window.location.hash属性介绍
    php伪静态
    文本框只允许输入数字.net/javascript
    ts文件编译后变量在vscode里报错
    win10虚拟桌面使用方法-提高工作效率
    vscode设置代码块
  • 原文地址:https://www.cnblogs.com/wanggs/p/5067904.html
Copyright © 2020-2023  润新知