• kettle 教程(一):简介及入门


    介绍
    kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

    kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855,github 地址是 https://github.com/pentaho/pentaho-kettle。

    安装
    这边以 windows 下的配置为例,linux 下配置类似。

    jdk 安装及配置环境变量
    由于 kettle 是基于 java 的,因此需要安装 java 环境,并配置 JAVA_HOME 环境变量。

    建议安装 JDK1.8 及以上,7.0以后版本的 kettle 不支持低版本 JDK。

    下载 kettle
    从 官网 下载 kettle ,解压到本地即可。

    下载相应的数据库驱动
    由于 kettle 需要连接数据库,因此需要下载对应的数据库驱动。

    例如 MySQL 数据库需要下载 mysql-connector-java.jar,oracle 数据库需要下载 ojdbc.jar。下载完成后,将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

    注意:本文基于 pdi-ce-7.0.0.0-25 版本进行介绍,低版本可能有区别。

    启动
    双击 Spoon.bat 就能启动 kettle 。

    转换
    转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

    打开 kettle,点击 文件->新建->转换。

     

    在左边 DB 连接处点击新建。

     

    根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。

     

    在左侧找到表输入(核心对象->输入->表输入),拖到右方。

     

    双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。

     

     

     在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。

     

     按住 Shift 键,把表输入和插入/更新用线连接起来。

     

     双击插入/更新进行配置。

     

     点击运行,就可以运行这一个转换。

    运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。

     

    这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表。

    作业
    如果想要定时运行这个转换,那么就要用到作业。

    新建一个作业。

     

    从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。

     

    双击 START,可以配置作业的运行间隔,这边配置了每小时运行一次。

     

    双击转换,选择之前新建的那个转换。

     

    点击运行,就能运行这次作业,点击停止就能停止。在下方执行结果,可以看到运行的日志。

     

    这样就完成了一个最简单的作业,每隔1小时,将源表的数据迁移到目标表。

    总结
    kettle 是一个非常强大的 ETL 工具,通过图形化界面的配置,可以实现数据迁移,并不用开发代码。

    通过它的作业,kettle 能自动地运行转换。
    ————————————————
    版权声明:本文为CSDN博主「yujunyi_」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qqfo24/article/details/82190535

    L-Rui
  • 相关阅读:
    第04组(64)需求分析报告
    实验 7:OpenDaylight 实验——Python 中的 REST API 调用
    结对编程作业
    第01组 Alpha冲刺(5/6)
    第01组 Alpha冲刺(4/6)
    第01组 Alpha冲刺 (3/6)
    第01组 Alpha冲刺(2/6)
    第01组 Alpha冲刺(1/6)
    第01组(17)需求分析报告
    第01组(17)团队展示
  • 原文地址:https://www.cnblogs.com/Rui6/p/15065073.html
Copyright © 2020-2023  润新知