• kettle学习笔记,


    数据抽取

    下载kettle压缩包链接:

    Kettle官方网址:https://community.hitachivantara.com/s/article/data-integration-kettle,目前最新版本8.2版本的,不建议官网下载,贼慢,压缩包一个G左右的。

    Kettle的国内镜像:7.1版本,http://mirror.bit.edu.cn/pentaho/Data%20Integration/,8.2版本,http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/

    需要安装配置好jdk

    Window10环境下,双击Spoon.bat即可运行

    新建转换,orcal数据库连接方法

     连接池相关参数介绍:

    此池创建的连接的默认自动提交状态。
    defaultAutoCommit
    此池创建的连接的默认只读状态。
    defaultReadOnly
    此池创建的连接的默认TransactionIsolation状态
    defaultTransactionlsolation
    此池创建的默认连接目录
    defaultCatalog
    将用于在将连接返回给调用方之前验证此池中的连接的SQL查询。
    如果指定,此查询必须是至少返回一行的SQL SELECT语句。
    validationQuery
    指示在从池中借用对象之前是否验证对象
    testOnBorrovv
    对象返回池之前是否验证的指示
    testOnReturn
    指示空闲对象逐出器(如果有)是否验证对象。如果某个对象无法验证,它将从池中删除。
    testvthileldle
    空闲对象逐出器线程运行之间的休眠毫秒数。如果为非正,则不会运行空闲对象逐出器线程
    为此池启用准备好的语句池
    poolPreparedStatements
    可以同时从语句池中分配的打开语句的最大数目,如果没有限制,则为零
    maxOpenPreparedStatements
    控制PoolGuard是否允许访问基础连接
    accessToUnderlyingConnectionAllowed
    空闲对象逐出器线程运行之间的休眠毫秒数。如果为非正,则不会运行空闲对象逐出器线程。
    timeBetweenEvictionRunsMvillis

    #< 初始化连接 >
    dataSource.initialSize=10
    #<最大空闲连接 >
    dataSource.maxIdle=20
    #< 最小空闲连接 >
    dataSource.minIdle=5
    #最大连接数量
    dataSource.maxActive=50
    #是否在自动回收超时连接的时候打印连接的超时错误
    dataSource.logAbandoned=true
    #是否自动回收超时连接
    dataSource.removeAbandoned=true
    #超时时间(以秒数为单位)
    dataSource.removeAbandonedTimeout=180
    #<! 超时等待时间以毫秒为单位 60000毫秒/1000等于60秒 >
    dataSource.maxWait= 60000

    定义错误处理:、

    按住shift键从表输出拖到空操作,选择错误处理步骤

     右键表输出选择定义错误处理,出现如下页面,选择目标步骤为空操作,启用错误处理,以及想要显示的数据点击ok

     参考链接:http://www.kettle.net.cn/2794.html

    https://blog.csdn.net/sb___itfk/article/details/45392089

    https://www.kettle.net.cn/2814.html

  • 相关阅读:
    spring三大框架整合
    spring基础内容
    安装Apache报80端口被占用 pid 4
    Bugzilla说明
    管理员权限的用户
    mac怎么连接windows远程桌面
    java化测试神器-流量回放平台
    PyAutoGUI——图形用户界面自动化
    (Python OpenGL)【5】平移 PyOpenGL
    (Python OpenGL)【4】Uniform变量 PyOpenGL
  • 原文地址:https://www.cnblogs.com/jinseliunian/p/15668291.html
Copyright © 2020-2023  润新知