• Apache DolphinScheduler集成datax


    DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

    具体介绍这里不再赘述,官网和其他博客都很多:https://www.jianshu.com/p/f5f0dc99d5ab

    1.下载datax安装包及部署步骤

    官网:https://github.com/alibaba/DataX/blob/master/userGuid.md

    这里结合centos7搭建dolphinscheduler集群说说dolphinscheduler集成datax,这里也很简单,datax安装目录和dolphinscheduler配置目录保持一致即可

     这里解压到/opt/soft/目录下

    tar -zxvf datax.tar.gz -C /opt/soft/

    2.在DolphinScheduler后台配置datax任务,这里以mysql数据源为例,mysql->mysql,这里演示数据由test1->test2->test3中,需要配置两个任务,第一个任务test1->test2,第二个任务test2->test3,第一个任务完成后执行第二个任务,数据流配置如下:

    首先在数据源中心配置mysql数据源

     然后在项目管理里面创建数据流任务,在画布上拉去datax类型配置第一个任务,选择刚才配置的mysql数据源

     配置第二个任务

     3.数据流上线,并配置定时调度策略

     任务调度后执行成功:

     需要注意配置租户在worker机器上添加对应的user,window打包dolphinscheduler时脚本在Linux上执行一次可以看:windows打包脚本出现 /bin/sh^M: 坏的解释器: 没有那个文件或目录 错误

    百流积聚,江河是也;文若化风,可以砾石。
  • 相关阅读:
    订单模块
    69.Sqrt(x)
    28.Implement strStr()---kmp
    26.Remove Duplicates from Sorted Array
    27.Remove Element---两指针
    支付模块
    Oracle维护:每天的工作
    Oracle Hint
    latch相关视图整理
    oracle常用视图介绍
  • 原文地址:https://www.cnblogs.com/qixing/p/14322831.html
Copyright © 2020-2023  润新知