换了新工作,Java出身的我,弄点大数据的活.
datax安装
环境要求
1.jdk1.8
2.python
源码地址：https://github.com/alibaba/DataX
这里我下载的是最新版本的 DataX3.0 。下载地址为：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
解压
[root@localhost /]# tar -zxvf datax.tar.gz -C /opt/soft/
[root@hadoop ~]$ cd /opt/software/datax/
[root@hadoop datax]$ bin/datax.py job/job.json
出现如图则安装成功
json文件就不示例了,以下是springboot整合datax,主要的问题是jar包环境的问题,这个磨了好久才能出来.
先把源码下载或者clone下来, 用idea打开.
重点
1.在根目录的pom文件中,把不需要的模块给注释掉(打包时间短)
2.把你需要的转换的数据源模块打开,我的业务需要是txtreader和mysqlwrite.
3.这个时候,maven打包,先选择root打包(第一次需要)
重点又来了
4.
(1)在core包里面新建一个 plugin 目录,位置如下
(2)上图可以看出需要引一些东西.
在txtreader和mysqlwriter中的的target包中复制到上图的目录中,
mysql示例如图
(3)把core打包生成jar包(后面为我们的springboot项目使用)
ok,jar包环境搞定.不要问我为什么这么做,也是公司大佬教我的.不用像其他博客说的,一个一个打包,一个一个引入,一个一个写maven导入,太麻烦了
.
新建springboot项目
看图,大家大概了解了,给大家解释一下,新建目录变成资源目录,在把我们之前打好的jar包复制进去,其他两个是基础包,core是最重要的.下图是变成资源目录的方式
我们建立一个main方法
public class datax {
public static void main(String[] args) {
String getCurrentClasspath = "D:\project\datax\DataX\core\src\main";
System.setProperty("datax.home", getCurrentClasspath);
String[] datxArgs = {"-job", "D:\project\demo\src\main\job\txt2mysql.json", "-mode", "standalone", "-jobid", "-1"};
try {
Engine.entry(datxArgs);
} catch (Throwable e) {
e.printStackTrace();
}
}
}
解释一下:
getCurrentClasspath:是源码目录,不是指向项目的目录.
网上有教程说用环境变量的,但是我不会.
datxArgs 改变你的json目录就行.
json去github上研究就行.这里不介绍了.
这篇文章的重点是把打包后数据源jar包复制给core,core再打包一次就可以直接用了
————————————————
版权声明：本文为CSDN博主「csdn_ling_」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/CSDN_ling_/article/details/108664360