• 大数据同步技术DataX和大数据清洗技术Kettle的使用


    教学视频:http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972

    我观看的是德拓云端培训门户,因为我没有使用德拓的实验环境,所以在看教学视频是难免会遇到一些错误

    首先是DataX的使用,

    因为没有用Danastudio,所以在下在完DataX后是在CMD里运行的

    遇到的问题有:
    1.DataX支持的是Python2,而我是python3,所以运行时提醒我print要加(),这个在Python2中是不用的,还有一个是Exception as e,而DataX中写的是Exception , e,这个在Python3中会报错,把这些改了之后就可以了

    2.json格式的书写,因为没有用Danastudio,json要自己来写,所以遇到了不少错误

    官方给了书写格式,可以根据自己的需要来修改:https://github.com/alibaba/DataX

    大数据清洗技术Kettle的使用

    这个视频里并没有用德拓公司的软件,所以和教学视频差不多,不过也遇到了一些坑

    1.jdk版本问题,我最初用的是jdk10.0,导致DB连接打不开,换成jdk1.8后就可以了

    2.视频里用的是PostgreSQL,不过我要用的是MySQL

    3.因为用的是mysql,所以在最后输出表时的目标模式不要写,我要视频里写上public后就报错了

  • 相关阅读:
    P31 整体更新或新增 PUT
    P30 整体更新/替换资源 PUT
    P29 自定义错误信息和错误报告
    python: openpyxl带格式复制excel
    Android控件与布局——基础控件RadioButton
    EditText 使用详解
    Linux内核内存检测工具KASAN
    ISP基础(10)-Gamma校正及其实现
    ISP基础(08)-动态范围压缩
    ISP基础(07)-自动曝光
  • 原文地址:https://www.cnblogs.com/liujinxin123/p/12380064.html
Copyright © 2020-2023  润新知