• Datax初使用


    为了掌握大数据采集技术,自学习了datax的使用

    简介:

    DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQLOracleHDFSHiveOceanBaseHBaseOTSODPS 等各种异构数据源之间高效的数据同步功能。

    首先下载datax.tar.gz

    运行datax.py需要一定的要求:1.JDK(1.6以上)  2.python版本2.x(因为源代码中的语法问题,其他版本会出现运行错误)

    本人安装的是python3.7,在datax.py中官方代码中的print没有加括号会导致运行时出错,我修改了源代码,加上括号之后还需要将 except Exception, e:改为 except Exception as e: 因为这是python3中的语法。

    利用datax.csv文件中的数据同步导入mysql中,首先需要配置json文件,这里可以在datax/job下,根据他提供的job.json来配置自己的json文件,配置好直接运行命令: python datax  json目录即可,  这里需要在datax/bin目录下运行此命令。

     

    遇到的问题:即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1000]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IPPort或者向 DBA 寻求帮助(注意网络环境).].  -  具体错误信息为:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server.]

    因为我之前将mysql版本改为8.x ,所以需要将其连接数据库的jdbc驱动包更换(其在目录dataxplugin eadermysqlreader下)

     

    乱码问题可通过输入命令 CHCP 65001解决

     

    至此数据成功导入到数据库中。

  • 相关阅读:
    css引入讲解及media
    css中的media
    IE6存在的一些兼容
    Eclipse 反编译插件JadClipse安装
    JavaScript 常用功能总结
    241个jquery插件—jquery插件大全
    javascript深入理解js闭包
    JS拖拽插件实现步骤
    JavaScript拖拽原理的实现
    js实现拖拽效果
  • 原文地址:https://www.cnblogs.com/zjl-0217/p/12392590.html
Copyright © 2020-2023  润新知