• datax在win10中的安装


    datax安装需要的环境

    JDK(1.8以上,推荐1.8)
    Python(推荐Python2.7.X)
    Apache Maven 3.x (Compile DataX)

    这里只讲下python的安装和配置

    python

    python官网下载

    https://www.python.org/downloads/windows/

    我这里下载的是2.7,傻瓜式安装(默认C盘,注意修改安装路径)

    安装成功后,配置环境变量(3.0版本以上的会自动配置)

    在path中新增python的安装路径(例:C:\python27

    测试是否安装成功

    cmd ==> 输入python,出现版本号即配置成功

    datax安装

     1.datax安装包

    下载地址:

    http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

    下载后解压至本地某个目录,进入bin目录

    我本地解压的路径(E:\datax\datax\bin)

    2.测试datax

    windows+R ==> 输入cmd,回车进入命令提示符界面

    依次输入

    e:

    cd E:\datax\datax\bin  (cd后是自己解压datax的bin路径)

    自检脚本

    python  datax.py  ../job/job.json

     最后出现以下页面即表明安装成功

     如果出现乱码

     在自检脚本前运行 CHCP 65001

     再次执行 python  datax.py  ../job/job.json 即不再乱码

    3.问题修复

    在执行 python  datax.py  ../job/job.json 时可能会出现以下报错:

    2022-04-01 23:22:10.153 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,
    您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
    2022-04-01 23:22:11.157 [main] ERROR Engine -

    经DataX智能分析,该任务最可能的错误原因是:
    com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
            at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
            at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
            at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
            at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
            at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
            at com.alibaba.datax.core.Engine.entry(Engine.java:137)
            at com.alibaba.datax.core.Engine.main(Engine.java:204)

    解决办法

    删除reader文件和writer文件夹下的 ._xxx 文件

    删除reader目录下的部分文件

     执行下面的命令

    del ._hdfsreader 
    del ._otsstreamreader 
    del ._otsreader 
    del ._txtfilereader 
    del ._ftpreader 
    del ._streamreader 
    del ._odpsreader 
    del ._cassandrareader 
    del ._hbase11xreader 
    del ._oraclereader 
    del ._postgresqlreader 
    del ._mysqlreader 
    del ._rdbmsreader 
    del ._mongodbreader 
    del ._ossreader 
    del ._sqlserverreader 
    del ._hbase094xreader
    del ._drdsreader 

    删除writer目录下的部分文件

     执行下面的命令

    del ._hbase11xsqlwriter
    del ._ocswriter 
    del ._adswriter 
    del ._drdswriter
    del ._hbase11xwriter 
    del ._hbase094xwriter 
    del ._sqlserverwriter 
    del ._osswriter 
    del ._mongodbwriter 
    del ._rdbmswriter 
    del ._mysqlwriter 
    del ._postgresqlwriter 
    del ._oraclewriter 
    del ._cassandrawriter 
    del ._odpswriter 
    del ._streamwriter 
    del ._ftpwriter 
    del ._txtfilewriter 
    del ._otswriter 
    del ._hdfswriter

    此时进入bin目录执行自检脚本,可正常启动

    python  datax.py  ../job/job.json

  • 相关阅读:
    Asp.net 弹出对话框基类 (输出alet警告框)
    Request.ServerVariables获取环境变量
    Asp.net 字符串操作基类(安全,替换,分解等)
    asp.net 取得远程的IP地址和浏览器类型
    存储过程得到三个值
    弹出无边框网页的Javscrpt代码
    .net打包自动安装数据库!
    精妙Sql语句
    关于跨语言站点搜索结果非预期的问题
    SharePoint服务器场环境安装升级补丁的详细步骤
  • 原文地址:https://www.cnblogs.com/nnnnmmmm/p/16136053.html
Copyright © 2020-2023  润新知