• sqoop导出hive数据到mysql错误: Caused by: java.lang.RuntimeException: Can't parse input data


    Sqoop Export数据到本地数据库时出现错误,命令如下:

    sqoop export 
    --connect 'jdbc:mysql://202.193.60.117/dataweb?useUnicode=true&characterEncoding=utf-8' 
    --username root 
    --password-file /user/hadoop/.password 
    --table user_info_copy 
    --export-dir /user/hadoop/user_info 
    --input-fields-terminated-by "@"

    错误日志如下:

    Error: java.io.IOException: Can't export data, please check failed map task logs
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
        at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
    Caused by: java.lang.RuntimeException: Can't parse input data: '2,hello,456,0'
        at user_info_copy.__loadFromFields(user_info_copy.java:335)
        at user_info_copy.parse(user_info_copy.java:268)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83)
        ... 10 more
    Caused by: java.lang.NumberFormatException: For input string: "2,hello,456,0"
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
        at java.lang.Integer.parseInt(Integer.java:580)
        at java.lang.Integer.valueOf(Integer.java:766)
        at user_info_copy.__loadFromFields(user_info_copy.java:317)
        ... 12 more

      该错误的问题在于分隔符,因为您没有在配置单元表中指定分隔符,默认的配置单元分隔符是:

        ' 001'字段终止

        ' 002'的收藏品终止

        ' 003'终止的地图密钥

        LINES终止于' n'

      所以要解决问题,就需要更改配置单元创建或sqoop作业中的分隔符来解决问题。在本问题中,我的表示在本地通过界面化管理工具创建的,分隔符换成“,”就能解决问题了,若是其他分隔符则对应改变就行;或者,使用以下语句重新创建表格并指定分隔符来解决。

    ROW FORMAT DELIMITED FIELDS TERMINATED BY '分隔符'

    以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!

  • 相关阅读:
    idea语法检查红线隐藏配置
    spring security
    linux centos7下安装fastdfs
    定时任务在多个服务实例之间最多只执行一次
    C++11:01auto关键字
    chap3 数组 #C
    django之模型层 各种查询 数据库查询优化相关 事务使用
    django orm 中表与表之间建关系 视图层 路由层 django请求生命周期
    django 静态文件的配置 orm 中 字段与数据的增删改查 使用MySQL数据库
    BOM,DOM, JS,JQ
  • 原文地址:https://www.cnblogs.com/zimo-jing/p/9210968.html
Copyright © 2020-2023  润新知