• sqoop导出mysql数据进入hive错误


    看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题,
    最后去每个节点ping mysql的ip地址,发现

    root@hslave1:/opt/cm-5.5.1/etc# ping 10.121.1.22
    PING 10.121.1.22 (10.121.1.22) 56(84) bytes of data.
    From 10.18.8.1 icmp_seq=1 Destination Port Unreachable
    From 10.18.8.1: icmp_seq=2 Redirect Host(New nexthop: 10.8.8.1)
    From 10.18.8.1 icmp_seq=2 Destination Port Unreachable
    64 bytes from 10.18.8.1: icmp_seq=3 ttl=53 time=20.7 ms
    64 bytes from 10.18.8.1: icmp_seq=4 ttl=53 time=19.0 ms
    64 bytes from 10.18.8.1: icmp_seq=5 ttl=53 time=22.8 ms
    64 bytes from 10.18.8.1: icmp_seq=6 ttl=53 time=20.9 ms
    64 bytes from 10.18.8.1: icmp_seq=7 ttl=53 time=19.1 ms
    64 bytes from 10.18.8.1: icmp_seq=8 ttl=53 time=22.4 ms

    可能原因:
    sqoop需要执行mr的所有机器都能连接mysql
    可能mysql jar包有问题

    最终解决:每个节点ping了一遍发现就没有错误了

  • 相关阅读:
    Flask 入门(五)
    Mac 系统root
    Flask 入门(四)
    Flask 入门(三)
    Flask 入门(二)
    Flask 入门(一)(Mac 系统)
    linux升级python2.7到3.7.0
    [20170825]11G备库启用DRCP连接3.txt
    [20170824]11G备库启用DRCP连接.txt
    [20170728]oracle保留字.txt
  • 原文地址:https://www.cnblogs.com/ggzone/p/10121135.html
Copyright © 2020-2023  润新知