• 第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)


     ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
     
    命令如下:

    sqoop import
    --connect jdbc:mysql://hadoop001:3306/d6_hive --连接的mysql库
    --username root --password 123456 --登陆mysql的用户名和密码
    --delete-target-dir --删除目标目录的已存在表否则跑mapreduce会报错
    --table city_info --mysql里要导入hadoop 的表名
    --hive-import --导入 (这里的导入导出是以hadoop为出发点)
    --hive-table city_info --导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
    --hive-overwrite --覆盖原来的数据
    --fields-terminated-by ' ' --字段之间的分隔用tab键
    --lines-terminated-by ' ' --行与行之间用回车键
    --split-by city_id --根据city_id来当作主键进行分割
    -m 2--生成两个文件

     解决方法:

    往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    然后刷新配置,source /etc/.bash_profile

    然后再执行一次一般就可以了。

  • 相关阅读:
    properties 插件安装
    FineReport 安装教程
    Red/Black Tree 演示
    java 日期转化
    Tomcat使用Log4j按天生成日志 亲测可行
    服务器初始化
    ubuntu-rc.local
    django-views
    https tcp ssl
    svn
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10551965.html
Copyright © 2020-2023  润新知