• Sqoop的安装与使用


    Sqoop的安装与使用

    2013年08月12日 ⁄ hadoop及周边sqoop ⁄ 共 1674字 ⁄ 字号    ⁄ 4条评论 ⁄ 阅读 3,766 views 次

    Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图

    image

    以下操作就是使用sqoop在mysql和hdfs之间转换数据。

    1.安装

    我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/usr/local目录下。

    首先就是解压缩,重命名为sqoop,然后在文件/etc/profile中设置环境变量SQOOP_HOME。

    把mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下。

    2.重命名配置文件

    在${SQOOP_HOME}/conf中执行命令

    mv  sqoop-env-template.sh  sqoop-env.sh

    在conf目录下,有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的,不必在意,我们只关心sqoop-site.xml即可。

    3.修改配置文件sqoop-env.sh

    内容如下

    
    #Set path to where bin/hadoop is available
    export HADOOP_COMMON_HOME=/usr/local/hadoop/
    
    #Set path to where hadoop-*-core.jar is available
    export HADOOP_MAPRED_HOME=/usr/local/hadoop
    
    #set the path to where bin/hbase is available
    export HBASE_HOME=/usr/local/hbase
    
    #Set the path to where bin/hive is available
    export HIVE_HOME=/usr/local/hive
    
    #Set the path for where zookeper config dir is
    export ZOOCFGDIR=/usr/local/zk

    好了,搞定了,下面就可以运行了。

    4.把数据从mysql导入到hdfs中

    在mysql中数据库test中有一张表是aa,表中的数据如下图所示

    image

    现在我们要做的是把aa中的数据导入到hdfs中,执行命令如下

     

    sqoop ##sqoop命令

    import ##表示导入

    --connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url

    --username root ##连接mysql的用户名

    --password admin ##连接mysql的密码

    --table aa ##从mysql导出的表名称

    --fields-terminated-by ' ' ##指定输出文件中的行的字段分隔符

    -m 1 ##复制过程使用1个map作业

    以上的命令中后面的##部分是注释,执行的时候需要删掉;另外,命令的所有内容不能换行,只能一行才能执行。以下操作类似。

    该命令执行结束后,观察hdfs的目录/user/{USER_NAME},下面会有一个文件夹是aa,里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容,字段之间是使用制表符分割的。

    5.把数据从hdfs导出到mysql中

    把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段,使用制表符分隔的。那么,我们现在数据库test中创建一个数据表叫做bb,里面有两个字段。然后执行下面的命令

     

    sqoop

    export ##表示数据从hive复制到mysql中

    --connect jdbc:mysql://192.168.1.113:3306/test

    --username root

    --password admin

    --table bb ##mysql中的表,即将被导入的表名称

    --export-dir '/user/root/aa/part-m-00000' ##hive中被导出的文件

    --fields-terminated-by ' ' ##hive中被导出的文件字段的分隔符

    命令执行完后,再去观察表bb中的数据,是不是已经存在了!

    sqoop就是一个数据转换工具,明白了吧!

  • 相关阅读:
    线程安全
    Thread 的join方法
    守护线程和用户线程
    LinkedList封装
    System.arraycopy的测试
    ArrayList封装
    常用算法
    Java并发---concurrent包
    Java并发--三大性质
    Java并发--final关键字
  • 原文地址:https://www.cnblogs.com/jamesf/p/4751539.html
Copyright © 2020-2023  润新知