sqoop

官网

http://sqoop.apache.org/

简介

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中 

安装

官方安装地址：http://sqoop.apache.org/docs/1.99.7/admin/Installation.html#server-installation

sqoop由两个部分组成，Sever和Client
Server: 在集群中的某个节点安装，它是客户端的入口
Client：可以被安装在任何地方

Server端安装

1、下载包：sqoop-1.99.7-bin-hadoop200.tar.gz，注意下载带bin的不要下载源码包
2、解压sqoop安装包

tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C apps/

3、重命名：

mv sqoop-1.99.7-bin-hadoop200/ sqoop

4、hadoop依赖配置，设置HADOOP_HOME环境变量即可

export HADOOP_HOME=/home/hadoop/apps/hadoop
source /etc/profile

5、hadoop配置，在hadoop core-site.xml中添加支持代理用户机制，主要是添加一下两个属性hadoop.proxyuser.$SERVER_USER.hosts和 hadoop.proxyuser.$SERVER_USER.groups，$SERVER_USER就是我们启动sqoop的用户(hadoop)，一般值设置为*即可

<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

配置好后，分发到其他的节点
scp core-site.xml m2:$PWD
scp core-site.xml m3:$PWD
4、第三方jar的支持，创建一个目录，里面存放第三方jar，然后配置环境变量SQOOP_SERVER_EXTRA_LIB指向它

mkdir extlib
export SQOOP_SERVER_EXTRA_LIB=/home/hadoop/apps/sqoop/extlib
source /etc/profile

5、添加bin目录到系统环境变量中

export PATH=/home/hadoop/apps/sqoop/bin:$PATH
source /etc/profile

6、配置Server,配置文件在conf目录下，根据具体情况进行调整，此处修改sqoop.properties中org.apache.sqoop.submission.engine.mapreduce.configuration.directory，指定为具体的hadoop安装目录下的配置文件目录

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/apps/hadoop/etc/hadoop

7、校验配置是否正确，使用如下的命令

sqoop2-tool verify

8、初始化，第一次启动的时候需要初始化，使用下面的命令进行初始化

sqoop2-tool upgrade

9、启动服务器

sqoop2-server start

10、停止服务器

sqoop2-server stop

Client端安装

客户端安装，拷贝安装包到其他机器即可，同时拷贝环境变量文件/etc/profile

source /etc/profile

启动客户端
sqoop2-shell