使用Load语句执行数据的导入
语法:
load data [local] inpath 'filepath' [overwrite] into table tablename [partition (partcoll=val1, partcal2=val2...)]
explain: local是从本地导入,无local则默认从HDFS导入,overwrite是否覆盖表中存在的数据。
本地:
导入本地一个文件
load data local inpath 'localFilePath' into table tableName; load data local inpath 'localFilePath' into table tableName partition(gender='M');
导入本地一个目录下的文件,覆盖原有数据
load data local inpath 'localDirPath' overwrite into table tableName;
导入HDFS文件
load data inpath 'localFilePath' into table tableName;
使用Sqoop进行数据的导入
(1)下载: http://www-us.apache.org/dist/sqoop/1.4.6/
(2)解压: # tar -zxvf sqoop-1.4.6.bin__hadoop-0.23.tar.gz
(3)配置:
# export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.7.3/
# export HADOOP_COMMON_HOMW=/usr/local/src/hadoop-2.7.3/
连接oracle数据库时,ojdbc.jar 放到sqoop的lib目录下。
(4)进入脚本执行目录下: cd sqoop-1.4.6.bin__hadoop-0.23/bin
(5)执行脚本: