1.hive-table
从mysql导入数据到hive表中,可以使用--hive-table来指定hive的表名,不指定hive表名,则hive表名与mysql表名保持一致。
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by " " -m 1 --hive-table person_mysql
hive中的表结构是:
hive> show create table person_mysql; OK CREATE TABLE `person_mysql`( `id` int, `name` string) COMMENT 'Imported by sqoop on 2016/07/26 15:13:48' ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY ' ' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql' TBLPROPERTIES ( 'COLUMN_STATS_ACCURATE'='true', 'numFiles'='1', 'totalSize'='18', 'transient_lastDdlTime'='1469517213') Time taken: 0.21 seconds, Fetched: 18 row(s)
2.create-hive-table工具
create-hive-table工具是依据mysql中的表定义在hive中创建一个表
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'
只在hive中创建了表,没有把数据进行导入,所以hive表中是没有数据的:
hive> select * from person_mysql_222; OK Time taken: 0.299 seconds hive> show create table person_mysql_222; OK CREATE TABLE `person_mysql_222`( `id` int, `name` string) COMMENT 'Imported by sqoop on 2016/07/26 15:22:14' ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY ' ' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222' TBLPROPERTIES ( 'transient_lastDdlTime'='1469517719') Time taken: 0.22 seconds, Fetched: 15 row(s)
3.import-all-tables工具
将数据库中所有的表都导入到hive中
目前mysql中有person、sun两张表
sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1
这样在hive中也生成了两张表,分别是person和sun.
在这个语句中也可以指定hive-table来指定一个表名,这样多个表的数据就会导入到一个hive表中了。
sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person