• sqoop导入数据到hive---2


    1.hive-table

    从mysql导入数据到hive表中,可以使用--hive-table来指定hive的表名,不指定hive表名,则hive表名与mysql表名保持一致。

    sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by "
    " -m 1 --hive-table person_mysql

    hive中的表结构是:

    hive> show create table person_mysql;
    OK
    CREATE TABLE `person_mysql`(
      `id` int, 
      `name` string)
    COMMENT 'Imported by sqoop on 2016/07/26 15:13:48'
    ROW FORMAT DELIMITED 
      FIELDS TERMINATED BY '|' 
      LINES TERMINATED BY '
    ' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION
      'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql'
    TBLPROPERTIES (
      'COLUMN_STATS_ACCURATE'='true', 
      'numFiles'='1', 
      'totalSize'='18', 
      'transient_lastDdlTime'='1469517213')
    Time taken: 0.21 seconds, Fetched: 18 row(s)

    2.create-hive-table工具

    create-hive-table工具是依据mysql中的表定义在hive中创建一个表

    sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'

     只在hive中创建了表,没有把数据进行导入,所以hive表中是没有数据的:

    hive> select * from person_mysql_222;
    OK
    Time taken: 0.299 seconds
    hive> show create table person_mysql_222;
    OK
    CREATE TABLE `person_mysql_222`(
      `id` int, 
      `name` string)
    COMMENT 'Imported by sqoop on 2016/07/26 15:22:14'
    ROW FORMAT DELIMITED 
      FIELDS TERMINATED BY '|' 
      LINES TERMINATED BY '
    ' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION
      'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222'
    TBLPROPERTIES (
      'transient_lastDdlTime'='1469517719')
    Time taken: 0.22 seconds, Fetched: 15 row(s)

    3.import-all-tables工具

    将数据库中所有的表都导入到hive中

    目前mysql中有person、sun两张表

    sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1

    这样在hive中也生成了两张表,分别是person和sun.

    在这个语句中也可以指定hive-table来指定一个表名,这样多个表的数据就会导入到一个hive表中了。

     sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person
  • 相关阅读:
    我们的微信小程序开发
    node.js的模块引用
    关于 node.js的request事件
    关于 node.js 小插曲
    发给
    Kotlin 委托(1)类委托、变量委托注意事项
    Kotlin 扩展
    关于dex 64K 引用限制
    c++新特性实验(5)声明与定义:属性列表(C++11 起)
    apk反编译(6)用ProGuard 混淆、压缩代码,压缩资源。
  • 原文地址:https://www.cnblogs.com/dongdone/p/5707817.html
Copyright © 2020-2023  润新知