• hive数据的导入导出方式


    导入方式

    1、load方式

    load data local inpath 'local_path' into table tb_name;
    从本地复制了文件到表的路径下
    应用场景:大部分的使用,文件几乎都是默认现在本地的

    2、load方式,HDFS
    load data inpath 'hdfs_path' into table tb_name;
    将文件移动到了表的路径下
    应用场景:更适合大数据量的存储

    3、load方式,overwrite

    load data inpath 'hdfs_path' overwrite into table tb_name;
    应用场景:适合一些重复写入的表(临时表),作为一个过渡使用

    4、子查询方式,as

    create table tb_name as select sql;
    应用场景:对于数据查询结果的保存

    5、insert方式
    传统关系型数据库中,insert是插入一个值
    在hive中insert into table后面还是跟一个语句(select语句)
    insert into table select sql;
    举例:
    create table emp_insert like emp;

    insert into table emp_insert select * from emp;

    6、location
    指定一个文件夹,然后将数据导入进去

    导出方式

    1、insert方式
    格式:insert overwrite [local] directory 'path' select sql;
    数据导出到本地
    insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
    -》输出的目标可以提前存在,底层实现的时候,先删除再重新创建
    -》指定分隔符
    insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by ' ' select * from emp;
    -》HDFS
    insert overwrite directory '/emp_insert' select * from emp;
    -》注意:上一级的父目录必须存在

    2、HDFS SHELL命令 -get
    bin/hdfs dfs -get hdfs_path local_path

    3、在Linux的命令行使用hive的-e -f参数,将输出重定向保存到本地文件

    bin/hive -e "select * from student" > /opt/datas/

    4、sqoop方式

    如:

    bin/sqoop export
    --connect
    jdbc:mysql://hostname:3306/sqoop
    --username root
    --password 123456
    --table tomysql
    --export-dir /sqoop
    --num-mappers 1       --->设置分片个数
    --input-fields-terminated-by ' '   --->设置分隔符

    5、hive支持export和import
    -》export
    export table tb_name to 'hdfs_path'
    -》import
    import table tb_name from 'hdfs_path'

  • 相关阅读:
    理解jquery的$.extend()、$.fn和$.fn.extend()
    Angularjs,WebAPI 搭建一个简易权限管理系统
    ASP.NET MVC Boilerplate简介
    写jQuery插件
    给Asp.Net MVC及WebApi添加路由优先级
    Oracle数据库之开发PL/SQL子程序和包
    Git 1.9.5.msysgit.1
    快速解读GC日志(转)
    Git & Github 一页简明笔记(转)main
    用python3.x与mysql数据库构建简单的爬虫系统(转)
  • 原文地址:https://www.cnblogs.com/wakerwang/p/9377887.html
Copyright © 2020-2023  润新知