• hive多分区表创建+数据导入


    步骤:建分区表、建临时表、临时表数据写入、临时表写入数据到分区表

    1、分区参数介绍

     
    • hive.exec.dynamic.partition:是否启动动态分区。默认false。

    • hive.exec.dynamic.partition.mode:打开动态分区后,动态分区的模式为strict和nonstrict。

      • strict可设置为静态和半动态,要求至少包含一个静态分区列。

      • nonstrict可设置为静态、半动态和动态,动态必须设置此参数。

    • hive.exec.max.dynamic.partitions:允许的最大的动态分区的个数。默认1000。

    • hive.exec.max.dynamic.partitions.pernode:一个mapreduce job所允许的最大的动态分区的个数。默认是100。

     

    2、分区表的创建

     

    (1)分区表创建

     
    create table test.user_list(
    user_id  string,
    msisdn   string,
    imsi     string)
    partitioned by (city string,sdate string)
    row format delimited fields terminated by ',';
    
     

    (2)临时表创建(辅助分区表测试)

     
    create table test.user_list_tmp(
    user_id  string,
    msisdn   string,
    imsi     string
    city     string,
    sdate    string)
    row format delimited fields terminated by ',';
    
     

    3、数据插入方式

     

    (1)静态分区插入数据:

     
    insert into table user_list partition(city='HANGZHOU',sdate='20200101')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    (2)动静混合分区插入数据

     
    set hive.exec.dynamic.partition=true;  
    set hive.exec.dynamic.partition.mode=strick;
    --set hive.exec.dynamic.partition.mode=nonstrick;
    insert into table user_list partition(city='HANGZHOU',sdate='${sdate}')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi,
        t.sdate
    from test.user_list_tmp t
    
     

    注意:动静分区混合时,静态分区参数必须放置在前面。

     

    (3)动态分区插入数据

     
    set hive.exec.dynamic.partition=true;  
    set hive.exec.dynamic.partition.mode=nonstrick;
    insert into table user_list partition(city='${city}',sdate='${sdate}')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi,
        t.city,
        t.sdate
    from test.user_list_tmp t
    
     

    4、insert into 和 insert overwrite

     

    insert into示例:

     
    insert into table user_list partition(city='HANGZHOU',sdate='20200101')  
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    insert overwrite示例:

     
    insert overwrite table user_list partition(city='HANGZHOU',sdate='20200101')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    两者区别:insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入。

    转自:http://blog.sina.com.cn/s/blog_155cf0b760102x1ij.html

  • 相关阅读:
    《ucore lab1 exercise2》实验报告
    《ucore lab1 exercise1》实验报告
    《Tsinghua os mooc》第21~22讲 文件系统
    《Tsinghua os mooc》第17~20讲 同步互斥、信号量、管程、死锁
    《Tsinghua os mooc》第15~16讲 处理机调度
    《Tsinghua os mooc》第11~14讲 进程和线程
    《Tsinghua oc mooc》第8~10讲 虚拟内存管理
    bzoj3188 [Coci 2011]Upit(分块)
    P4514 上帝造题的七分钟(二维树状数组)
    bzoj3156 防御准备(斜率优化)
  • 原文地址:https://www.cnblogs.com/51python/p/15318945.html
Copyright © 2020-2023  润新知