• Hive分区表和桶表的使用


    原文链接:

    https://www.toutiao.com/i6766897068138037763/?group_id=6766897068138037763

    我们看官网文档中这个地方

    Hive分区表和桶表的使用

     

    我们先创建好数据库,以供练习

    Hive分区表和桶表的使用

     

    使用数据库

    Hive分区表和桶表的使用

     

    我们创建数据表

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    我们创建分区表,选取的字段不能是表中存在的字段

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    元数据信息

    Hive分区表和桶表的使用

     

    Formatted信息

    Hive分区表和桶表的使用

     

    那我们加载信息

    load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);

    Hive分区表和桶表的使用

     

    我们查看数据

    Hive分区表和桶表的使用

     

    我们看下HDFS上,是目录的形式

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    所以我们可以多加载几份数据

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    查看数据和HDFS上

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    也可以创建二级分区

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    载入数据

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    查看下数据

    Hive分区表和桶表的使用

     

    查看下元数据

    Hive分区表和桶表的使用

     

    再看下HDFS

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    我们就可以依据条件查询使用where语句

    Hive分区表和桶表的使用

     

    注:分区表可以提高查询的效率。

    我们再看这个地方-桶表

    Hive分区表和桶表的使用

     

    这个和分区表不一样的地方,选取字段必须是表里的字段

    我们准备个员工表

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    我们创建下桶表

    Hive分区表和桶表的使用

     

    Hive分区表和桶表的使用

     

    我们加载下数据

    Hive分区表和桶表的使用

     

    看下HDFS

    Hive分区表和桶表的使用

     

    实际在桶表中,我们应该使用另外一种语句

    Hive分区表和桶表的使用

     

    运行过程

    Hive分区表和桶表的使用

     

    出现了点问题

    Hive分区表和桶表的使用

     

    三个节点时间不同步,设定下时间

    date -s "2019-12-5 17:50:00"

    再执行就可以了

    Hive分区表和桶表的使用

     

    查看结果

    Hive分区表和桶表的使用

     

    我们看HDFS上

    Hive分区表和桶表的使用

     

    我们查看下文件,已经分开了,如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。

    Hive分区表和桶表的使用

     

    注:其中桶表查询还有下面的语句,可以仔细研究下,暂时先放一放,后续学习深入再了解。

    Select * from table tablesample(bucket 1 out of 2)

    Tablesample是抽样数据,语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小,决定抽样比例。例如:table总共分为64份,当y=32时,抽取(64/32)2个bucket数据;当y=128时,抽取(64/128)1/2个bucket数据,x表示从哪个bucket开始抽取,例如table总bucket数为32,tablesample(3 out of 16),表示总共抽取(32/16)2个bucket数据,分别为第3个bucket和第(3+16)19个bucket数据。

  • 相关阅读:
    [译]K-D-B-tree(草稿,第一次翻译)
    [LeetCode]Letter Combinations of a Phone Number
    [LeetCode]Multiply Strings
    [LeetCode]Populating Next Right Pointers in Each Node
    [LeetCode]Sum Root to Leaf Numbers
    [LeetCode]String to Integer (atoi)
    [LeetCode]Path Sum II
    [LeetCode]Minimum Depth of Binary Tree
    线上死锁问题排查
    Redis(四):独立功能的实现
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12528604.html
Copyright © 2020-2023  润新知