原文链接:
https://www.toutiao.com/i6766897068138037763/?group_id=6766897068138037763
我们看官网文档中这个地方
我们先创建好数据库,以供练习
使用数据库
我们创建数据表
我们创建分区表,选取的字段不能是表中存在的字段
元数据信息
Formatted信息
那我们加载信息
load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);
我们查看数据
我们看下HDFS上,是目录的形式
所以我们可以多加载几份数据
查看数据和HDFS上
也可以创建二级分区
载入数据
查看下数据
查看下元数据
再看下HDFS
我们就可以依据条件查询使用where语句
注:分区表可以提高查询的效率。
我们再看这个地方-桶表
这个和分区表不一样的地方,选取字段必须是表里的字段
我们准备个员工表
我们创建下桶表
我们加载下数据
看下HDFS
实际在桶表中,我们应该使用另外一种语句
运行过程
出现了点问题
三个节点时间不同步,设定下时间
date -s "2019-12-5 17:50:00"
再执行就可以了
查看结果
我们看HDFS上
我们查看下文件,已经分开了,如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。
注:其中桶表查询还有下面的语句,可以仔细研究下,暂时先放一放,后续学习深入再了解。
Select * from table tablesample(bucket 1 out of 2)
Tablesample是抽样数据,语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小,决定抽样比例。例如:table总共分为64份,当y=32时,抽取(64/32)2个bucket数据;当y=128时,抽取(64/128)1/2个bucket数据,x表示从哪个bucket开始抽取,例如table总bucket数为32,tablesample(3 out of 16),表示总共抽取(32/16)2个bucket数据,分别为第3个bucket和第(3+16)19个bucket数据。