• hive Tutorial


    hive数据单元按照粒度从大到小,依次为

    1、数据库database:可以用show databases; 命令查看所有的数据库,并用use d1; 命令来选中d1数据库,接下来就可以操作d1数据库中的表了。

    2、表table:可以用show tables; 命令查看当前库中所有的表。

    3、分区partition:每一个表都可以有一个或者多个分区key,这些分区key决定了数据的存储方式。分区,除了作为存储单元外,还允许用户有效地识别满足特定标准的行。分区key的每一个值都定义了该表的一个分区。例如,某表有一个string类型的date_partition和一个string类型的country_partition,则"2009-12-23"中的所有"US"数据属于该表的同一个分区。因此,如果仅对"2009-12-23"的"US"数据进行分析,则只会在表的相关分区上运行查询,从而显著加快分析速度。分区列是虚拟列,它们不是数据本身的一部分,而是在加载时派生的。

    4、桶bucket:每个分区中的数据又可以基于表的某些列的hash值被划分为桶。桶可用于有效地采样数据。

    值得注意的是,表分区和桶不是必须的,但这些可以使得系统在查询处理期间过滤掉大量数据,从而加快查询执行速度。

    Hive字段支持原始类型及复杂类型:

    原始类型:

    整型,有tinyint(1字节整数)、smallint(2字节整数)、int(4字节整数)、bigint(8字节整数);

    boolean类型,true或者false;

    浮点数,有float(单精度)和double(双精度);

    定点数(fixed point number),decimal;

    字符串类型,有string、varchar、char;

    日期和时间类型,有timestamp和date;

    二进制类型(binary type),binary(字节序列)。

    需要额外注意的是,string类型可以被隐式转为double类型。

    复杂类型:

    struct:如column c的类型是struct {a int; b int},则a的值可以通过c.a得到

    map:

    array:里面的元素类型必须相同。如column a的类型是array,则可以通过a[0]、a[1]获取第一、二个元素

    内建的运算符和函数

    可以在beeline命令行使用show functions; 命令查看所有的运算符和函数。

    还可以用describe function function_name; 命令查看某运算符或函数的用法解释。

    实际发现,大多数运算符和函数都和java中的运算符和方法作用一样,遇到不一样的,再describe function 查看具体用法即可。

    聚合函数返回值类型:

    除count返回bigint类型外,sum、avg、min和max都返回double类型。

    Hive SQL能做什么?

    1、常规的DDL语句,create、drop、alter

    2、常规的DML语句,load、insert、update、delete、select、where、join、group by、union

    3、把查询结果存储到另外一个表中、hdfs中

    4、把hive表的内容下载到本地目录

    5、Ability to plug in custom scripts in the language of choice for custom map/reduce jobs

  • 相关阅读:
    第五周总结
    第四周总结
    第三周总结
    开课博客
    学习进度
    个人作业1-数组
    数组
    第一周考试总结
    团队个人冲刺第六天
    团队个人冲刺第五天
  • 原文地址:https://www.cnblogs.com/koushr/p/9574889.html
Copyright © 2020-2023  润新知