Hive基础知识

Hive综述

• Hive：用于解决海量结构化日志的数据统计
• 基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL的查询功能
• 本质是把HiveQL转化为Mapreduce程序
• Hive不支持记录级别的更新、插入和删除操作
• Hive查询延时严重，因为要启动mapreduce任务
• 不支持事务
• 通过CLI即命令行交互
• 通过JDBC、ODBC和一个Thrift服务器进行编程访问
• Hive通过和JobTracker通信来初始化MapReduce

词频统计

CREATE TABLE docs (line STRING);

LOAD DATA INPATH 'docs' OVERWRITE INTO TABLE docs;

CREATE TABLE word_counts AS SELECT word,count(1) AS count FROM 
(SELECT explode(split(line,'s')) AS word FROM docs) w
GROUP BY word
ORDER BY word;

Hive内部

lib下是JAR文件，bin下是各种服务的执行文件，包括命令行界面CLI，conf下是配置文件。Thrift服务提供了可远程访问其他进程的功能，也提供使用JDBC和ODBC访问Hive的功能。

所有的Hive客户端都需要一个metastoreservice（元数据服务），Hive使用这个服务来存储表模式信息和其他元数据信息。

SQL Parser解析器、Physical Plan编译器、Query Optimizer优化器、Execution执行器

Hive的优缺点

优点

• 操作接口采用类SQL语法，容易上手
• 避免写MapReduce，减少学习成本
• 优势在于处理大数据，延时高
• 支持用户自定义函数（这个是重点）

缺点

• 迭代式算法无法表达
• 数据挖掘方面不擅长
• 不够智能化，调优困难

文件导入Hive

将student.txt文件导入，文件格式(id int,name string)。

LOAD DATA LOCAL INPATH 'student.txt' INTO TABLE student；

• LOAD DATA LOCAL INPATH '文件路径' INTO TABLE '表名'
• 也可以直接将文件student.txt放到对应的HDFS目录上，-put student.txt /hive/warehouse
• 如果是HDFS上文件移动，只是改动文件索引，文件本身存储没变

HiveJDVC访问

• 启动hiveserver2服务
• 连接hiveserver2

Hive数据类型

• INT，int，4byte
• DOUBLE，double，双精度
• STRING,string，字符串
• STRUCT
• MAP
• ARRAY
• row format delimited terminated by 列分隔符
• collection items terminated by 是MAP STRUCT和ARRAY的分隔符
• map keys terminated by MAP里的分隔符
• lines terminated by 行分隔符

类型转换

Hive的原子数据类型是可以进行隐式转换。

• INT可以转换成BIGINT
• FLOAT和STRING可以转换成DOUBLE
• CAST('1' AS INT)把字符串转换成整数1