一、什么是Hive?
1、Hive是一个翻译器，SQL ---> Hive引擎 ---> MR程序
2、Hive是构建在HDFS上的一个数据仓库(Data Warehouse)
Hive HDFS
表 目录
分区 目录
数据 文件
桶 文件
3、Hive支持SQL(SQL99标准的一个自子集)
二、Hive的体系结构(画图)
三、安装和配置
解压安装到/training/目录下
tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/
设置环境变量
HIVE_HOME=/root/training/apache-hive-2.3.0-bin
export HIVE_HOME
PATH=$HIVE_HOME/bin:$PATH
export PATH
核心配置文件: conf/hive-site.xml
1、嵌入模式
(*)不需要MySQL的支持，使用Hive的自带的数据库Derby
(*)局限：只支持一个连接
javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true
javax.jdo.option.ConnectionDriverName
org.apache.derby.jdbc.EmbeddedDriver
hive.metastore.local
true
hive.metastore.warehouse.dir
file:///root/training/apache-hive-2.3.0-bin/warehouse
初始化Derby数据库
schematool -dbType derby -initSchema
日志
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
2、本地模式、远程模式：需要MySQL
(*)MySQL的客户端： mysql front http://www.mysqlfront.de/
Hive的安装
(1)在虚拟机上安装MySQL：
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm (可选)
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
yum remove mysql-libs
(2) 启动MySQL：service mysqld start，或者：systemctl start mysqld.service
查看root用户的密码：cat /var/log/mysqld.log | grep password
登录后修改密码：alter user 'root'@'localhost' identified by 'Sjm_123456';
MySQL数据库的配置：
创建一个新的数据库：create database hive;
创建一个新的用户：
create user 'hiveowner'@'%' identified by 'Sjm_123456';
给该用户授权
grant all on hive.* TO 'hiveowner'@'%';
grant all on hive.* TO 'hiveowner'@'localhost' identified by 'Sjm_123456';
远程模式
元数据信息存储在远程的MySQL数据库中
注意一定要使用高版本的MySQL驱动(5.1.43以上的版本)
参数文件
配置参数
参考值
hive-site.xml
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
hiveowner
javax.jdo.option.ConnectionPassword
Welcome_1
初始化MetaStore：schematool -dbType mysql -initSchema
(*)重新创建hive-site.xml
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
hiveowner
javax.jdo.option.ConnectionPassword
Sjm_123456
(*)将mysql的jar包放到lib目录下(上传mysql驱动包)
u注意一定要使用高版本的MySQL驱动(5.1.43以上的版本)
目录在： /training/apache-hive-2.3.0-bin/lib
(*)初始化MySQL
(*)老版本：当第一次启动HIve的时候 自动进行初始化
(*)新版本：
schematool -dbType mysql -initSchema
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
四、Hive的数据模型(最重要的内容)
注意：默认：列的分隔符是tab键(制表符)
测试数据：员工表和部门表
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
首先看下hive在HDFS的目录结构
create database hive;
1、内部表：相当于MySQL的表 对应的HDFS的目录 /user/hive/warehouse
create table emp
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int);
插入数据 insert、load语句
load data inpath '/scott/emp.csv' into table emp; 导入HDFS的数据 (从某个HDFS的目录，把数据导入Hive的表 本质ctrl+x)
load data local inpath '/root/temp/*****' into table emp; 导入本地Linux的数据 (把数据导入Hive的表 本质ctrl+c)
创建表的时候，一定指定分隔符
create table emp1
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
row format delimited fields terminated by ',';
创建部门表 并且导入数据
create table dept
(deptno int,
dname string,
loc string)
row format delimited fields terminated by ',';
2、分区表: 可以提高查询的效率的----> 通过查看SQL的执行计划
根据员工的部门号创建分区
create table emp_part
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int)
partitioned by (deptno int)
row format delimited fields terminated by ',';
指明导入的数据的分区(通过子查询导入数据) ----> MapReduce程序
insert into table emp_part partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=10;
insert into table emp_part partition(deptno=20) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=20;
insert into table emp_part partition(deptno=30) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=30;
hive的静默模式：hive -S 好处是控制台不会打印一些日志信息，屏幕干净清爽
如何查看SQL的执行计划呢?需要使用到关键字explain
1)、查看hive普通的表(内部表)的SQL执行计划：
explain select * from emp_1 where deptno=10;
STAGE DEPENDENCIES:
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-0
Fetch Operator
limit: -1
Processor Tree:
TableScan
alias: emp_1
Statistics: Num rows: 1 Data size: 619 Basic stats: COMPLETE Column stats: NONE
Filter Operator
predicate: (deptno = 10) (type: boolean)
Statistics: Num rows: 1 Data size: 619 Basic stats: COMPLETE Column stats: NONE
Select Operator
expressions: empno (type: int), ename (type: string), job (type: string), mgr (type: int), hiredate (type: string), sal (type: int), comm (type: int), 10 (type: int)
outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7
Statistics: Num rows: 1 Data size: 619 Basic stats: COMPLETE Column stats: NONE
ListSink
2)、查看hive中的分区表的SQL执行计划
explain select * from emp_part where deptno=10;
STAGE DEPENDENCIES:
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-0
Fetch Operator
limit: -1
Processor Tree:
TableScan
alias: emp_part
Statistics: Num rows: 3 Data size: 121 Basic stats: COMPLETE Column stats: NONE
Select Operator
expressions: empno (type: int), ename (type: string), job (type: string), mgr (type: int), hiredate (type: string), sal (type: int), comm (type: int), 10 (type: int)
outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7
Statistics: Num rows: 3 Data size: 121 Basic stats: COMPLETE Column stats: NONE
ListSink
如何理解或者阅读执行计划呢?
记住一个原则：从下往上，从右往左
3、外部表：本质是给HDFS上目录或者文件新建一个“快捷方式"
create external table t1
(sid int,sname string,age)
row format delimited fields terminated by ','
location '/students';
注意：外部表，删除表时，数据不删。
4、桶表：本质上是采用hash算法对数据进行存放，以文件的形式存在。与分区的区别在于分区是一个个目录
(*)hash分区
(*)桶表
create table emp_bucket
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
clustered by (job) into 4 buckets
row format delimited fields terminated by ',';
注意：在插入数据到hive桶表之前必须先要设置环境变量，否则就算你插入数据了，但是hive也不会对数据进行分桶存储
登录hive，执行:hive -S
再执行如下命令：
set hive.enforce.bucketing = true;
如图所示：
通过子查询的方式插入数据：
insert into emp_bucket select * from emp_1;
这句语句会被转换成MR程序执行：
当执行完毕后，我们来看在HDFS中的hive的桶表的目录结构：
数据被分别存储在四个不同的桶上，你可以随便查看某个文件的内容：
hdfs dfs -cat /user/hive/warehouse/hive02.db/emp_bucket/000000_0
5、视图：view 虚表
(1) 视图不存数据 视图依赖的表叫基表
(2) 操作视图 跟操作表 一样
(3) 视图可以提高查询的效率吗?
不可以、视图是简化复杂的查询
(4) 举例 查询员工信息：部门名称 员工姓名
create view myview
as无锡人流医院 http://xmobile.wxbhnk120.com/
select dept.dname,emp1.ename
from emp1,dept
where emp1.deptno=dept.deptno;
一些操作：
hive中表
-------------------
1.managed table
托管表。
删除表时，数据也删除了。
2.external table
外部表。
删除表时，数据不删。
hive命令
---------------
//创建表,external 外部表
CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int)
COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ;
//查看表数据
desc t2 ;
desc formatted t2 ;
//加载数据到hive表
load data local inpath '/home/centos/customers.txt' into table t2 ; //local上传文件
load data inpath '/user/centos/customers.txt' [overwrite] into table t2 ; //移动文件
//复制表
mysql>create table tt as select * from users ; //携带数据和表结构
mysql>create table tt like users ; //不带数据，只有表结构
hive>create table tt as select * from users ;
hive>create table tt like users ;
//count()查询要转成mr
$hive>select count(*) from t2 ;
$hive>select id,name from t2 ;
$hive>select * from t2 order by id desc ; //MR
//启用/禁用表
ALTER TABLE t2 ENABLE NO_DROP; //不允许删除
ALTER TABLE t2 DISABLE NO_DROP; //允许删除
//分区表,优化手段之一，从目录的层面控制搜索数据的范围。
//创建分区表.
CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year INT, Month INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
//显式表的分区信息
SHOW PARTITIONS t3;
//添加分区,创建目录
alter table t3 add partition (year=2014, month=12);
//删除分区
ALTER TABLE employee_partitioned DROP IF EXISTS PARTITION (year=2014, month=11);
//分区结构
hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=11
hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=12
//加载数据到分区表
load data local inpath '/home/centos/customers.txt' into table t3 partition(year=2014,month=11);
//创建桶表
CREATE TABLE t4(id int,name string,age int) CLUSTERED BY (id) INTO 3 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
//加载数据不会进行分桶操作
load data local inpath '/home/centos/customers.txt' into table t4 ;
//查询t3表数据插入到t4中。
insert into t4 select id,name,age from t3 ;
//桶表的数量如何设置?
//评估数据量，保证每个桶的数据量block的2倍大小。
//连接查询
CREATE TABLE customers(id int,name string,age int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
CREATE TABLE orders(id int,orderno string,price float,cid int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
//加载数据到表
//内连接查询
select a.*,b.* from customers a , orders b where a.id = b.cid ;
//左外
select a.*,b.* from customers a left outer join orders b on a.id = b.cid ;
select a.*,b.* from customers a right outer join orders b on a.id = b.cid ;
select a.*,b.* from customers a full outer join orders b on a.id = b.cid ;
//explode,炸裂,表生成函数。
//使用hive实现单词统计
//1.建表
CREATE TABLE doc(line string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
五、Hive的查询
就是SQL：select ---> MapReduce