HiveQL:调优

1.使用EXPLAN/EXPLAN EXTENDED查看执行计划

-- 待补充

2.本地模式

/*
有时候hive查询数据量是非常小的，这种情况下，为查询触发执行任务对的时间消耗有可能比实际job执行时间要多得多。对于大多数这种情况，Hive可以通过本地模式在单台机器上(或某些时候在单个进程中)处理所有的任务，这样对于小数据集，执行时间明显被缩短。
*/
set mapred.tmp.dir = local

3.并行执行

/*Hive会将一个查询转化成一个或者多个阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的的job可能包含众多的阶段，而这些阶段并非是完全相互依赖的，也就是说有些阶段是可以并行执行的，这样坑使得整个job的执行时间缩短。
*/
-- 设置参数
hive.exec.parallel = true
SET hive.exec.parallel.thread.number=16;

4.严格模式

/*
Hive提供了一个严格模式，可以防止用户执行那些可能产生一些不合适的查询
*/
-- 设置参数
hive.mapred.mode = true
/*
可以进制三类查询
1.对于分区表，除非WHERE语句中含有分区字段过滤条件来限制数据范围，否则不允许执行。避免全表扫描占用过大资源
2.对于使用ORDER BY语句的查询，要求必须使用LIMIT语句，因为ORDER BY为了执行排序过程会将所有的结果数据分发到同一个reducer中进行处理，强制要求用户增加整个LIMIT语句可以防止reducer而外执行很长一段时间。
3.限制笛卡尔积查询。对于关系行数据库，用户在JOIN时不用ON用WHERE语句，执行优化器会会将WHERE转化成ON,但是hive不会执行这种优化
*/

5.调整mapper和reducer个数

/*
Hive是按照输入数据的数据量大小来确定reducer个数的，我们可以通过dfs -count命令来计算输入量的大小
*/
hive.exec.reducers.bytes.per.reducer --默认是为1GB
mapred.reduce.tasks -- 可以设置reduce task的大小，但是不推荐设置确定的，会导致会变慢。
hive.exec.reducers.max -- 在共享集群上处理大任务时，为了控制资源控制情况，可以阻止某个查询消耗太多的reducer资源。

6.JVM重用

-- 待补充

7.动态分区调整

-- 设置参数
hive.exec.dynamic.partition.mode = strict -- 严格模式时，至少有一个为静态分区
hive.exec.max.dynamic.partitions -- 限制最大的动态分区的个数
hive.exec.max.dynamic.partitions.pernode -- 

8.推测执行

/*
推测执行是hadoop的一个功能，其可以触发执行一些重复的任务(task).目标是通过加快task的结果以及进行侦测将执行满的TaskTracker加入到黑名单的方式提高整体的效率。
*/
mapred.map.tasks.speculative.execution = true
mapred.reduce.tasks.speculative.execution = true