本文参考：黑泽君相关博客
本文是我总结日常工作中遇到的坑，结合黑泽君相关博客，选取、补充了部分内容。
开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。
查看配置命令如下，对应的设置只要加上相关值即可,如下
是否开启hive中间传输数据压缩功能？
hive> set hive.exec.compress.intermediate;
hive.exec.compress.intermediate=false
开启hive中间传输数据压缩功能
hive> set hive.exec.compress.intermediate=true;
是否开启mapreduce中map输出压缩功能
hive> set mapreduce.map.output.compress;
mapreduce.map.output.compress=true
是否设置mapreduce中map输出数据的压缩方式
hive> set mapreduce.map.output.compress;
mapreduce.map.output.compress=true
当 Hive 将输出写入到表中时，输出内容同样可以进行压缩。属性 hive.exec.compress.output 控制着这个功能。
用户可能需要保持默认设置文件中的默认值 false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为 true，来开启输出结果压缩功能。
查看配置命令如下，对应的设置只要加上相关值即可,如下
是否开启hive最终输出数据压缩功能
hive> set hive.exec.compress.output;
hive.exec.compress.output=false
是否开启mapreduce最终输出数据压缩
hive> set hive.exec.compress.output;
hive.exec.compress.output=false
是否设置mapreduce最终数据输出压缩方式
hive> set mapreduce.output.fileoutputformat.compress.codec;
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec
设置为SnappyCodec 压缩
hive> set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec ;
是否设置mapreduce最终数据输出压缩为块压缩（默认是行压缩RECORD）
hive> set mapreduce.output.fileoutputformat.compress.type;
mapreduce.output.fileoutputformat.compress.type=BLOCK
文件存储格式
Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。
TextFile格式
默认格式，数据不做压缩，磁盘开销大，数据解析开销大。
可结合Gzip、Bzip2使用。
但使用Gzip这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
Orc格式
Orc (Optimized Row Columnar)是Hive 0.11版里引入的新的存储格式。
Index Data
Index Data 包括每一列的最小值和最大值，以及每一列中的行位置。(也可以包含bit field or bloom filter ) 行索引项提供了偏移量，使您能够在解压缩块中查找正确的压缩块和字节。
注意，ORC索引仅用于选择stripes 和 row groups，而不用于回答查询。
拥有相对频繁的行索引项可以在stripe 内跳过行，以便快速读取，尽管stripe 很大。默认情况下，可以跳过每10,000行。
Row Data
存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。
Stripe Footer
存的是各个Stream的类型，长度等信息。
File Footer
每个文件有一个File Footer，这里面存的是每个Stripe的行数，每个Column的数据类型信息等；
PostScript
每个文件的尾部是一个PostScript，这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。
在读取文件时，会seek到文件尾部读PostScript，从里面解析到File Footer长度，再读FileFooter，从里面解析到各个Stripe信息，再读各个Stripe，即从后往前读。
示例：
数据量：19017003
hive> CREATE TABLE tmp.orcTest stored AS ORC
> TBLPROPERTIES
> ('orc.compress'='SNAPPY',
> 'orc.create.index'='true',
> 'orc.bloom.filter.fpp'='0.05',
> 'orc.stripe.size'='10485760',
> 'orc.row.index.stride'='10000')
> AS
> SELECT
> *
> FROM tmp.textFileTest
Stage-Stage-1: Map: 16 Reduce: 62 Cumulative CPU: 1350.32 sec HDFS Read: 4140450145 HDFS Write: 250057437 SUCCESS
向表中加载数据（不能使用load方式加载数据，需要insert into方式或者上述方式，即一定要通过MapReduce任务加载数据）
orc:不使用索引
hive> set hive.optimize.index.filter=false;
hive> select * from tmp.orcTest where userid ='02012138';
Query ID = hdfs_20190716114646_cb74ab6e-3d7f-42a8-b1e8-703abd89c420
Total jobs = 1
Launching Job 1 out of 1
.
.
.
Stage-Stage-1: Map: 5 Cumulative CPU: 32.88 sec HDFS Read: 250016639 HDFS Write: 175 SUCCESS
Total MapReduce CPU Time Spent: 32 seconds 880 msec
OK
02012138 2019-06-16 00:21:03.000000000 10000 0 20190616
Time taken: 13.935 seconds, Fetched: 1 row(s)
很明显，扫描了所有记录。再使用索引查询：
orc:使用索引
hive> set hive.optimize.index.filter=true;
hive> select * from tmp.orcTest where userid ='02012138';
Query ID = hdfs_20190716114747_dd02a4a3-7a25-424b-84d8-a314e918464f
Total jobs = 1
Launching Job 1 out of 1
.
.
.
Stage-Stage-1: Map: 5 Cumulative CPU: 24.77 sec HDFS Read: 58144301 HDFS Write: 175 SUCCESS
Total MapReduce CPU Time Spent: 24 seconds 770 msec
OK
02012138 2019-06-16 00:21:03.000000000 10000
Time taken: 12.916 seconds, Fetched: 1 row(s)
可以看到，只扫描了部分记录，即根据Row Group Index中的min/max跳过了WHERE条件中不包含的stripes，索引有效果。
TeXtFile
hive> select * from tmp.tb_tmp_tms_stb_errorcode where userid ='02012138';
Query ID = hdfs_20190716114747_ac4b272c-4317-4b47-9726-91f297fc1af8
Total jobs = 1
Launching Job 1 out of 1
.
.
.
Stage-Stage-1: Map: 16 Cumulative CPU: 112.89 sec HDFS Read: 4140148821 HDFS Write: 175 SUCCESS
Total MapReduce CPU Time Spent: 1 minutes 52 seconds 890 msec
OK
02012138 2019-06-16 00:21:03.000000000 10000
Time taken: 17.072 seconds, Fetched: 1 row(s)
数据未经过压缩，读取全集数据
注：我看一些文档说，Orc列存储，如果用 =,> 之类 筛选列不会触发 mapReduce,经过测试，还是触发了，而且查询时间整体上比TextFile 短。
关于mapReduce的后续再找找答案，或者有知道的道友分享下。
Parquet格式
这个东东我用的少，了解不多，在这里就仅仅标记一下
Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。
通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。Parquet文件的格式如下图所示。
各种存储文件的查询速度总结：经过验证，查询速度相近， orc、parquet有时候会比TextFile稍微快一丢丢。
小结：在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy或lzo。(使用压缩后可大量节省空间)
存储和压缩结合
- 查看hadoop支持的压缩方式
[hdfs@tmpe2e02 tmp_lillcol]$ hadoop checknative
19/07/16 14:21:20 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/07/16 14:21:20 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hadoop/lib/native/libhadoop.so.1.0.0
zlib: true /lib64/libz.so.1
snappy: true /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hadoop/lib/native/libsnappy.so.1
lz4: true revision:10301
bzip2: true /lib64/libbz2.so.1
openssl: true /usr/local/ssl/lib/libcrypto.so
- HiveQL语句指定ORC文件格式配置
| 配置 | 默认值 | 备注 |
|---|---|---|
| orc.compress | ZLIB | 高级压缩(one of NONE, ZLIB, SNAPPY) |
| orc.compress.size | 262,144 | 每个压缩块中的字节数 |
| orc.stripe.size | 67,108,864 | 每条stripe中的字节数 |
| orc.row.index.stride | 10,000 | 索引条目之间的行数(必须是>= 1000) |
| orc.create.index | true | 是否创建行索引 |
| orc.bloom.filter.columns | "" | 逗号分隔的列名列表，应该为其创建bloom过滤器 |
| orc.bloom.filter.fpp | 0.05 | bloom过滤器的误报概率(必须是>0.0和<1.0) |
案例：
CREATE TABLE tmp.orcTest stored AS ORC
TBLPROPERTIES
('orc.compress'='SNAPPY',
'orc.create.index'='true',
'orc.bloom.filter.fpp'='0.05',
'orc.stripe.size'='10485760',
'orc.row.index.stride'='10000')
AS
SELECT
*
FROM tmp.orcTextFile
DISTRIBUTE BY userid sort BY userid;
orc存储文件默认采用ZLIB压缩。ZLIB压缩率比snappy的高，但是ZLIB解压缩速率很低。
Fetch抓取
Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。
例如：SELECT * FROM orcTest; 在这种情况下，Hive可以简单地读取orcTest对应的存储目录下的文件，然后输出查询结果到控制台。
配置
hive-default.xml.template 中 hive.fetch.task.conversion
<property>
<name>hive.fetch.task.conversion</name>
<value>more</value>
<description>
可选值 [none, minimal, more].
一些select查询可以转换为单个获取任务，从而最小化延迟。
目前，查询应该是单一来源的，没有任何子查询，也不应该有任何聚合或区别(引起RS)、横向视图和连接。
0. none : 禁用 hive.fetch.task.conversion
1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
2. more : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns)
</description>
</property>
测试：
hive> set hive.fetch.task.conversion; //查询当前配置
hive.fetch.task.conversion=minimal
hive> set hive.fetch.task.conversion=none;
hive> select userid from tmp.orcTest limit 1;
Query ID = hdfs_20190716151010_29239e97-a06c-47aa-9958-f1964ab8eb17
Total jobs = 1
Launching Job 1 out of 1
.
.
.
Stage-Stage-1: Map: 5 Cumulative CPU: 15.09 sec HDFS Read: 4155591 HDFS Write: 661 SUCCESS
Total MapReduce CPU Time Spent: 15 seconds 90 msec
OK
02012138
Time taken: 13.908 seconds, Fetched: 10 row(s)
hive> set hive.fetch.task.conversion=more;
hive> select userid from tmp.orcTest limit 10;
OK
02012138
Time taken: 0.025 seconds, Fetched: 10 row(s)
把hive.fetch.task.conversion设置成none，然后执行查询语句，都会执行MapReduce程序。
本地模式
有时Hive的输入数据量是非常小的。
在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。
对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。
对于小数据集，执行时间可以明显被缩短。
// 开启本地mr模式
hive> set hive.exec.mode.local.auto;
hive.exec.mode.local.auto=false
// 设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M
hive> set hive.exec.mode.local.auto.inputbytes.max;
hive.exec.mode.local.auto.inputbytes.max=134217728
// 设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4
hive> set hive.exec.mode.local.auto.input.files.max;
hive.exec.mode.local.auto.input.files.max=4
上面是查看参数值的方法，对应的设置直接改成设置值即可。
创建测表
hive> CREATE TABLE tmp.orclocal stored AS ORC
> TBLPROPERTIES
> ('orc.compress'='SNAPPY',
> 'orc.create.index'='true',
> 'orc.bloom.filter.fpp'='0.05',
> 'orc.stripe.size'='10485760',
> 'orc.row.index.stride'='10000')
> AS
> SELECT
> *
> FROM tmp.orcTest
> DISTRIBUTE BY userid sort BY userid limit 1000;
查看文件数量：1个 符合配置
hive> !hadoop fs -du -h hdfs://ns1/user/hive/warehouse/tmp.db/orclocal;
22.5 K 45.1 K hdfs://ns1/user/hive/warehouse/tmp.db/orclocal/000000_0
关闭本地模式，并执行查询语句
hive> set hive.exec.mode.local.auto=false;
hive> select count(*) from tmp.orclocal;
OK
1000
Time taken: 18.98 seconds, Fetched: 1 row(s)
开启本地模式，并执行查询语句
hive> set hive.exec.mode.local.auto=true;
hive> select count(*) from tmp.orclocal;
OK
1000
Time taken: 1.576 seconds, Fetched: 1 row(s)
时间对比有点不真实了....，但是测试几次，在小文件的情况下开启本地模式确实优势很大