[原创]kudu vs parquet, impala vs spark Benchmark

测试环境

节点:

2 台主节点，6台计算节点

机器配置:

16个物理核

128G内存

12*3T磁盘

操作系统:

redhat 7.2

版本:

CDH 5.7.1-1.cdh5.7.1.p0.11

impala_kudu 2.7.0-1.cdh5.9.0.p0.23

kudu 0.9.1-1.kudu0.9.1.p0.32

spark 2.0.0

对照组：

Spark on Parquet

Impala on Parquet

Impala on Kudu

测试数据、语句、场景

TPC-DS，是用于评测决策支持系统（或数据仓库）的标准SQL测试集。这个测试集包含对大数据集的统计／报表生成／联机查询／数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

TPC-DS支持指定不同的数据大小。本次测试选择的数据大小分别为10GB、100GB、1TB、10TB。数据大小与表rows的关系如下图所示：

TPC-DS一共99个测试案例，遵循SQL'99和SQL 2003的语法标准，SQL案例比较复杂．分析的数据量大，并且测试案例是在回答真实的商业问题．测试案例中包含各种业务模型（如分析报告型，迭代式的联机分析型，数据挖掘型等）．本次测试使用了大部分的query，某些query由于语法错误、语法不兼容，或者在Hive、Spark、Impala下面都无法跑过，因此这些query不纳入性能测试的范围。

参数配置

本次测验基本上使用了CDH的默认配置。一些重要配置有：

Hadoop: 使用非安全模式，不带kerberos认证。
Impala: 使用自带的Resource Management，而非YARN；Catalog Server设置内存为32gb；impalad内存设置为64gb。
Kudu：使用data disks的第一块磁盘作为WAL磁盘（也就是使用SATA盘）；Kudu Tablet Server内存设置为32gb。
Spark：配置如下

spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              10g
spark.executor.memory           10g
spark.executor.instances        36
spark.executor.cores            5
spark.yarn.executor.memoryOverhead  2g 
spark.sql.autoBroadcastJoinThreshold    209715200

测试步骤

通过tpcds-gen在hdfs上生成parquet数据
利用impala将tpcds数据从hdfs上导入到kudu
测试impala on kudu的性能
测试impala on parquet性能
测试spark on parquet的性能

测试结果

Kudu数据导入速度

如图所示，kudu在导入小表时速度非常快，当导入大表时，速度反而变慢，性能严重下降。为了避免表字段类型、字段数目、大小造成的速度差异。我们根据同一张表store_sales进行比较，其结果为

(单位rows/秒, 越大越好)

由于kudu一开始先将数据插入到memRowSet，因此在数据集较小时插入速度非常快。当插入的数据达到10亿条级别以上时，性能开始出现严重的downgrade。根据Todd在slack上的解释是，impala插入数据时采用了随机的顺序，如果先将数据排序，再用impala导入可改善插入性能。目前社区正在改善此问题。