【TPCDS】trino+S3+hive+postgresql性能测试测试场景（一）

测试场景：

TPC-DS介绍

TPC-DS是一个面向决策支持系统(decision support system)的包含多维度常规应用模型的决策支持基准，包括查询(queries)与数据维护。此基准对被测系统(System Under Test’s, SUT)在决策支持系统层面上的表现进行的评估具有代表性。

此基准体现决策支持系统以下特性：

1.测试大规模数据

2.对实际商业问题进行解答

3.执行需求多样或复杂的查询（如临时查询，报告，迭代OLAP，数据挖掘）

4.以高CPU和IO负载为特征

5.通过数据库维护对OLTP数据库资源进行周期同步

6.解决大数据问题，如关系型数据库(RDBMS)，或基于Hadoop/Spark的系统

基准结果用来测量，较为复杂的多用户决策中，单一用户模型下的查询响应时间，多用户模型下的查询吞吐量，以及数据维护表现。

 

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

————————————————

测试参考文章：

• 使用TPC-DS对kudu进行基准测试：https://blog.csdn.net/sinat_37316828/article/details/106795862。参考里面：impala到kudu的数据生成、数据流向、SQL执行等

• 使用TPC-DS工具生成数据：https://www.cnblogs.com/webDepOfQWS/p/10544528.html。参考里面：工具包git下载地址、生成查询数据的shell脚本、单生成一张表的介
• 【待看】TPC-DS标准规范（一）https://blog.csdn.net/github_38325884/article/details/77043326

• 【待看】TPC-DS标准规范（二）https://cloud.tencent.com/developer/news/83351

————————————————

• 测试案例都有很高的IO负载和CPU计算需求，涵盖了几乎所有的业务场景。
• 准备好创建表语句,TPC-DS已经提前准备好了创建表相关的SQL文件,文件位于:tools目录下，具体文件如：tpcds.sql 创建25张表的sql语句