测试场景:
TPC-DS介绍
TPC-DS是一个面向决策支持系统(decision support system)的包含多维度常规应用模型的决策支持基准,包括查询(queries)与数据维护。此基准对被测系统(System Under Test’s, SUT)在决策支持系统层面上的表现进行的评估具有代表性。
此基准体现决策支持系统以下特性:
1.测试大规模数据
2.对实际商业问题进行解答
3.执行需求多样或复杂的查询(如临时查询,报告,迭代OLAP,数据挖掘)
4.以高CPU和IO负载为特征
5.通过数据库维护对OLTP数据库资源进行周期同步
6.解决大数据问题,如关系型数据库(RDBMS),或基于Hadoop/Spark的系统
基准结果用来测量,较为复杂的多用户决策中,单一用户模型下的查询响应时间,多用户模型下的查询吞吐量,以及数据维护表现。
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。
————————————————
测试参考文章:
- 使用TPC-DS对kudu进行基准测试:https://blog.csdn.net/sinat_37316828/article/details/106795862。参考里面:impala到kudu的数据生成、数据流向、SQL执行等
- 使用TPC-DS工具生成数据:https://www.cnblogs.com/webDepOfQWS/p/10544528.html。参考里面:工具包git下载地址、生成查询数据的shell脚本、单生成一张表的介
- 【待看】TPC-DS标准规范(一)https://blog.csdn.net/github_38325884/article/details/77043326
- 【待看】TPC-DS标准规范(二)https://cloud.tencent.com/developer/news/83351
————————————————
- 测试案例都有很高的IO负载和CPU计算需求,涵盖了几乎所有的业务场景。
- 准备好创建表语句,TPC-DS已经提前准备好了创建表相关的SQL文件,文件位于:tools目录下,具体文件如:tpcds.sql 创建25张表的sql语句