性能测试-响应时间的百分比指标
先前看过一本书,说到了性能测试者的关键数学原理,充分说明了关于性能测试一些数据的统计和分析,最大力度的获取性能测试的真实指标。对此有也有些自己的感想,尤其是响应时间,和用户切身相关的性能指标,通过百分比指标的分析,性能结果的好坏一目了然。
首先,大家看一组响应时间的数据:
假设,我们执行某个任务,响应时间的需求指标上限为1秒,开发了两种方案:A、B,而且我们也做了相关的执行测试,分别收集了十组响应时间的性能数据。虽然,两组数据平均响应时间都一样,均为1秒,但本质上,差距还是很大的。List A方案,90%的用户响应时间都在1秒以内,而List B方案,只有60%的用户响应时间符合1秒以内的要求,单从用户体验的角度来说,List A显然要好于List B,List B有40%的用户会感觉不满意,因为用户感受到的恰恰是这种差异化,并不是平均的数据,所以平均值这种数据的统计意义和价值,要辩证的来看待。而这种数据百分比的模式恰恰会帮助我们避免出现这种情况,因为除了平均响应时间,我们通过关注90%响应时间,甚至95%的响应时间,能更加精确的定位到性能数据的这种差异化分布,而不仅仅是平均。List A 90%的响应时间为0.987秒,List B 90%的响应时间为1.273秒,因此,这种百分比的数据模式,比单纯的平均响应时间要包含更多的信息。
另外,前面提到的关于一本web性能测试的书,关于性能测试者的关键数学原理,和性能测试的百分比模式有异曲同工之妙。关于关键数学原理这块知识,通过三组数据,分别介绍了平均值、百分比数据、中位数、正常值、标准偏差、均匀分布、正态分布等等,也从统计学方面做了说明。