参考:移动App性能评测与优化
chapter4讲了地图怎么测,虽然不测地图,但是里面有关竞品分析的部分写得非常好,很多解决方案真的很精彩。记录一下。
我之前的竞品分析测试,通常是很简单的竞品数据层面的测试,比如和YY是竞品时,我只会做流量测试当作竞品分析项,和微信是竞品的时候只关注弱网时延,和H5集成游戏商城做竞品的时候只关注耗电量。并且数据支撑非常浅薄。
chapter4的地图评测讲了几个点:路线规划,语音播报。
我首先自己确认一下路线规划的测试方案,1.算法测试 2.路况测试(拥堵,集会等) 3.公共设施测试(红绿灯,禁行路标)4.道路类型测试(大路/小路/步行街/高速) 5.天气测试(雨雪雷电等) 语音播报:1.语言类型 2.语序和语句通顺度 3.播报延时 4.其他AI交互 4.播报的立体感(复杂道路的播报准确性) 根据测试方案来设置不同的测试用例,我可能会做该项目的测试用例集合。这些用例设置场景的选取上,值得专门拿出来讲。
书上面提到了几个内容:1.case无穷尽,2.但看自己的产品很难给出评价(是否优秀),3.人工评测人力耗时大,且达不到量。
1.case无穷尽,那么首先要做倒尽可能筛选有效的并且高效的主流用例,用兼容性测试的方案,筛选范围就是top100或者主流品牌/机性/版本 覆盖,这里用导航软件的筛选方式,是通过后台日志筛选用户访问量大的用例,作为评测的用例,以有限的量覆盖更多的用户。
2.只看自己很难给出评价,就取业内优秀的多个产品进行对比。
3.人工评测耗时太大,就采用自动化评测方案。
具体细节:
1.后台筛选的用例,部分为bad case(坏用例),这些路径规划有问题,需要优化。
2.路径规划分为:考虑路况的路线规划/不考虑路况的路径规划,分别评测;
针对算法,测试无路况数据;针对考虑路况,也要测试。
版本测试方案如下:
前提:选取1w个用例评测,看下路径规划和旧版本相比有没有达到优化效果; 具体过程: 城内用例: 1.从用户数据中获取用例,筛选后台日志一段时间中最热门城市。从最热门城市里再堆用例进行聚合,对聚合用例按照访问量排序,取访问量最高的用例作为测试集。 跨城用例: 2.以城市到城市为一对统计热度,选择热门的城市对,作为跨城测试用例。 bad case的判断标准:怎么判断一个路径规划对不对? 绕路的测试方法: 1.路线长度/直线距离 2.找竞品测算,如果差不多,就OK,如果相差多且路线偏长,需要分析,这种需要首先获取竞品数据。 路径相似度计算方法: 1.将路线堪称折线段总和,计算折线段重合的长度/总长度,得到相似度 2.计算两条路线围起来区域的面积/路线长度 =两条路线的平均距离 ≈相似度 自动化评测方案-无路况 case生成->数据获取->数据处理,计算相似度和->判断相似度->判断长度->找到bad case(长度>竞品,且相似度低) 自动化评测方案-有路况 1.加入竞品之外的第三方数据-出租车 2.对三方数据建模比较(我不行。。。)