目前我的测试项目正在进行自动化回归用例库的建设,期间出现了很多具体的问题,但是在总的方向上我有一些体会:
1. 回归用例库建设
全量、细节性回归用例库的规模会非常大,不是短时间实现,建议根据优先级逐步建设,穿插在变更测试过程中。
2. 建立最小测试集
一轮全量回归需要执行很长时间,如果不能通过多资源并行,建议根据核心功能建立最小测试集,其他用例是否执行根据变更内容进行分析。
3. 代码覆盖率分析
回归用例执行后产生的代码覆盖率报告,可以针对每个版本变更内容,优先保障变更内容100%覆盖。核心业务部分应回归到,其他内容可逐步推进。
更好的方式则是通过分析能够精准定位到本次版本变更会涉及到哪些用例,先行修改用例,达到测试驱动开发。
4. 白盒测试
如果从代码角度进行测试用例设计,用例的粒度在函数级,设计思路与黑盒测试的输入-输出会有很大差异。现阶段白盒测试依赖于开发人员,黑盒的功能测试人员暂用代码行覆盖来体现覆盖率,函数、分支覆盖待定。
5. 多种测试方法结合
通常情况下都需要对系统功能进行分类,分别选择合适的自动化方法,综合起来才能覆盖完整的系统功能。