背景
工具选择
架构设计及技术实现
参数设计
断言
持续集成
测试集编写
总结
一、背景
1.目前公司发展比较迅速,还处于不停堆业务阶段,所以迭代比较频繁,导致人工回归的成本越来越大
2.在有限的测试资源情况下,开发自测的需求占比不低,后端频繁发布容易心里没底
3.该平台主要使用用户是测试同学,编写接口用例不能有太多的代码量
4.自动化是为了提高测试的效率,需要考虑投入产出比,维护成本要低
Ps:好的自动化项目,一定是需要关注ROI的,这也是贯穿我们整个设计的核心思想
二、工具选型
java和python对比:就接口自动化而言,两者从成熟度来说差不多;和公司语言保持一致,有利于后期的白盒测试;组内成员会java的更多
TestNg和Junit对比:TestNG包含了JUnit4的核心功能外,更加灵活、方便;
Jenkins:轻量级、成熟的持续集成工具,插件多,基本上要用到的功能都已能支持
所以我们最终确定的方案是通过Java+TestNg+jenkins去实现
三、架构设计及技术实现
3.1、参数设计
首先,接口参数非常多,有些是只要环境一样,值全部都是同一个;有些参数是有时效性或者执行一次后就不能再被执行的;而大部分是每个接口甚至同一个接口都是不同的值,所以为了接口的低维护成本和编写成本,我这里把所有的接口分成了三大类,全局参数(接口协议、域名、环境、请求头参数等)和非全局参数(接口路径、接口入参、请求方式等)、动态参数
3.1.1 全局参数
这类参数我们基本都是放在配置文件里,这样只要改一个地方就可以,而不需要每个地方去改下,重点说一下环境这个参数,因为我们整个是通过jenkins去集成的,所以在jenkins上会去传不同的环境入参,其他所有的全局参数基本都依赖这个值,以下是我的实现方式
首先在在testNg.xml文件中,接收jenkins中传过来的参数
然后在BeforeTest中先去获取这个参数,如下:
@Parameters({ "env" })
@BeforeTest
public void getEnv(String environment) {
...
...
}
3.1.2 非全局参数
为了接口参数更方便的管理、编写和维护,所以我们采用数据分离的方式;另外我们在我们的持续集成方案中,需要支持多个环境,所以我们在设计上需要区分环境;每个应用部署完后,我们只希望跑对应的接口用例,而不是全部都跑一遍,所以我们需要区分应用。
3.1.3 动态参数
为了我们接口用例的可维护性,所以我们需要尽可能缩短维护的时间,那很多接口的参数是有时效性的,比如token;也有些参数是用过后就不能再继续用的,比如库存,那有两个方案,一个是每次执行前都恢复下数据,但这样可能太重了,不仅要恢复数据库,可能缓存这些也要考虑;所以我们用了第二个方案,就是动态参数化,从而保证不用频繁的修改。
主要涉及两个方法,一是从上个接口的响应值中提取指定的参数;二是在后面的接口去用这个参数
3.2、断言
断言是自动化测试的重要组成部分,也就是实际值和预期值的比较,我这边也简单给它分成了二大类,静态断言、动态断言
动态断言:期望值从数据库/redis/es中,查出来后再去和实际值比较,适用范围(经常变的重要字段,如库存等)
静态断言:把期望值设为固定值,也是最常见的,适用范围(接口返回状态、接口的json格式等)
这里说下,我们这边实现静态断言的方式,静态断言也有好几种,一是直接通过响应值中是否包含你预期值中的字符串,这种优点就是编写比较快,但是会有偏差;所以我们用的是在响应值中,通过jsonpath,把值提取出来后再去比较,但是往往我们的一次断言中,需要断言的肯定不止一个字段,所以我们会把这些都塞到数组中,最后直接拿预期值数组和实际值数组去比较,以下是我们execl中的截图
Ps:因为我们需要考虑到维护成本,所以我们在断言选择上需要做一些取舍
3.3、持续集成
我们期望是在某个应用发布后,能自动触发执行我们对应模块的测试集,并且当有执行失败用例时能实现钉钉告警、卡点,并且发送报告,以下是我们的设计流程图
Ps:之所以用jenkins就是,jenkins已经集成了非常多的成熟插件,而且可以通过get/post接口,远程去通过参数化去执行jenkins中的任务,包括发送邮件及钉钉告警,这样在我们整个框架搭建上,就节省了很多编写代码的成本,而只需要去关注接口自动化本身的脚本编写上
3.4、测试集编写
基于以上的背景,所以要求代码量要尽可能的少,这里主要用到TestNg中的@DataProvider和@test,通过@DataProvider从execl中读取对应的参数,然后通过@test去执行对应的测试集,以下是我们一个测试集所有的代码量
四、总结
好的自动化项目,一定是为了解放更多的人力,但如果投入和产出不成正比,那注定是没有意义的,整个项目也还有很多不足的地方或待优化的地方。目前正在组内推广中,期望在质量保障上能带来更多的收益