• 基于python+Testlink+Jenkins实现的接口自动化测试框架V3.0


    基于python+Testlink+Jenkins实现的接口自动化测试框架V3.0

    目录

    1、 开发环境
    2、 主要功能逻辑介绍
    3、 框架功能简介 
    4、 数据库的创建 
    5、 框架模块详细介绍
    6、 Testlink相关配置与用例管理
    a) API相关配置
    b) 项目相关配置
    c) 用例管理
    ① 步骤动作和预期结果填写规范
    ② 参数化
    ③ 用例执行依赖
    ④ 禁用用例
    7、 运行结果
    8、 源码下载
    9、 说明

    1、开发环境

    win7Windows Server 2008 R2 x64

    PyCharm 4.0.5

    setuptools-29.0.1.zip
    下载地址:http://pan.baidu.com/s/1mhMSAkK
    官方下载地址:https://pypi.python.org/pypi/setuptools#downloads

    python 3.3.2

    mysql-connector-python-2.1.3-py3.3-win32
    下载地址:http://pan.baidu.com/s/1kTRqRht
    mysql-connector-python-2.1.4-py3.3-winx64.msi
    下载地址:http://pan.baidu.com/s/1cDtP1O
    官方下载地址:http://dev.mysql.com/downloads/connector/python/

    testlink-1.9.14
    下载地址:http://pan.baidu.com/s/1pLrcunT
    安装教程:http://blog.sina.com.cn/s/blog_13cc013b50102w9am.html

    TestLink-API-Python-client-master
    下载地址1:http://pan.baidu.com/s/1c16H50O 
    下载地址2:https://github.com/lczub/TestLink-API-Python-client#testlink-api-python-client-developers

    chardet-2.3.0
    下载地址1:https://pypi.python.org/pypi/chardet/
    下载地址2:http://pan.baidu.com/s/1nu7XzjN

    2、主要功能逻辑介绍

     

    3、框架功能简介

    1、框架集成了Testlink,可使用Testlink灵活对测试项目,测试计划,测试用例进行管理

    2、可通过配置文件灵活配置运行模式:
    支持按测试项目运行:一次运行单个、多个指定的项目或者全部项目;
    支持按测试计划运行:一次运行单个、多个指定的测试计划;
    支持按测试套件运行:一次运行单个、多个指定的测试套件(注:支持套件嵌套,套件 -- testlink中的测试集)
    支持按用例运行:一次运行单个多个用例,这点对特别方便开发阶段时,对单个接口的实现代码进行调试

    3、支持HTTPS,HTTP,WebService协议,支持POST, GET方法,支持JSON,非JSON数据格式的请求,支持多种形式的数据校验,包含数据库级别的数据校验

    4、支持在界面化操作,无须写代码就可以实现如下操作:
    a) 自定义变量存储web服务器、数据库服务器返回请求/查询结果
    b) 根据自定义模式对web服务器返回结果进行自动校验,支持多种模式的校验,包含字符串,不包含字符串,键值提取,包含成员,不包含成员,匹配/不匹配正则表达式,完全匹配列表/元组/集合/字典
    c) 根据界面输入的sql语句,执行sql查询/更新操作,针对只对返回单条记录的sql查询,还支持对查询结果进行提取,保存
    d)支持url及参数体的动态参数化,支持全局动态参数,非全局动态参数(如存储某个接口返回结果的自定义变量)

    5、针对脚本中已经支持的常见协议及常用数据格式,且不需对接口执行结果进行数据库级别的逻辑校验,支持界面直接增加用例而不需要改动脚本代码,即不会编码的人也可以使用本框架

    6、支持不同编码(utf8,ascii,gb2312)的返回结果,且可自由扩展

    7、可自动生成HTML可视化接口测试报告

    8、可根据配置在测试完成后,自动发送测试报告邮件,邮件发送支持SSL加密发送和非SSL加密发送,同时支持往多个邮箱发送邮件

    9、支持文件、控制台的日志打印,可分别控制开关

    10、支持模块化开发

    11、支持测试环境的“一键”切换:python main.py arg,eg python main.py 1
    其中,arg: 1-测试环境 2-预发布环境 3-集成环境,可根据实际需要在代码、配置文件中做适当调整,支持自由扩展和更改

    12、可集成Jenkins自动运行脚本

    参考文章:
    “为Jenkins添加Windows Slave远程执行python项目脚本(http://blog.sina.com.cn/s/blog_13cc013b50102w1yr.html)”
    “利用Build With Parameters Plugin实现Jenkins参数化构建(http://blog.sina.com.cn/s/blog_13cc013b50102wrjj.html)”
    “利用HTML Publisher plugin实现HTML文档报告展示(http://blog.sina.com.cn/s/blog_13cc013b50102wryh.html)”

    如果需要支持参数化构建,需要替换main.py,globalpkg/global_function.py,config/runmodeconfig.py文件
    Windows batch,main.py参数按如下格式写,注意顺序必须遵守如下:
    cd /d C:Projectsinterface_project_for_test
    python main.py %run_env% %runmode% %project_mode% %projects% %project% %plans% %testsuites% %case_id_list% %global_case_str%

    完整批处理参考:jenkins集成html报告显示后的windows构建批处理命令.txt

     

    注意:集成里面的参数默认值只能为英文的,另外,字符必须加双引号

    4、数据库的创建

    CREATE DATABASE IF NOT EXISTS interface_autotest DEFAULT CHARACTER SET utf8;

    5、框架模块详细介绍

    a)config

     

    dbconfig.conf:包含测试数据库,应用数据库的配置信息

    logconfig.conf:包含日志配置信息,具体如下:

     

    mail.conf:包含邮件发送配置信息,如下,

     

    注:不同类型的邮箱(发件人邮箱),需要修改配置文件为对应的host和端口
    smtp.163.com:25
    smtp.qq.com:465

    report.conf:包含测试报告文件配置信息,如下

     

    runmodeconfig_xxxx.conf:包含运行模式配置信息, runmodeconfig_test.conf和runmodeconfig_relase.conf分别为测试环境和预发布环境的运行时配置信息,可根据实际情况进行调整

     
     

    runmodeconfig.py:运行配置类

    b)globalpkg

     

    log.py:实现日志打印类

    mydb.py:实现数据库类,封装数据库相关操作

    mytestlink.py:主要用于获取testlink连接实例

    othertools.py:实现其它通用功能,比如数据转换,批量创建目录等

    global_var.py:主要提供全局变量,全局实例等

     
     

    global_function.py:主要提供全局函数,比如提供运行单个用例的函数 run_testcase_by_id等

    c)logs及testreport

    可分别用于存放日志文件,测试报告

    d)interface

    封装接口测试方法类

     

    说明:可根据需要,每个接口对应一个模块,对应一个类;也可以多个接口对应一个模块,对应一个类
    需要注意的是,这里添加的模块及类,需要在casestep.py中导入

     

    接口单元测试类代码说明

     
     

    说明:新版本代码中,
    outputs_list = []已经改成 outputs_dict = {}
    处理方式目前支持3中test_interface_of_urlencode(针对请求体为url编码),test_interface_of_json(针对请求体为json格式),test_interface_of_xml(针对请求体为xml格式)

     
     

    问题:假如要进行数据库后台的逻辑校验咋办?
    针对核心用例我们可以这样,复制整个test_xxx为1-到n份,修改方法名,然后在代码最下方新增数据库后台校验的代码,同时如果有必要,对其它代码进行适当的修改(新增、删除、修改等),然后用例步骤中显示指定要调用的方法即可。

    或者把逻辑写成存储过程,扩展代码,增加存储过程调用

    e)其它模块

    如下,顾名思义

     

    6、Testlink相关配置与用例管理

    为了批量设置接口ip,端口(主要是这两个),协议信息(仅用于展示),需要对项目,计划,套件等必要的配置,以及客户端环境变量配置

    a)API相关配置

    如下,登陆Testlink,进入用户管理-查看用户,如下

     

    点击目标用户(例中为admin),打开如下界面

     
     

    点击生成新的密钥,如下

     

    或者是点击“编辑用户按钮”按钮进入界面

     

    在运行python脚本端进行环境变量的配置,如下:
    1、新建系统环境变量“TESTLINK_API_PYTHON_DEVKEY”,变量值为上述秘钥

     

    2、新建“TESTLINK_API_PYTHON_SERVER_URL”系统环境变量,变量值为“
    http://{host}/testlink/lib/api/xmlrpc/v1/xmlrpc.php”,其中host为testlink的访问地址

     

    测试是否生效:

    <code style="font-family:Menlo, Monaco, Consolas, 'Courier New', monospace;white-space:pre-wrap;margin:2px;line-height:18px;font-size:12px;color:rgb(68,68,68);border:none;">C:Userslaiyu>python
    Python 3.3.2 (v3.3.2:d047928ae3f6, May 16 2013, 00:03:43) [MSC v.1600 32
    tel)] on win32
    Type "help", "copyright", "credits" or "license" for more information.
    >>> import testlink
    >>> tls = testlink.TestLinkHelper().connect(testlink.TestlinkAPIClient)
    >>> tls.testLinkVersion()
    '1.9.14'
    </code>

    注意:如果还不行,提示404错误,则还需要配置testlinkhelper.py 中的DEFAULT_SERVER_URL,将其设置为http://{host}/testlink/lib/api/xmlrpc/v1/xmlrpc.php
    python_installation_homeLibsite-packagesTestLink-API-Python-client-masteruildlib estlink estlinkhelper.py

    b)项目相关配置

    测试项目配置

     

    注:计划,也存在是否开启的配置,需要开启才会运行。

    套件配置

     
     

    c)用例管理

    如下,用例层级,支持嵌套管理

     

    用例编写如下,左侧步骤动作,必须按如下格式编写

    ① 步骤动作和预期结果填写规范

    针对http,https请求,且步骤不是执行单个用例、不是执行sql,按如下填写:
    步骤动作
    json格式
    {
    "类名":"InterfaceUnittestTestCase",
    "函数":"test_interface_of_urlencode",
    "请求头":{"Content-Type":"application/x-www-form-urlencoded","charset":"utf-8"},
    "方法":"post",
    "url":"/cmorder/1/4",
    "参数":{"serial":"[global_serial]","openId":" [global_openId]","fm":1,"mallGoodsId":"26838", "amount":1,"cartIds":"","fetchTime":"", "remark":""}
    }

    注:
    1、如果不填写“类名键值对”,那么类名默认为InterfaceUnittestTestCase,如果不填写“函数键值对”,那么函数默认为test_interface_of_urlencode
    2、键对应的参数值为空,则填写为 "",“键”,用双引号包含,键对应的“值”,有必要的话也是双引号包含,预期结果的填写也是一样,不再赘述
    3、如果“参数”值为空,则填写为 "参数":""
    4、用例步骤对应的test_xxx方法实现,要尽量做到接口测试数据和业务逻辑分离,增强复用性和用例的可维护性。

    预期结果
    json格式
    {"检查":"body",
    "匹配规则":"包含字符串",
    "条件":[{"模式":""success":true", "消息":"创建储值卡支付订单失败,success不为True"}],
    "输出":{"success": ""success":(.+?),","attach":"attach":"(.+?)""}
    }

    注:
    1、预期结果要么按规范填写,要么为空,啥都不写
    2、如果不想定义变量存储服务器返回结果,则不填写“输出键值对”
    3、注:匹配规则和条件,要么都写,要么都不写,如下

    {"检查":"body",
    "输出":{"success": ""success":(.+?),","attach":"attach":"(.+?)""}
    }

    样例

     

    针对http,https请求,且步骤执行单个用例、不是执行sql,按如下填写,json格式
    步骤动作
    {
    "步骤类型":"执行用例",
    "用例id":106,
    "用例名称":"test-n-创建储值卡支付订单"
    }

    预期结果
    为空,不填写

    样例

     

    针对步骤行sql,按如下填写:
    更新(UPDATE)
    步骤动作
    json格式
    {
    "步骤类型":"执行sql",
    "数据库":"db_name",
    "更新":"UPDATE mall_shopping_cart SET amount = 0 WHERE customer_id = %s and closed=1",
    "参数":"([CaseStep.customer_id],)"
    }

    注意:
    1、如果“参数”值为空,则填写为 "参数":""
    2、“数据库”,要从那个数据库查数据,其值来源于global_var里面的数据库对象名称。如下图

     

    注意:这里如果添加了数据库对象,需要在main.py近末尾处中添加关闭数据库连接的代码 db_name.close()

    预期结果
    为空,不填写

    查询(SELECT)
    步骤动作
    json格式
    {
    "步骤类型":"执行sql",
    "数据库":"db_name",
    "单条查询":"SELECT id FROM customer WHERE channel_serial=%s",
    "参数":"("[global_openId]",)"
    }

    注:参数值为元组的字符串类型表示 (value1,value2,……),如果参数为空则 "参数":"",如果参数值为字符串类型的,则按这样填写: ("参数值",)

    预期结果
    json格式
    {"检查":"body",
    "输出":{"customer_id":1}
    }

    或者如下
    {"检查":"body",
    "输出":{"customer_id":1},
    "匹配规则":"相等",
    "条件":[{"模式":"[CaseStep.device_no]=123456", "消息":“登录失败,device_no不为123456”}]
    }

    注:预期结果要么为空,要么严格按照上述填写

    样例

     

    其它一些样例
    发送请求参数为xml格式

     

    发送请求参数为json格式

     

    容错处理

     

    ② 参数化

    1) 针对https,http请求,且不是执行sql,也不是执行整个用例的步骤动作、预期结果

    如果参数位于“参数”、“请求体”,且“参数”、“请求体”的值为字典,按如下格式填写
    "[var_name]"
    {
    ……,
    "参数":{"key1":"[global_var1]","key2":"[global_var2]"}
    }

    {
    ……,
    "请求头":{"DeviceId":"[CaseStep.device_no]", "SerialNo":"[CaseStep.serial_no]", "Content-Type":"application/json;charset=utf-8","ProductVersion":"[global_product_version]","ProtocolVersion":"[global_product_version]","OperatorId":"[OperatorId]", "Token":"[Token]"},
    ……
    }

    如果参数位于“url”或者预期结果“条件”中的字典key对应的值,按如下格式填写 
    [var_name]
    {
    ……,
    "urL":"/kq/getincoupon/40758966216286146560/[global_openId]",
    ……
    }

    {
    ……,
    "条件":[{"模式":{"key": "[CaseStep.branch_id]"},"消息":“key错误”}]
    ……
    }

    2) 针对执行sql的步骤动作、预期结果

    参数位于步骤动作、步骤预期结果,按如下格式填写
    [var_name]或者 "[var_name]"
    {
    ……,
    "参数":"("[global_openId]",)"
    ……
    }

    {
    "检查":"body",
    "匹配规则":"相等",
    "条件":[{"模式":"[CaseStep.device_no]=123456", "消息":“登录失败,device_no不为123456”}]
    }

    注:如果待替换"动态变量" [var_name]为字符串类型的变量,需要在其左右两侧加 " 符号,形如 "[global_openId]"

    3) 变量划分

    全局变量[global_var],来自globalpkg.global_var.py中定义的,var_name和定义的全局变量名称保持一致即可

    非全局变量[ClassName.var_name],可能来自sql查询结果,也可能来自http(s)请求返回结果中提取的

    A)“步骤动作”中的非全局变量来源于某个sql查询结果,则按如下格式填写

    [CaseStep.var_name]

    样例

     
    B)“步骤动作”中的非全局变量来源于某个http(s)请求返回结果,则按如下格式填写

    [ClassName.var_name]、[ClassName.var_name_N]

    样例

     

    注:
    1、当调用的函数为默认类名,即InterfaceUnittestTestCase类中定义的方法时,这里“ClassName.”可以不写,如果是调用其它新增类中的方法时,需要显示的填写
    2、当且仅当变量是通过正则表达式提取的时候,采用[ClassName.var_name_N],的形式 N从1,2,3,……以此类推

    4) 结果断言和服务器返回内容提取

    参考“结果断言和提取服务器返回结果.txt”文档

    ③ 用例执行依赖

    全局初始化用例

     

    注:全局初始用例在runmodeconfig_运行环境.conf中进行配置,优先于其它用例被执行

     

    注意:没有则全局初始化用例保持为空 global_cases_str =

    当把某个用例作(假设为“用例1” )为其它用例的某个步骤,不能满足需求(比如提供的接口输入参数值不一样)时,可以复用“用例1”的步骤信息并对参数进行适当的调整

    ④ 禁用用例

     

    注意:被禁用的用例不参与执行,计划,项目也是如此

    7、运行结果

     
     

    8、源码下载

    下载地址,未注册github,直接网盘共享了:http://pan.baidu.com/s/1o7L6uPO

    下载后解压,用pycharm导入项目即可,必要时可能需要修改.idea/workspace.xml中python程序所在路径

    9、说明

    时间有限,精力有限,暂且就到这吧,有需要的可以自己扩展、修改框架。
    注:目前还存在个bug,测试报告中,类似xml格式参数的参数值没显示出来,有兴趣的烦先自己解决下。

  • 相关阅读:
    应用运维职业现状
    两年工作总结
    explicit用法
    最小生成树 之 CODE[VS] 1231 最优布线问题
    最小生成树 之 CODE[VS] 1078 最小生成树
    并查集 之 CODE[VS] 1073 家族
    贪心 + 并查集 之 CODE[VS] 1069 关押罪犯 2010年NOIP全国联赛提高组
    枚举+并查集 之 CODE[VS] 1001 舒适的路线 2006年
    SPFA算法(求解单源最短路)详解 + 最短路 之 CODE[VS] 1079 回家
    最短路 之 CODE[VS] 1041 Car的旅行路线 2001年NOIP全国联赛提高组
  • 原文地址:https://www.cnblogs.com/111testing/p/10261803.html
Copyright © 2020-2023  润新知