QTA-qtaf自动化测试实践

背景：

• 项目leader认为万物皆可自动化，然后就拍脑袋要搞个自动化，后面搞不下去了，凉了。虽然说项目凉了，但是过程中收获满满，所以脱敏后就有了这篇博客：https://www.cnblogs.com/Klay/p/15339223.html

需求：

• 需要把自动化做成一个服务，提供给后台调用
• 对测试进度量化，如：测试进度的百分比
• 测试报告定制化，如：展示一个测试用例信息、测试标题、测试步骤等
• 可以在前端选择执行哪些用例，支持单个用例执行。

隐藏需求：

• 我们要自己写用例
• 执行用例的不是我们

概要设计

• 测试对象：http/https接口、web系统（后续方向）、app等（后续方向），基于此平台设计的自动化框架要包含测试用例管理、测试执行控制、测试报表及测试日志的生成，整体测试框架要轻量易用。
• 整个服务分两个部分，一是部分提供http接口对接外部服务，这里就不详述了，二是提供自动化部分。
• 自动化部分总共分为5个公共库模块（可复用函数、日志管理）、用例仓库（具体用例的管理）、页面管理（单独对Web页面或接口进行抽象，封装页面元素和操作方法）、执行模块（测试计划和执行计划）以及静态资源，模块之间不是相互孤立的，而是相辅相成的。

详细设计

• 用 qtaf 来管理用例，基础详情可以看 官方文档
• 然后基础功能都有了。官方文档比较详细，这里就不复制粘贴了。

拓展 testplan

拓展测试计划主要可以定制测试环境、全局初始化和测试数据等。

点击查看代码

from testbase.loader import TestLoader
from testbase.plan import TestPlan
from testbase.runner import TestRunner


class XxxxTestPlan(TestPlan):
    tests = TestLoader().load("testcase.demo")
    test_target_args = ""

    hosts = ""

    def get_test_target(self):
        """获取被测对象详情"""
        return self.tests

    def test_setup(self, report):
        """全局初始化"""
        pass

    def resource_setup(self, report, restype, resource):
        """测试资源初始化"""
        pass


if __name__ == "__main__":

    from testbase.resource import LocalResourceManagerBackend
    from testbase.report import HtmlTestReport

    dir_report = {}
    TestRunner(
        HtmlTestReport(), resmgr_backend=LocalResourceManagerBackend()
    ).run(SstcTestPlan())
    print(dir_report)

拓展 测试报告

主要引入了一些参数，主要为了以下几点

• 把测试进度写到redis里
• 把测试报告返回回去

点击查看代码

import argparse

from testbase.report import ITestResultFactory, report_usage, JSONTestReportBase
from testbase.testresult import JSONResult


class XxxxResult(JSONResult):
    """xxxx test result，先不处理后续有需要再写"""

    def get_file(self):
        """
        重写了父类方法，直接让每个测试用例的结果弄到测试报告中
        ，而不是以一个文件的形式单独存在
        # TODO： 目前未遇到内存问题，后续考虑写到redis里
        @return:
        @rtype:
        """
        return self._data


class XxxxTestResultFactory(ITestResultFactory):
    """result factory"""

    def create(self, testcase):
        return XxxxResult(testcase)


class XxxxTestReport(JSONTestReportBase):
    """test report class"""

    def __init__(self, dict_report, task_id=None, count_tests=None, redis=None):
        super(JSONTestReportBase, self).__init__()
        self._logs = []
        self._filtered_tests = []
        self._load_errors = []
        self._passed_tests = {}
        self._failed_tests = {}
        self._data = dict_report
        self._data.update(
            {
                "version": "1.0",
                "summary": {"tool": "SSTC", "title": "", "environment": {}},
                "logs": self._logs,
                "filtered_tests": self._filtered_tests,
                "load_errors": self._load_errors,
                "passed_tests": self._passed_tests,
                "failed_tests": self._failed_tests,
            }
        )
        self._testcase_names = set()
        self._testcase_total_run = 0
        self._task_id = task_id
        self._count_tests = count_tests
        self._redis = redis

    def _set_task_progress(self, time_out=3600):
        """
        设置redis测试进度
        key: "tests_task_{}".format(self._task_id)
        value: 百分比   如：100、29
        @return:
        @rtype:
        """
        if self._task_id == None or self._count_tests == None or self._redis == None:
            return
        else:
            if self._count_tests == 0:
                self._redis.set("tests_task_{}".format(self._task_id), 0)
            else:
                self._redis.expire("tests_task_{}".format(self._task_id), time_out)
                self._redis.set(
                    "tests_task_{}".format(self._task_id),
                    int(
                        (len(self._passed_tests) + len(self._failed_tests))
                        * 100
                        / self._count_tests
                    ),
                )

    def log_test_result(self, testcase, testresult):
        self._set_task_progress()
        super(XxxxTestReport, self).log_test_result(testcase, testresult)

    def get_testresult_factory(self):
        """获取对应的TestResult工厂
        :returns ITestResultFactory
        """
        return XxxxTestResultFactory()

    def end_report(self):
        super(XxxxTestReport, self).end_report()

    def begin_report(self):
        super(XxxxTestReport, self).begin_report()
        pass

使用感受和结论

• 在qta这套框架在腾讯外用得基本上没有文档，然后官方提供的qq群也不活跃，所有要用的人考虑遇到问题后得自己能看得懂源码（大多数注释都是中文）
• pyhon3支持得不是很好，所有用python3容易遇到版本兼容问题（相关的依赖包）
• 如果单纯的只用qtaf，不用其他配套框架qt4i，qt4w这类的会比较容易，不容易出现深坑。
• 腾讯外没有metis这个这套框架的核心可以用（2021年9月），有条件可以自己去实现。
• 虽然框架提供了并发执行测试用例，但如果想执行效率更高需要自己定制开发执行器

结论：

• 虽然说社区没有其他框架（appium、selenium等）那么活跃，但提供的基础功能很全，且有全中文官方文档对英语不好的人很友好，如果其他选择你都不满意，那么qta全家桶你可以尝试下。