一、实验目的
1、掌握单元测试的方法
2、学习XUnit测试原理及框架
3、学习使用测试框架进行单元测试的方法和过程
二、实验内容与要求
1、了解单元测试的原理与框架
1.1单元测试原理
单元测试,是指对软件中的最小可测试单元进行检查和验证。对于单元测试中单元的含义,一般来说,要根据实际情况去判定其具体含义,如C语言中单元指一个函数,Java里单元指一个类,图形化的软件中可以值一个窗口或一个菜单等。总的来说,单元就是认为规定的最小的被测试功能模块。单元测试是在软件开发过程中要进行的最低级别的测试活动,软件的独立单元将在与程序的其他部分相隔离的情况下进行测试。单元测试是由程序员自己来完成,最终受益的也是程序员自己。可以这么说,程序员有责任编写功能代码,同时也就有责任为自己的代码编写单元测试,就是为了证明这段代码的行为和我们的期望一致。
单元测试的内容包括
模块接口测试、局部数据结构测试、路径测试、错误处理测试、边界测试
(1)模块接口测试
模块接口测试是单元测试的基础。只有在数据能正确流入、流出模块的前提下,其他测试才有意义。模块接口测试也是集成测试的重点,这里进行的测试主要是为后面打好基础。测试接口正确与否应该考虑下列因素:
-输入的实际参数与形式参数的个数是否相同
-输入的实际参数与形式参数的属性是否匹配
-输入的实际参数与形式参数的量纲是否一致
-调用其他模块时所给实际参数的个数是否与被调模块的形参个数相同;
-调用其他模块时所给实际参数的属性是否与被调模块的形参属性匹配;
-调用其他模块时所给实际参数的量纲是否与被调模块的形参量纲一致;
-调用预定义函数时所用参数的个数、属性和次序是否正确;
-是否存在与当前入口点无关的参数引用;
-是否修改了只读型参数;
-对全程变量的定义各模块是否一致;
-是否把某些约束作为参数传递。
如果模块功能包括外部输入输出,还应该考虑下列因素:
-文件属性是否正确;
-OPEN/CLOSE语句是否正确;
-格式说明与输入输出语句是否匹配;
-缓冲区大小与记录长度是否匹配;
-文件使用前是否已经打开;
-是否处理了文件尾;
-是否处理了输入/输出错误;
-输出信息中是否有文字性错误。
-局部数据结构测试;
-边界条件测试;
-模块中所有独立执行通路测试;
(2)局部数据结构测试
检查局部数据结构是为了保证临时存储在模块内的数据在程序执行过程中完整、正确,局部功能是整个功能运行的基础。重点是一些函数是否正确执行,内部是否运行正确。局部数据结构往往是错误的根源,应仔细设计测试用例,力求发现下面几类错误:
-不合适或不相容的类型说明;
-变量无初值;
-变量初始化或省缺值有错;
-不正确的变量名(拼错或不正确地截断);
-出现上溢、下溢和地址异常。
(3)边界条件测试
边界条件测试是单元测试中最重要的一项任务。众所周知,软件经常在边界上失效,采用边界值分析技术,针对边界值及其左、右设计测试用例,很有可能发现新的错误。边界条件测试是一项基础测试,也是后面系统测试中的功能测试的重点,边界测试执行的较好,可以大大提高程序健壮性。
(4)独立路径测试
在模块中应对每一条独立执行路径进行测试,单元测试的基本任务是保证模块中每条语句至少执行一次。测试目的主要是为了发现因错误计算、不正确的比较和不适当的控制流造成的错误。具体做法就是程序员逐条调试语句。常见的错误包括:
-误解或用错了算符优先级;
-混合类型运算;
-变量初值错;
-精度不够;
-表达式符号错。
(5)错误处理测试
检查模块的错误处理功能是否包含有错误或缺陷。例如,是否拒绝不合理的输入;出错的描述是否难以理解、是否对错误定位有误、是否出错原因报告有误、是否对错误条件的处理不正确;在对错误处理之前错误条件是否已经引起系统的干预等。
通常单元测试在编码阶段进行。在源程序代码编制完成,经过评审和验证,确认没有语法错误之后,就开始进行单元测试的测试用例设计。利用设计文档,设计可以验证程序功能、找出程序错误的多个测试用例。对于每一组输入,应有预期的正确结果。
1.2 测试框架
xUnit是各种代码驱动测试框架的统称,这些框架可以测试 软件的不同内容(单元),比如函数和类。xUnit框架的主要优点是,它提供了一个自动化测试的解决方案。可以避免多次编写重复的测试代码。
底层是xUnit的framwork,xUnit的类库,提供了对外的功能方法、工具类、api等
TestCase(具体的测试用例)去使用framwork
TestCase执行后会有TestResult
使用TestSuite控制TestCase的组合
TestRunner执行器,负责执行case
TestListener过程监听,监听case成功失败以及数据结果,输出到结果报告中
Unit测试框架包括四个要素:
(1)测试目标(对象)
一组认定被测对象或被测程序单元测试成功的预定条件或预期结果的设定。Fixture就是被测试的目标,可以是一个函数、一组对象或一个对象。 测试人员在测试前应了解被测试的对象的功能或行为。
(2)测试集
测试集是一组测试用例,这些测试用例要求有相同的测试Fixture,以保证这些测试不会出现管理上的混乱。
(3)测试执行
单个单元测试的执行可以按下面的方式进行:
第一步 编写 setUp() 函数,目的是:建立针对被测试单元的独立测试环境;举个例子,这可能包含创建临时或代理的数据库、目录,再或者启动一个服务器进程。
第二步 编写所有测试用例的测试体或者测试程序;
第三步 编写tearDown()函数,目的是:无论测试成功还是失败,都将环境进行清理,以免影响后续的测试;
(4)断言
断言实际上就是验证被测程序在测试中的行为或状态的一个函数或者宏。断言的失败会引发异常,终止测试的执行。
1.3 面向特定语言的,基于xUnit框架的自动化测试框架
Junit : 主要测试用Java语言编写的代码
CPPunit:主要测试用C++语言编写的代码
unittest , PyUnit:主要测试用python语言编写的代码
MiniUnit: 主要用于测试C语言编写的代码
2、结对编程的小组采用测试框架对自己“结对编程”实验的程序模块(类)进行单元测试,提交单元测试报告。
测试报告包括以下内容:
1)源码
2)测试用例设计 (结合单元测试的内容和模块功能设计测试用例)
3)选择的测试框架介绍、安装过程
4 )测试代码
5)测试结果与分析
3、push测试报告和测试代码到各自的github仓库
三、实验过程
1、源码
考虑到源代码的编写未进行函数划分,难以进行单元测试,所以对源代码进行部分修改。修改后如下:
2、测试用例设计
对项目代码进行分析,需要测试代码中四个运算函数,以代码中的“和运算”函数为例:
函数功能实现对随机数 a ,b 是否符合运算规则进行判断,符合运算规则则返回运算结果,不符合则返回 -1 。其他的差运算,积运算,商运算函数的功能基本相同。
如此设计测试用例,对每个函数测试四组数据,四组数据中其中两组数据测试随机数符合规则函数返回运算结果的情况,另外两组数据测试随机数不符合运算规则函数返回值为 -1 的情况。具体设计测试用例表如下:
3、测试过程
源代码为C语言代码,用VS进行编写,查阅资料了解VS也可以对C/C++进行单元测试,于是开始着手操作。
打开VS2017,新建项目,选择windows桌面,命名为 UnitTset ,确定。
选择控制台应用程序,点击空项目,确定。
在项目中添加名为 UnitTest.h 的头文件,头文件中包含需要测试的四个函数名,如图所示:
在源文件夹中添加被测试代码文件,代码中引入头文件 UnitTest.h 并包含四个测试函数,命名为 szys.cpp ,如图所示:
main 函数定义,由于本单元测试主要测试四个运算函数,所以 main 函数简单化,如图所示:
被测项目创建完成,下面创建单元测试项目。
右键 ”解决方案 UnitTest “,添加新建项目,选择测试,本地单元测试,命名为 UnitTest1 。
创建完成后,在 UnitTest1 项目中VS已经帮我们创建好 UnitTest1.cpp 文件,pch.cpp文件和pch.h头文件,打开 UnitTest1.cpp 文件,在头文件中引入 UnitTest.h 头文件,以确保单元测试函数能够测试被测函数。
根据前面设计好的测试用例编写测试代码,本测试主要引用了断言 Assert::AreEqual () ,主要测试函数返回值与预期值是否相等。测试代码如下:
整个项目总览:
接下来对项目 UnitTest1 附加依赖项,右键 UnitTest1 项目,选择属性 --> 链接器 --> 输入 --> 附加依赖项 --> 编辑,输入 ..UnitTestDebug*.obj ,确定
接着就可以进行单元测试,选择测试 --> 运行 --> 所有测试。
在左侧测试资源管理器中显示测试结果:
测试全部通过,为了避免偶然性,对测试函数进行一次反向测试,将积运算测试中的最后一条断言中的 -1 改为1500,观察单元测试会不会报错。
由于1500大于100不符合积小于100的规则,故上述改动的测试未通过,如图:
图中右侧信息 Message:Assert failed. Expected:<-1> Actual:<1500> 断言失败。
比较结果验证了原测试全部通过是正确的。
接下来对单元测试报告进行导出
通过查阅资料了解到如下操作:
打开命令行工具,输入“C:Program Flies (x86)Microsoft Visual Studio2017CommunityCommon7IDECommonExtensionsMicrosoftTestWindowvstest.console.exe" "D:测试程序VSCUnitTestDebugUnitTest1.dll" /Logger:trx (个人VS版本不同以及项目地址不同会导致命令不同),结果如下:
在个人文件夹下的 TestResults 文件夹中查看导出的报告文件如下:
双击文件,VS会自动打开报告文件:
总览如下:
4、push测试报告和测试代码到各自的github仓库
github仓库地址:https://github.com/larva123/UnitTest
四、思考题
比较以下二个工匠的做法,你认为哪种好?结合编码和单元测试,谈谈你的认识。
答:就砌砖而言,实际情况应该是工匠一的做法更好,而工匠二的做法更符合单元测试的思想,先将程序写好再对程序中的最小可测试单元进行检查和验证,使得每个单元都正确,最终整个程序也是正确的。
五、实验小结
通过本次实验,我掌握了单元测试的方法,理解了XUnit测试原理及框架,学习使用测试框架进行单元测试的方法和过程。在实验过程中,编写测试代码和调试测试单元项目时遇到无法引用被测试函数的问题,通过查阅资料逐个调试成功,最后全部测试通过。