持续集成：TestNG组织如何测试用例
poptest是国内唯一一家培养测试开发工程师的培训机构，以学员能胜任自动化测试，性能测试，测试工具开发等工作为目标。如果对课程感兴趣，请大家咨询qq：908821478，咨询电话010-84505200。在培训课程中，经常需要写大量的测试用例（Test Case）的例子，然后用TestNG进行自动化测试。随着test case数量的不断增加，发现目前写test case的方法存在一些不足之处。经过几天的思考和探索，找到一种充分利用TestNG的testng.xml配置文件组织test case的方法。
1. 目前组织test case的实践
将所有测试方法放在Common Task的类中，然后根据test case的测试逻辑，创建对应的测试类，然后用TestNG运行这些测试类。
目前实践的实例代码如下：
包含所有测试方法CommonTasks文件：
import java.util.Random;
public class CommonTasks {
public int method1(int max) {
System.out.println("Run method1()");
return new Random().nextInt(max);
}
public int method2(int max) {
System.out.println("Run method2()");
return new Random().nextInt(max);
}
}
测试类TestCase1：先执行method1，后执行method2
import org.testng.Assert;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Parameters;
import org.testng.annotations.Test;
public class TestCase1 {
CommonTasks task;
@BeforeClass
public void setUp() {
task = new CommonTasks();
}
@Test
@Parameters("max")
public void method1(int max) {
Assert.assertEquals(task.method1(max), 0, "Failed");
}
@Test(dependsOnMethods = "method1")
@Parameters("max")
public void method2(int max) {
Assert.assertEquals(task.method2(max), 0, "Failed");
}
}
测试类TestCase2：先执行method2，后执行method1
import org.testng.Assert;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Parameters;
import org.testng.annotations.Test;
public class TestCase2 {
CommonTasks task;
@BeforeClass
public void setUp() {
task = new CommonTasks();
}
@Test(dependsOnMethods = "method2")
@Parameters("max")
public void method1(int max) {
Assert.assertEquals(task.method1(max), 0, "Failed");
}
@Test
@Parameters("max")
public void method2(int max) {
Assert.assertEquals(task.method2(max), 0, "Failed");
}
}
测试这两个test case的testng.xml文件：
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" > <suite name="Suite" verbose="1"> <parameter name="max" value="2"></parameter> <test name="testcase1"> <classes> <class name="com.ibm.testng.test.TestCase1"></class> </classes> </test> <test name="testcase2"> <classes> <class name="com.ibm.testng.test.TestCase2"></class> </classes> </test> </suite>
目前组织test case的方法的不足：
1） 随着test case数量的增加，像TestCase1和TestCase2这样的测试类会越来越多。
2）TestCase1这样的测试类，只是根据测试逻辑调用测试方法，并Assert测试方法结果，并无其他功能。测试类间有很多像setUp，Assert这样的重复代码。
3）修改Common Task类和testng.xml都会对测试类产生影响。例如，修改CommonTasks中method1的名称，TestCase1和TestCase2中调用method1（）的地方都得修改。修改testng.xml中参数max的名称，需要修改TestCase1和TestCase2中所有用到max变量的地方。
4）dependsOnMethods不被推荐使用。因为，method名称同时作为Java方法名称和字符串，只修改任何一个地方，都会导致方法找不到。
2. 新的组织test case的实践
目前的实践方法不仅存在很多重复冗余的代码，而且为以后的重构带来诸多不便。主要原因是测试类介于Common Task类和testng.xml之间，因此，新实践不再为每个test case创建测试类。
新实践的实例代码如下：
CommonTasks文件：
import java.util.Random;
public class NewCommonTasks {
@Test(groups="method1")
@Parameters("max")
public void method1(int max) {
System.out.println("Run method1()");
Assert.assertEquals(new Random().nextInt(max), 0, "Failed");
}
@Test(groups="method2")
@Parameters("max")
public void method2(int max) {
System.out.println("Run method2()");
Assert.assertEquals(new Random().nextInt(max), 0, "Failed");
}
}
测试这两个test case的testng.xml文件：
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" > <suite name="Suite" verbose="1"> <parameter name="max" value="2"></parameter> <test name="testcase1"> <groups> <dependencies> <group depends-on="method1" name="method2"></group> </dependencies> <run> <include name="method1"></include> <include name="method2"></include> </run> </groups> <packages> <package name="com.ibm.testng.test.*"></package> </packages> </test> <test name="testcase2"> <groups> <dependencies> <group depends-on="method2" name="method1"></group> </dependencies> <run> <include name="method2"></include> <include name="method1"></include> </run> </groups> <packages> <package name="com.ibm.testng.test.*"></package> </packages> </test> </suite>
新实践基于TestNG的一个设计目标：Create a clean separation between thestatic model (the code of your tests) and the runtime model (which tests get run)。这里的static model指Java代码中的测试方法，runtime model指运行时的test case。
新实践将之前的测试类删掉，将测试类的annotation移到Common Task类中，将测试类的测试逻辑移到testng.xml中通过<dependencies>实现。这样做具有如下优势：
1）理想情况下，一个Common Task类和一个testng.xml就可以组织出所有test case。不存在代码重复率很高的测试类，class文件数量也不会随着test case数量的增加而增加。
2）修改Common Task类和testng.xml，相互之间的影响会非常小。修改Common Task类，再也不用去修改大量的测试类。修改testng.xml中的参数名称，也只需要修改Common Task类中很少的地方。
3）dependsOnGroups代替了dependsOnMethods，任意修改Common Task类中的method名称，都不会有印象。
当然，这种实现也不是完全没有缺点。例如：测试逻辑也放到testng.xml中后，在test case数量较多的情况下文件会比较长。不过可以根据某些特性将test case放到几个xml配置文件中，然后通过<suite-files>封装成一个suite一起测试。另外，当测试出现问题的时候，测试人员需要读testng.xml文件来追踪错误位置。如果在写testng.xml时将<run>标签中include的groups按逻辑先后顺序排列的话，也不会额外增加追踪错误的难度。
我们会发现这种实现的testng.xml中，每个test case都需要一个相同的<packages>，其实完全可以把这部分移到<suite>中，使其对所有的test case都有效。不过，这样的尝试没有成功，具体问题描述见testng github，希望知道该问题的人能够指点一下。同时，如果一个test case中要多次以不同参数运行同一group，就会遇到传参和dependency的问题。目前只有一种间接解决方案：将这个test case执行同一group的步骤分配到不同test中，TestNG会按照testng.xml中test的顺序去执行test case。