1.TestNG的运行方式如下:
1 With a testng.xml file 直接run as test suite 2 With ant 使用ant 3 From the command line 从命令行 4 IDE 直接在IDE中执行
在IDEA中直接运行的时候,需要说明的是:可以运行一个测试类,也可以单独运行一个测试的方法。
在IDEA里执行,只需要右键,点击 Run xxx 即可。 如果是在某一个方法的代码块里右键,出现的是 Run methodName ,即只运行当前的方法; 如果是在类的代码块里右键,出现的是 Run className ,即运行当前类中的所有Test方法; 也可以创建testng.xml,右键出现的 Run path/testng.xml ,即运行该配置文件中需要运行的方法。
2.TestNG常见的注解:
注解 | 描述 |
@DataProvider | 为测试方法提供数据 |
@BeforeMethod | 在每个测试方法 前 执行 |
@AfterMethod | 在每个测试方法 后 执行 |
@BeforeClass | 被注释的方法将在当前类的第一个测试方法调用前运行 |
@AfterClass | 被注释的方法将在当前类的所有测试方法调用后运行 |
@BeforeGroups | 被配置的方法将在列表中的gourp前运行。这个方法保证在第一个属于这些组的测试方法调用前立即执行 |
@BeforeTest | 被注释的方法将在测试运行前运行 |
@AfterTest | 被注释的方法将在测试运行后运行 |
@BeforeSuite | 被注释的方法将在所有测试运行前运行 |
@AfterSuite | 被注释的方法将在所有测试运行后运行 |
另外还有一些属性,
alwaysRun:对于每个bufore方法(beforeSuite, beforeTest, beforeTestClass 和 beforeTestMethod, 但是不包括 beforeGroups):
如果设置为true,被配置的方法将总是运行而不管它属于哪个组。
对于after方法(afterSuite, afterClass, ...): 如果设置为true,被配置的方法甚至在一个或多个先调用的方法失败或被忽略时也将运行。
dependsOnGroups:这个方法依赖的组列表
dependsOnMethod:这个方法依赖的方法列表
enabled:这个类的方法是否激活
groups:这个类或方法所属的分组列表
inheritGroups:如果设置为true,这个方法被属于在类级别被@Test annotation指定的组例如:
@Test(enabled = false) //表示该测试用例不被执行 public Object runTest() { xxxxxx }
3.testNG.xml配置详解:
testng.xml的基本格式可以在官网上查看,基本格式如下:
以下详细XML结构规则
suite
--tests
----parameters
----groups
------definitions
------runs
----classes
--parameters
比较详细的结构如下:
具体的元素说明:
参数 | 说明 | 使用方法 | 参数值 |
name | 必选项,<suite>的名字,将出现在reports里 | name="XXX" | suite名字 |
junit | 是否执行Junit模式(识别setup()等) | junit="true" | true和false,默认false |
verbose | 控制台输出的详细内容等级,0-10级(0无,10最详细) | verbose="5" | 0到10 |
parallel | 是否在不同的线程并行进行测试,要与thread-count配套使用 | parallel="mehods" | 详见表格下内容,默认false |
parent-module | 和Guice框架有关,只运行一次,创建一个parent injector给所有guice injectors | ||
guice-stage | 和Guice框架有关 | guice-stage="DEVELOPMENT" | DEVELOPMENT,PRODUCTION,TOOL,默认"DEVELOPMENT" |
configfailurepolicy | 测试失败后是再次执行还是跳过,值skip和continue | configfailurepolicy="skip" | skip、continue,默认skip |
thread-count | 与parallel配套使用,线程池的大小,决定并行线程数量 | thread-count="10" | 整数,默认5 |
annotations | 获取注解,值为javadoc时,使用JavaDoc的注释;否则用JDK5注释 | annotations="javadoc" | javadoc |
time-out | 设置parallel时,终止执行单元之前的等待时间(毫秒) | time-out="10000" | 整数,单位毫秒 |
skipfailedinvocationcounts | 是否跳过失败的调用 | skipfailedinvocationcounts="true" | true和false,默认false |
data-provider-thread-count | 并发时data-provider的线程池数量 | data-provider-thread-count="5" | 整数 |
object-factory | 一个实现IObjectFactory接口的类,实例化测试对象 | object-factory="classname" | 类名 |
allow-return-values | 是否允许返回函数值 | all-return-values="true" | true和false |
preserve-order | 是否按照排序执行 | preserve-order="true" | true和false,默认true |
group-by-instances | 按照实例分组 | group-by-instances="true" | true和false,默认false |
parallel
<suite-files> <suite-file path="/path/suitefile1"></suite-file> </suite-files>
参数 | 说明 | 使用方法 | 参数值 |
name | test的名字,将出现在报告里 | name="testname" | test的名字 |
junit | 是否按照Junit模式运行 | junit="true" | true和false,默认false |
verbose | 控制台输出的详细内容等级,0-10级(0无,10最详细),不在报告显示 | verbose="5" | 0到10 |
parallel | 是否在不同的线程并行进行测试,要与thread-count配套使用 | parallel="mehods" | 与suite的parallel一致,默认false |
thread-count | 与parallel配套使用,线程池的大小,决定并行线程数量 | thread-count="10" | 整数,默认5 |
annotations | 获取注解,值为javadoc时,使用JavaDoc的注释;否则用JDK5注释 | annotations="javadoc" | javadoc |
time-out | 设置parallel时,终止执行单元之前的等待时间(毫秒) | time-out="10000" | 整数,单位毫秒 |
enabled | 标记是否执行这个test | enabled="true" | true和false,默认true |
skipfailedinvocationcounts | 是否跳过失败的调用 | skipfailedinvocationcounts="true" | true和false,默认false |
preserve-order | 是否按照排序执行,如果是true,将按照xml文件中的顺序去执行 | preserve-order="true" | true和false,默认true |
allow-return-values | 是否允许返回函数值 | all-return-values="true" | true和false,默认false |
<method-selectors> <method-selector> <selector-class name="classname" priority="1"></selector-class> <script language="java"></script> (language还可以用beanshell等) </method-selector> </method-selectors>
<groups> <define name ="all"> <include name ="testgroup1"/> <exclude name ="testgroup2'/> </define> <run> <include name ="all"/> <include name ="testmethod1"/> <exclude name="testmethod2"/> </run> <dependencies> <group name ="group1" depends-on="goup2 group3"/> </dependencies> </groups>
<classes> <class name="要执行的class名"> <methods> <include name ="要执行的方法名"></include> </methods> </class> </classes>
<packages> <package name="packagename"/> <package name="packagename"> <include name="methodname"/> <exclude name="methodname"/> </package> </packages>
<listeners> <listener class-name="com.example.MyListener"/> <listener class-name="com.example.MyMehodIntercepor"/> </listeners>
(3)一个简单的testng.xml文档
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd"> <suite name="Suite" parallel="classes" thread-count="3"> <test verbose="2" preserve-order="true" name="TestDebug"> <classes> <class name="com.hera.util.MathTest" /> </classes> </test> <!-- Test --> </suite> <!-- Suite -->
说明: suite定义一个测试套件,可以设置是否使用多线程,可包含多个测试用例或者测试group
parallel = classes 每个测试用例class级别多线程
thread-count =3 线程数为5,可同时执行3个case
preserve-order = true classes和methods按照配置中的顺序执行,false为乱序执行。(If you
want the classes and methods listed in this file to be run in an
unpredictible order, set the preserve-order attribute to false)
parameter 标签传递参数
4.TestNG参数化测试
<?xml version="1.0" encoding="UTF-8" ?>
<suite name = "testngframetest">
<parameter name="para" value="test_para1"/>
<test name="测试参数赋值">
<classes>
<parameters>
<parameter name="para1" value="test_para1"/>
<parameter name="para2" value="test_para2"/>
</parameters>
<class name = "paramer">
<methods>
<include name ="showparamer"></include>
</methods>
</class>
</classes>
</test>
</suite>
import org.testng.annotations.Test;
public class paramer {
@Test(parameters ={"para1","para2"})
public void showparamer(String para11,String para22){
System.out.println("testng获得的参数para1如下:"+para11);
System.out.println("testng获得的参数para2如下:"+para22);;
}
}
import org.testng.annotations.Optional;
import org.testng.annotations.Test;
public class paramer {
@Test(parameters ={"para1","para2"})
public void showparamer(@Optional("test1") String para11, @Optional("test2") String para22){
System.out.println("testng获得的参数para1如下:"+para11);
System.out.println("testng获得的参数para2如下:"+para22);;
}
}
public Object[][] dataprovide(){
return new Object[][]{{1,2,3},{3,2,1}};
}
@DataProvider(name = "dataprovider1",parallel = true)
public Object[][] dataprovide(){
return new Object[][]{{1,2},{2,1}};
}
@Test(dataProvider = "dataprovide")
public void showDataprovide(int a,int b,Method c){
System.out.println("DataProvider获得的参数para1如下:"+a);
System.out.println("DataProvider获得的参数para2如下:"+b);;
System.out.println("DataProvider获得的参数para2如下:"+c.getName());
}
5.Testng的并发详解
5.1 不同级别的并发
通常,在TestNG的执行中,测试的级别由上至下可以分为suite -> test -> class -> method,箭头的左边元素跟右边元素的关系是一对多的包含关系。
这里的test指的是testng.xml中的test tag,而不是测试类里的一个@Test。测试类里的一个@Test实际上对应这里的method。所以我们在使用@BeforeSuite、@BeforeTest、@BeforeClass、@BeforeMethod这些标签的时候,它们的实际执行顺序也是按照这个级别来的。
suite
一般情况下,一个testng.xml只包含一个suite。如果想起多个线程执行不同的suite,官方给出的方法是:通过命令行的方式来指定线程池的容量。
java org.testng.TestNG -suitethreadpoolsize 3 testng1.xml testng2.xml testng3.xml
即可通过三个线程来分别执行testng1.xml、testng2.xml、testng3.xml。
test, class, method
test,class,method级别的并发,可以通过在testng.xml中的suite tag下设置,如:
<suite name="Testng Parallel Test" parallel="tests" thread-count="5"> <suite name="Testng Parallel Test" parallel="classes" thread-count="5"> <suite name="Testng Parallel Test" parallel="methods" thread-count="5">
它们的区别如下:
- tests级别:不同test tag下的用例可以在不同的线程执行,相同test tag下的用例只能在同一个线程中执行。
- classs级别:不同class tag下的用例可以在不同的线程执行,相同class tag下的用例只能在同一个线程中执行。
- methods级别:所有用例都可以在不同的线程去执行。
5.2 不同dataprovider的并发
在使用TestNG做自动化测试时,基本上大家都会使用dataprovider来管理一个用例的不同测试数据。而上述在testng.xml中修改suite标签的方法,并不适用于dataprovider多组测试数据之间的并发。
执行时会发现,一个dp中的多组数据依然是顺序执行。解决方式是:在@DataProvider中添加parallel=true。
import org.testng.annotations.DataProvider;
import testdata.ScenarioTestData;
public class ScenarioDataProvider {
@DataProvider(name = "hadoopTest", parallel=true)
public static Object [][] hadoopTest(){
return new Object[][]{
ScenarioTestData.hadoopMain,
ScenarioTestData.hadoopRun,
ScenarioTestData.hadoopDeliverProps
};
}
@DataProvider(name = "sparkTest", parallel=true)
public static Object [][] sparkTest(){
return new Object[][]{
ScenarioTestData.spark_java_version_default,
ScenarioTestData.spark_java_version_162,
ScenarioTestData.spark_java_version_200,
ScenarioTestData.spark_python
};
}
@DataProvider(name = "sqoopTest", parallel=true)
public static Object [][] sqoopTest(){
return new Object[][]{
ScenarioTestData.sqoop_mysql2hive,
ScenarioTestData.sqoop_mysql2hdfs
};
}
}
/***
默认情况下,dp并行执行的线程池容量为10,如果要更改并发的数量,也可以在suite tag下指定参数data-provider-thread-count:
***/
<suite name="Testng Parallel Test" parallel="methods" thread-count="5" data-provider-thread-count="20" >
5.3 同一个方法的并发
有些时候,我们需要对一个测试用例,比如一个http接口,执行并发测试,即一个接口的反复调用。TestNG中也提供了优雅的支持方式,在@Test标签中指定threadPoolSize和invocationCount。
@Test(enabled=true, dataProvider="testdp", threadPoolSize=5, invocationCount=10)
- threadPoolSize表明用于调用该方法的线程池容量,该例就是同时起5个线程并行执行该方法;
- invocationCount表示该方法总计需要被执行的次数。该例子中5个线程同时执行,当总计执行次数达到10次时,停止。
注意,该线程池与dp的并发线程池是两个独立的线程池。这里的线程池是用于起多个method,而每个method的测试数据由dp提供,
如果这边dp里有3组数据,那么实际上10次执行,每次都会调3次接口,这个接口被调用的总次数是10*3=30次。
threadPoolSize指定的5个线程中,每个线程单独去调method时,用到的dp如果也是支持并发执行的话,会创建一个新的线程池(dpThreadPool)来并发执行测试数据。
import java.text.SimpleDateFormat;
import java.util.Date;
import org.testng.annotations.AfterClass;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.DataProvider;
import org.testng.annotations.Test;
public class TestClass1 {
private SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//设置日期格式
@BeforeClass
public void beforeClass(){
System.out.println("Start Time: " + df.format(new Date()));
}
@Test(enabled=true, dataProvider="testdp", threadPoolSize=2, invocationCount=5)
public void test(String dpNumber) throws InterruptedException{
System.out.println("Current Thread Id: " + Thread.currentThread().getId() + ". Dataprovider number: "+ dpNumber);
Thread.sleep(5000);
}
@DataProvider(name = "testdp", parallel = true)
public static Object[][]testdp(){
return new Object[][]{
{"1"},
{"2"}
};
}
@AfterClass
public void afterClass(){
System.out.println("End Time: " + df.format(new Date()));
}
}
原文:https://www.cnblogs.com/Ronaldo-HD/p/9235210.html