Java单测代码生成工具Evosuite

一、EvoSuite简介

EvoSuite 是由 Sheffield 等大学联合开发的一种开源工具，用于自动生成测试用例集，生成的测试用例均符合 Junit的标准，可直接在 Junit 中运行。
通过使用此自动测试工具能够在保证代码覆盖率的前提下极大地提高测试人员的开发效率。但是只能辅助测试，并不能完全取代人工，测试用例的正确与否还需人工判断。

EvoSuite官网
EvoSuite GitHub
EvoSuite问题及解答

1.1 核心功能：

1. 对于指定类，生成 Junit4 类型的单测代码。------Generation of JUnit 4 tests for the selected classes
2. 根据不同覆盖指标调整生成的用例，例如 行覆盖，分支覆盖，输出覆盖等。------Optimization of different coverage criteria, like lines, branches, outputs and mutation testing
3. 单测用例最小化，只有对覆盖率有贡献的单测用例才会被保留。------Tests are minimized: only the ones contributing to achieve coverage are retained
4. 生成的单测用例中包含 Junit 断言。------Generation of JUnit asserts to capture the current behavior of the tested classes
5. 测试运行在 sandbox 中。------Tests run in a sandbox to prevent potentially dangerous operations
6. 虚拟文件系统。------Virtual file system
7. 虚拟网络。------Virtual network

二、使用

官方提供了包括命令行工具、eclipse 插件、idea 插件、maven 插件 在内的数种运行方式。
参考官方的 http://www.evosuite.org/documentation/tutorial-part-2/

2.1 命令行工具

命令行进入到 项目根目录/target/classes/ 目录下，输入命令：

java -jar evosuite-1.0.6.jar -class ClassName -projectCP targetPath/。

参数说明：
-class :执行的对象
-projectCP:设置测试生成的类路径
-help:要查看可用的命令行选项
-criterion :测试的标准参数有（line、branch、cbranch、mutation 、exception等）
-Dminimize=false //它会删除所有不满足覆盖率目标所需的语句
-Dassertion_strategy=all //使用大量断言生成长测试
更过参数请参考开发文档：http://www.evosuite.org/documentation/tutorial-part-1/

2.2 maven 插件

1. 调整 junit 版本（Junit4.12以上），并增加 evosuite 运行依赖

<dependencies>
  <dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
    <scope>test</scope>
  </dependency>
  <dependency>
    <groupId>org.evosuite</groupId>
    <artifactId>evosuite-standalone-runtime</artifactId>
    <version>1.0.6</version>
    <scope>test</scope>
  </dependency>
</dependencies>

2. 添加 evosuite 插件

<plugin>
   <groupId>org.evosuite.plugins</groupId>
   <artifactId>evosuite-maven-plugin</artifactId>
   <version>1.0.6</version>
</plugin>
<plugin>
   <groupId>org.apache.maven.plugins</groupId>
   <artifactId>maven-surefire-plugin</artifactId>
   <version>2.20</version>
   <configuration>
     <properties>
       <property>
          <name>listener</name>
          <value>org.evosuite.runtime.InitializingListener</value>
      </property>
     </properties>
  </configuration>
</plugin>

3. 执行命令生成单元测试代码
   注意:Evosuite 是基于编译后的字节码来生成单测代码的，因此源代码必须先进行编译，然后才能使用evosuite.

示例1：
mvn evosuite:help -Ddetail=true -Dgoal=generate
示例2：
mvn evosuite:generate -Dcuts=com.isoftstone.pcis.service.impl.ApiServiceImpl 
#注意：当工程代码量大时，生成花费的时间可能很长。
示例3：
mvn compile -DmemoryInMB=2000 -Dcores=2 -DtargetFolder=src/test/java/evosuite evosuite:generate evosuite:export test

注意：当工程代码量大时，生成花费的时间可能很长。

可用参数和常用命令说明：
a. -DmemoryInMB=2000 表示使用 2000MB 的内存
b. -Dcores=2 表示用2个 cpu 来并行加快生成速度
c. -Dcuts=packageName.className 表示只针对指定类生成用例。多个用例可以用英文逗号分隔
d. -DtargetFolder=src/test/java/evosuite 表示生成的用例放到 src/test/java/evosuite 。
e. 常用命令
e1. prepare：需要同时运行EvoSuite测试和现有测试mvn evosuite:prepare test
e2. evosuite:generate 表示执行生成用例
e3. evosuite:export 表示导出用例到 targetFolder 的值所在的目录中（默认值为“ src / test / java”）
e4. evosuite:clean：删除“ .evosuite”文件夹中的所有数据，该文件夹用于存储到目前为止生成的所有最佳测试
具体更多详情可evosuite:help进行查看

4. 执行完毕后，在 .evosuite 的目录下会生成测试文件
   针对一个类会生成两份测试文件: ***_ESTest.java包含单测用例，***_scaffolding.java 用例基类，用来在测试前初始化Evosuite的沙盒环境。

效果评估
a. 可以看到 Evosuite 会自动对 servce 依赖的其他对象进行 mock。
b. 针对被测方法的参数，根据参数类型会使用各种边界值进行测试。使用 evoSuite 生成的单测代码覆盖率可以达到：方法覆盖100%，行覆盖51%。
c. 工具存在的不足之处: Mock 对象的方法调用只能返回空值 null 等, 没有对方法进行特定的 stub ，因此正常的逻辑无法走到。EvoSuite 生成的单测用例更适用于测试边界情况和异常情况。正常场景还是得靠人

2.3 eclipse 插件

EvoSuite 插件需要 Java 8 的运行环境，并且只支持 Eclipse 的 Lunar 和 Mars 版本，若系统中有多种 Java 开发环境，需将 Eclipse 的默认 jre 设置成 Java 8 版本。参考

1. 插件安装，并重启Eclipse
2. 插件参数设置
3. 选中需要测试的类，右击鼠标，选择Generate tests with EvoSuite
4. Junit测试报告的生成

2.4 idea 插件

1. 插件安装，并重启IDEA
2. 选中需要测试的类，右击鼠标，选择Run EvoSuite
3. 在参数输入对话框中，设置参数并执行参考

三、其他类似扩展

商业工具：AgitarOne，Jtest对应zhihu
免费工具：CodePlex AnalytiX，EvoSuite，Randoop, JUnitGenerator V2.0(IDEA plugins)