• 软件自动化测试—代码覆盖率


    <professional software testing with visual studio 2005 team system tools for software developer>中提到了代码覆盖率,我很久没有去书店了,不知道是不是出了新的版本,觉得书里面关于代码覆盖率方面的知识有些地方没有讲,在这里补充一下。先回顾一下如何

    查看代码覆盖率

     创建一个C#工程WildChar(无所谓是类型库工程还是命令行程序工程),假设我们要写一个将字符串按单词成对反转的程序。将下面的代码贴到工程的一个cs文件中:

    Program.cs

    public static string ReverseStringPair(string input)

    {

        if (string.IsNullOrEmpty(input))

            throw new ArgumentNullException("input");

     

        char[] result = new char[input.Length];

        int resultIter = 0;

     

        ReverseStringPairImp(input, 0, result, resultIter);

     

        return new string(result);

    }

     

    private static void ReverseStringPairImp(string input, int inputIter, char[] result, int resultIter)

    {

        // skip white space

        while (inputIter < input.Length && input[inputIter] == ' ') inputIter++;

     

        int[] indics = new int[2] {

            inputIter, // first word begin index,

            0 // second word begin index

        };

     

        for (; inputIter < input.Length; ++inputIter)

        {

            if (input[inputIter] == ' ')

            {

                if (indics[1] == 0)

                    indics[1] = -1;

                else if (indics[1] > 0)

                    break;

            }

            else if (input[inputIter] != ' ' && indics[1] == -1)

                indics[1] = inputIter;

        }

     

        // copy second word, inputIter points to the end of second word

        if (indics[1] > 0)

        {

            for (int i = indics[1]; i < inputIter; ++i)

                result[resultIter++] = input[i];

     

            indics[1]--;

            // copy white space

            while (indics[1] >= 0 && input[indics[1]] == ' ')

                indics[1]--;

     

            result[resultIter++] = ' ';

        }

        else

            indics[1] = input.Length - 1;

     

        // copy the first word

        for (int i = indics[0]; i <= indics[1]; ++i)

            result[resultIter++] = input[i];

     

        // next pair

        if (inputIter < input.Length)

        {

            result[resultIter++] = ' ';

            ReverseStringPairImp(input, inputIter, result, resultIter);

        }

    }

     

    创建单元测试用例

    把鼠标放在ReverseStringPair函数的声明上(或者说第一行),点击右键,并且选择“创建单元测试”命令,一切按照默认的设置选择“确定”按钮,创建一个测试工程。

    在新创建的测试工程自动添加的programtest.cs(因为类名叫做program)文件里,添加一个新测试用例:

    Programtest.cs

    ....

     

    [TestMethod()]

    public void ReverseStringPairTest()

    {

        string input = "ab cd ef gh";

        string expected = "cd ab gh ef";

        string actual = Program.ReverseStringPair(input);

        Assert.AreEqual(expected, actual);

    }

    单元测试用例创建好了以后,点击工具栏里面的“Run Tests in Current Context”,就能看到测试结果了,如下图所示:

    启用代码覆盖率测试

    只执行单元测试是不能检查代码覆盖情况的即你创建的测试用例总共覆盖了多少行源代码。为什么需要特意开启代码覆盖率测试是有原因的,这个在文章的最后会讲到。

    1.       在“解决方案浏览器(Solution Explorer)”里,双击“localtestrun.testrunconfig”文件。

    2.       在弹出的“localtestrun.testrunconfig”窗口里,双击“代码覆盖率(Code Coverage)”。

    3.       里面会列出好几个文件,有.dll ,也会有.exe。勾选你要测试代码覆盖率的程序,比如说你要测试WildChar工程也就是我们的产品代码的代码覆盖率,请勾选WildChar.exe。不要勾选包含测试用例的那个dll文件,因为我们对测试代码本身的覆盖率没有任何兴趣。结果如下图所示:

    4.        点击“应用(Apply)”关闭窗口。

    在重新运行一下所有的测试用例,点击测试结果窗口工具栏最右边的按钮,查看代码覆盖率情况,如下图所示:

    代码覆盖率是按百分比计算的,即 Visual Studio会告诉你,有百分之多少的产品代码被覆盖了,而且你也可以查看单个函数的代码覆盖率,如下图所示:

    在“代码覆盖率结果”列表里双击每个函数名,你可以看到具体的代码覆盖信息,青绿色的代码是完全被覆盖到的,红色的代码是从来没有执行过的,而黄色的代码表示这一行有一部分代码被执行过之所以说有一部分通常是因为一行代码有多个判断条件,有些条件执行了,有些却没有。如下图所示:

    代码覆盖率的实现原理

    看到这里,是不是有点神奇?为什么执行过一些自动化测试用例,就可以查看代码覆盖率呢?它是怎么实现的呢?

    实际上我们在“localtestrun.testrunconfig”窗口里面设置查看代码覆盖率那一步时,Visual Studio悄悄地修改了WildChar.exe,在原来的IL 代码里添加了一些新的语句。

    在解释之前,我们先考虑代码覆盖率的意思,代码覆盖率的意思其实就是表明有多少行代码被执行到了,因此首先要统计有多少块代码,然后再统计有多少块代码被执行了。什么叫代码块呢,代码块就是一段连续的代码。例如在program.cs里面,下面这些代码行组成一个代码块:

    char[] result = new char[input.Length];

    int resultIter = 0;

     

    ReverseStringPairImp(input, 0, result, resultIter);

     

    return new string(result);

     

    因为上面的代码,如果不ReverseStringPairImpl 函数不抛出异常的话,就会连贯地执行下去,因为上面四行代码可以看成是一块代码(或者说是一行代码)。

    而下面的代码则可以看成是两块代码:

    if (indics[1] == 0)

        indics[1] = -1;

    else if (indics[1] > 0)

        break;

    要么是第一个if执行,要么第二个if 执行。

    下面的代码会有点意思,虽然是一行代码,但是可以当作两个代码块来看待:

    while (inputIter < input.Length && input[inputIter] == ' ')

    1.       要么前面一个条件成立,后面的条件不成立,那么最后一个语句不执行;

    2.       要么两个条件都成立,最后语句执行;

    3.       要么两个条件都不成立,最后一条语句不执行。

    由于第二个条件存在不被执行的机会即我们设计的所有测试用例都导致第一个条件总是不成立,所以这也是为什么在显示代码覆盖率结果的时候,上面那行代码只有部分覆盖到的原因。

    有了代码块的概念之后,在实现代码覆盖率这个功能时,我们可以用一个大的布尔数组来保存有多少块代码被执行这个信息,而布尔数组的长度呢,就是程序的代码块的个数(因为一块代码可以看成一行代码)。也就是说,我们可以把产品代码手工修改成类似下面的样子:

    bool pathCovered[] = new bool[11]; // 11是统计下来程序里面代码块的个数

    for ( int i = 0; i < pathCovered.Length; ++i )

          pathCovered[i] = false;

     

    // while (inputIter < input.Length && input[inputIter] == ' ') inputIter++;

    firstblock:

        bool result = inputIter < input.Length;

        pathCovered[0] = true;

        if ( result )

        {

            result = input[inputIter] == ' ';

            pathCovered[1] = true;

        }

        else

        {

            pathCovered[2] = true;

            goto secondblock;

        }

     

        if ( result )

        {

            pathCovered[3] = true;       

            inputIter++;

            goto firstblock;

        }

     

    secondblock:

        pathCovered[4] = true;       

        int[] indics = new int[2] {

            inputIter, // first word begin index,

            0 // second word begin index

        };

     

        for (; pathCovered[5] = true, inputIter < input.Length;

               pathCovered[6] = true, ++inputIter)

        {

            pathCovered[7] = true;

            if (input[inputIter] == ' ')

            {

                pathCovered[8] = true;

                if (indics[1] == 0)

                {

                    pathCovered[9] = true;

                    indics[1] = -1;

                }

                else if (indics[1] > 0)

                {

                    pathCovered[10] = true;

                    break;

                }

            }

        }

     

    // 统计代码覆盖率信息

    int covered = 0;

    for ( int i = 0; i < pathCovered.Length; ++i )

    {

        if ( pathCovered[i] ) covered++;

    }

     

    return covered / pathCovered.Length;

    实际上这也正是visual studio在后台为我们悄悄做的工作,当然啦,Visual Studio不会直接在原来项目编译出来的文件作更改,它会将文件(wildchar.exe)拷贝一份,然后再拷贝上进行更改,更改后的程序文件会存放在 解决方案文件夹的Test Result文件夹里以测试结果命名的文件夹中,例如我的修改过的可执行文件存放在:

    E:\临时文档\WildChar\TestResults\施懿民_SHIYIMIN 2009-12-19 01_02_22\Out\

    使用ILDASM.exe(或者reflector.exe)你就可以看出来,例如下面就是修改过后的IL 代码:

    .method private hidebysig static void ReverseStringPairImp(string input,

                                                                int32 inputIter,

                                                                char[] result,

                                                                int32 resultIter) cil managed

    {

     // Code size       1333 (0x535)

     .maxstack 5

     .locals init ([0] int32[] indics,

               [1] int32 i,

               [2] bool CS$4$0000,

               [3] int32[] CS$0$0001)

     IL_0000: call       void Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::Register()

    // 下面就是 Visual Studio自动为我们添加的跟踪代码覆盖率的代码:

     IL_0005: ldsfld     uint32[] Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::m_vscov

     IL_000a: ldc.i4     0xa

     IL_000f: ldelem.u4

     IL_0010: ldc.i4     0xa

     IL_0015: add

     IL_0016: ldc.i4.1

     IL_0017: stind.i1

     IL_0018: nop

     IL_0019: br.s       IL_0033

     IL_001b: ldsfld     uint32[] Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::m_vscov

     IL_0020: ldc.i4     0xa

     IL_0025: ldelem.u4

     IL_0026: ldc.i4     0xb

     IL_002b: add

     IL_002c: ldc.i4.1

    ...

    } // end of method Program::ReverseStringPairImp

     

    使用代码覆盖率的注意事项

    1.       代码覆盖率只能告诉你产品代码还有哪些地方、哪些功能模块没有测试到,或者说很仔细地测试过。不能告诉你比如测试效果是否已经足够好了,比如说代码覆盖率为100%不能说明你已经把用户的需求都考虑并且测试到了。请考虑下面的代码:

    Int a = b * c;

    Console.WriteLine(a);

    如果b c的值很小的话,那么 后面的Console那句就会执行,如果我们先执行这个测试用例,那么Console那句就会被标注为已经覆盖过,而且是100%覆盖过。但是并不没有测试到bc很大造成整数溢出异常这种情形。

     

    2.       另外,代码覆盖率并不是自动化测试才能检查的,如果你的自动化测试用例不够,你完全可以把Visual Studio修改过的程序拷贝出来,手工执行一些测试用例。不管是自动化还是手工的测试用例,只要能够执行为覆盖的产品代码,最后 Visual Studio在统计结果的时候,都会统计进去(当然,手工用例的执行,应该在 Visual studio统计结果之前执行通常就是一次Test Run执行完毕之前)。

  • 相关阅读:
    strutr2运行流程
    ConcurrentHashMap原理分析
    面试题集锦
    jvm如何知道那些对象需要回收
    java中volatile关键字的含义
    关于Java类加载双亲委派机制的思考(附一道面试题)
    new关键字和newInstance()方法的区别
    Java中创建对象的5种方式 &&new关键字和newInstance()方法的区别
    字符串中第一个只出现一次的字符
    二进制数中1的个数
  • 原文地址:https://www.cnblogs.com/killmyday/p/1627994.html
Copyright © 2020-2023  润新知