白盒测试基本要求
- 保证一个模块中的所有独立路径至少被执行一次;
- 对所有的逻辑值均需要测试真、假两个分支;
- 在上下边界及可操作范围内运行所有循环;
- 检查内部数据结构以确保其有效性。
测试覆盖标准
- 语句覆盖:是一个比较弱的测试标准,它的含义是:选择足够的测试用例,使得程序中每个语句至少都能被执行一次。
- 它是最弱的逻辑覆盖,效果有限,必须与其它方法交互使用。
- 判定覆盖(也称为分支覆盖):执行足够的测试用例,使得程序中的每一个分支至少都通过一次。
- 判定覆盖只比语句覆盖稍强一些,但实际效果表明,只是判定覆盖,还不能保证一定能查出在判断的条件中存在的错误。因此,还需要更强的逻辑覆盖准则去检验判断内部条件。
- 条件覆盖:执行足够的测试用例,使程序中每个判断的每个条件的每个可能取值至少执行一次。
- 条件覆盖深入到判定中的每个条件,但可能不能满足判定覆盖的要求。
- 判定/条件覆盖:执行足够的测试用例,使得判定中每个条件取到各种可能的值,并使每个判定取到各种可能的结果。
- 条件组合覆盖:执行足够的例子,使得每个判定中条件的各种可能组合都至少出现一次。
- 这是一种相当强的覆盖准则,可以有效地检查各种可能的条件取值的组合是否正确。
- 它不但可覆盖所有条件的可能取值的组合,还可覆盖所有判断的可取分支,但可能有的路径会遗漏掉。
- 测试还不完全。
主要方法
- 逻辑驱动测试
- 语句覆盖
- 判定覆盖
- 条件覆盖
- 判定/条件覆盖
- 条件组合覆盖
- 路径测试
- 路径测试就是设计足够多的测试用例,覆盖被测试对象中的所有可能路径。这是最强的覆盖准则。
- 基本路径测试:设计足够多的测试用例,运行所测程序,要覆盖程序中所有可能的路径。但在路径数目很大时,真正做到完全覆盖是很困难的,必须把覆盖路径数目压缩到一定限度。例如程序中的循环体只执行一次。
语句覆盖
例1:
PROCEDURE M(VAR A,B,X:REAL);
BEGIN
IF ((A>1) AND (B=0)) THEN X:=X/A;
IF ((A=2) OR (X>1)) THEN X:=X+1;
END.
为使程序中每个语句至少执行一次,只需设计一个能通过路径ace的例子就可以了,例如选择输入数据为: A=2,B=0,X=3
从上例可看出,语句覆盖实际上是很弱的,如果第一个条件语句中的AND错误地编写成OR,上面的测试用例是不能发现这个错误的;又如第三个条件语句中X>1误写成X>0,这个测试用例也不能暴露它,此外,沿着路径abd执行时,X的值应该保持不变,如果这一方面有错误,上述测试数据也不能发现它们。
例2:
void DoWork(int x,int y,int z)
{ int k=0,j=0;
if((x>3)&&(z<10))
{ k=x*y-1; //语句块1
j=sqrt(k);
}
if((x= =4)||(y>5))
{ j=x*y+10; //语句块2
}
j=j%3; //语句块3
}
为了测试语句覆盖率只要设计一个测试用例就可以把三个执行语句块中的语句覆盖了。测试用例输入为:x=4、y=5、z=5,程序执行的路径是:abd
该测试用例虽然覆盖了可执行语句,但并不能检查判断逻辑是否有问题,例如在第一个判断中把&&错误的写成了||,则上面的测试用例仍可以覆盖所有的执行语句。
判定覆盖
例1:
如果设计两个例子,使它们能通过路径ace和abd,或者通过路径acd和abe,就可达到“判定覆盖”标准,为此,可以选择输入数据为:
① A=3,B=0,X=1(沿路径acd执行)
② A=2,B=1,X=3(沿路径abe执行)
例2:
如果设计两个测试用例则可以满足条件覆盖的要求。测试用例的输入为:
x=4、y=5、z=5【a b d】
x=2、y=5、z=5【a c e】
上面的两个测试用例虽然能够满足条件覆盖的要求,但是也不能对判断条件进行检查,例如把第二个条件y>5错误的写成y<5,、上面的测试用例同样满足了分支覆盖。
注意:程序中含有判定的语句包括IF-THEN-ELSE、DO-WHILE、REPEAT-UNTIL等,除了双值的判定语句外,还有多值的判定语句,如PASCAL中的CASE语句、FORTRAN中带有三个分支的IF语句等。所以“分支覆盖”更一般的含义是:使得每一个分支获得每一种可能的结果。
条件覆盖
一个判定中往往包含了若干个条件,如例1的程序中,判定 (A>1) AND (B=0)包含了两个条件: A>1以及 B=0,所以可引进一个更强的覆盖标准——“条件覆盖”。
-
例1的程序有四个条件:
A>1、 B=0、A=2、X>1
为了达到“条件覆盖”标准,需要执行足够的测试用例使得在a点有: A>1、A≤1、B=0、B≠0 等各种结果出现,以及在b点有: A=2、A≠2、X>1、X≤1 等各种结果出现。
现在只需设计以下两个测试用例就可满足这一标准:
① A=2,B=0,X=4 (沿路径ace执行)
② A=1,B=1,X=1 (沿路径abd执行)
-
对例2中的所有条件取值加以标记。
-
对于第一个判断:
条件x>3 取真值为T1,取假值为-T1
条件z<10 取真值为T2,取假值为-T2 -
对于第二个判断:
条件x=4 取真值为T3,取假值为-T3
条件y>5 取真值为T4,取假值为-T4 -
则可以设计测试用例如下
注意:
-
“条件覆盖”通常比“分支覆盖”强,因为它使一个判定中的每一个条件都取到了两个不同的结果,而判定覆盖则不保证这一点。
-
“条件覆盖”并不包含“分支覆盖”,如对语句IF(A AND B)THEN S 设计测试用例使其满足"条件覆盖",即使A为真并使B为假,以及使A为假而且B为真,但是它们都未能使语句S得以执行。
如对例2设计了下面的测试用例,则虽然满足了条件覆盖,但只覆盖了第一个条件的取假分支和第二个条件的取真分支,不满足分支覆盖的要求。
分支(判定)/条件覆盖
针对上面的问题引出了另一种覆盖标准——“分支(判定)/条件覆盖”,它的含义是:执行足够的测试用例,使得分支中每个条件取到各种可能的值,并使每个分支取到各种可能的结果。
- 对例1的程序,前面的两个例子
① A=2,B=0,X=4 (沿ace路径)
② A=1,B=1,X=1 (沿abd路径)
是满足这一标准的。 -
对例2,根据定义只需设计以下两个测试用例便可以覆盖8个条件值以及4个判断分支。
分支/条件覆盖从表面来看,它测试了所有条件的取值,但是实际上某些条件掩盖了另一些条件。
- 例如对于条件表达式(x>3)&&(z<10)来说,必须两个条件都满足才能确定表达式为真。
- 如果(x>3)为假则一般的编译器不在判断是否z<10了。对于第二个表达式(x==4)||(y>5)来说,若x==4测试结果为真,就认为表达式的结果为真,这时不再检查(y>5)条件了。
- 因此,采用分支/条件覆盖,逻辑表达式中的错误不一定能够查出来了。
条件组合覆盖
针对上述问题又提出了另一种标准——“条件组合覆盖”。它的含义是:执行足够的例子,使得每个判定中条件的各种可能组合都至少出现一次。满足“条件组合覆盖”的测试用例是一定满足“分支覆盖”、“条件覆盖”和“分支/条件覆盖”的。
- 再看例1的程序,我们需要选择适当的例子,使得下面8种条件组合都能够出现:
1) A>1, B=0 2) A>1, B≠0
3) A≤1, B=0 4) A≤1, B≠0
5) A=2, X>1 6) A=2, X≤1
7) A≠2, X>1 8) A≠2, X≤1
5)、 6)、 7)、8)四种情况是第二个 IF语句的条件组合,而X的值在该语句之前是要经过计算的,所以还必须根据程序的逻辑推算出在程序的入口点X的输入值应是什么。
下面设计的四个例子可以使上述 8种条件组合至少出现一次:
① A=2,B=0,X=4
使 1)、5)两种情况出现;
② A=2,B=1,X=1
使 2)、6)两种情况出现;
③ A=1,B=0,X=2
使 3)、7)两种情况出现;
④ A=1,B=1,X=1
使 4)、8)两种情况出现。
上面四个例子虽然满足条件组合覆盖,但并不能覆盖程序中的每一条路径,例如路径acd就没有执行,因此,条件组合覆盖标准仍然是不彻底。
- 现对例2中的各个判断的条件取值组合加以标记如下:
1、x>3,z<10 记做T1 T2,第一个判断的取真分支
2、x>3,z>=10 记做T1 -T2,第一个判断的取假分支
3、x<=3,z<10 记做-T1 T2,第一个判断的取假分支
4、x<=3,z>=10 记做-T1 -T2,第一个判断的取假分支
5、x=4,y>5 记做T3 T4,第二个判断的取真分支
6、x=4,y<=5 记做T3 -T4,第二个判断的取真分支
7、x!=4,y>5 记做-T3 T4,第二个判断的取真分支
8、x!=4,y<=5 记做-T3 -T4,第二个判断的取假分支
根据定义取4个测试用例,就可以覆盖上面8种条件取值的组合。
测试用例如下表:
上面的测试用例覆盖了所有条件的可能取值的组合,覆盖了所有判断的可取分支。