第5章面向函数调用关系的测试用例优化

第5章

面向函数调用关系的测试用例优化

软件的调试二升级与维护往往需要更改部分代码,为了验证代码的修改是否引发了新的问题或对未修改的部分造成影响,在每次修改之后,都要对系统进行回归测试三由于软件需求日趋复杂,软件的规模也越来越庞大,回归测试的成本是十分可观的三因此,提高回归测试的效率,降低时间成本,减少人力资源耗费是回归测试研究的重点三测试用例优化是提高回归测试效率的重要手段三本章主要介绍面向函数调用关系的测试用例约简和测试用例优先级排序三

5.1面向函数调用关系的测试用例集约简

5.1.1测试用例集约简概念

针对测试需求产生的测试用例集一般比较大,在最初的测试用例集中往往存在重复二冗余的测试用例,管理和维护这些测试用例以及进行回归测试将耗费大量的时间二人力和物力,增加了软件测试的成本,因此人们一直在研究如何基于测试需求集找到出一组有效二数量少却又能充分满足所有测试需求的测试用例集,从而在保证和提高软件测试质量的同时,降低软件测试的成本三这就是测试用例集的约简三

在实际测试过程中,如何选择尽可能少的测试用例,充分满足给定的测试需求集对系统进行有效测试是软件测试中的关键研究课题三为了节约测试成本而进行的研究大部分集中在约简测试用例集规模上三M.J.H a r r o l d等人于1993年首次提出测试用例集约简的概念,即在初始测试用例集中寻找它的一个子集,且该子集能实现对测试需求集的完全覆盖三测试用例集的约简过程实际上就是采用一种优化算法,对原始的测试数据进行优化,以此获得较好的结果,使测试输入数据减少三

根据以上想法,提出以下测试用例约简步骤:

(1)采用合适的测试方法获取原始有效完备的测试用例,得到原始测试数据表,包括对应的输入及期望的输出;

(2)采用测试用例约简策略剔除冗余的测试用例;

(3)输出被选择的测试用例集三

最终生成的测试数据表没有改变原始测试用例表的有效性,测试数据量也有了大量的减少三因此一个约简的测试用例集,能大大提高软件测试的效率三

5.1.2 为什么要测试用例集约简

测试用例的选择无论对黑盒测试还是白盒测试都具有关键的作用三一般而言,测试用例设计和选择的原则是在给定的测试需求下所选择的测试用例集合应尽可能覆盖需要测试的所有可能性三但是对于黑盒测试来说,如果输入的参数过多或者参数取不同范围的值过多,就可能需要设计大量的测试用例才能满足要求三因此,这种情况会引起测试用例的设计二执行二管理和维护的开销相当大三为了克服以上问题,需要在一定的置信区间中选择较少的测试用例来满足测试目标三因此,测试用例集的约简问题是当今软件测试研究的核心问题之一三

5.1.3 测试用例集约简的技术现状

回归测试用例现有的约简技术主要是基于传统启发式算法的优化选择技术三首先介绍以下5种经典传统启发式算法三

1)G 算法

D.S .J o h n s o n 于1974年首次提出了用于简化测试用例集的贪心算法(G 算法)

三该算法的算法思想是逐次从测试用例集中挑选出一个可以满足最大数目的尚未被满足的测试需求的测试用例,然后在测试需求集中去掉被该测试用例满足的测试需求,直到所有测试需求被满足为止,并给出了算法的最坏时间复杂度为O (1+l n n ),1990年,T.H.C o r m e n 等人进一步对G 算法进行了深入研究,他们在借鉴前人研究的基础上,提出了具体实现方法,并求证了该算法的最坏时间复杂度为O (m n 四m i n (m ,n ))三图5.1为G 算法的流程图

三

图5.1 G 算法流程图

由于利用此算法约简后的测试用例集对某些需求进

行了多次重复的测试,所以仍然存在一定的冗余,对于某

些问题,利用贪心算法求得的解通常不是最优解,但却是

很好的近似最优解,能快速易行地解决一些问题,特别需

要指出的是,这种算法在现实中简单易行,求解速度特别

快,虽然没有考虑到最小重复覆盖度的问题,但是却是求

解回归测试用例优化代表集的最简单也是引用率最高的

一种很好的启发式算法三

2)H 算法随着测试用例集约简技术的发展,M.J .H a r r o l d 等人于1993年提出了一种根据测试用例的重要性来选择

测试用例的启发式算法 H 算法,该算法先将测试需求分成R 1,R 2, ,R i ,R i 表示所有正好被T 中i 个测试用例满足的测试需求,再从R 1,R 2, ,R i 的相应测试用

例集中选择测试用例,使其能满足最大数量的未被满足

的测试需求,约简掉已满足的测试需求,直到R i 中的测试需求完全被满足,依次对每一个R i 实施这样的操作三已经得知对于R i 和R j ,如果i

H 算法就认为满足R i 的测试用例比满足R j 的测试用例

重要 三H 算法的最坏时间复杂度为O (n (m +n )d ),d =m a x {|T e s t (r )|:r ?R },d 为某一测试需求满足的最大测试用例451面向函数调用路径的测试技术与方法

数,有效缩短了约简时间三由于H 算法的约简过程从R 1开始,

即首先挑选出被且只被T 中1个测试用例满足的测试需求所对应的这个测试用例,加入T ?

中,这一步骤实质上就是后来其他研究者们算法中首先挑出必要测试用例的步骤三图5.2给出了H 算法的流程图

三

图5.2 H 算法流程图3)G E 算法和G R E 算法T.Y.C h e n ,F .L a u 等人受H 算法启发,于1996年和1998年在文献中先后提出了

G E 和G R E 算法,充分考虑挑选必要测试用例和剔除1-1冗余测试用例的简化方法三G E 算法与G R E 算法的唯一区别在于G E 算法未考虑剔除1-1冗余测试用例,G E 算法的最坏时间复杂度与G 算法相同,为O (m n 四m i n (m ,n )),G R E 算法在反复交替查找必要测试

用例和1-1冗余测试用例并确认这两种特殊用例均不存在后再运用贪心算法,

其时间复杂度较G 和G E 算法得到了进一步明显改进,缩减至O (m i n (m ,n )四(n +m 2k )

),其中k 表示一个测试用例最多能满足的测试需求数量三下面给出G R E 算法的流程图,如图5.3

所示三4)C H 算法

近几年产生了不少针对以上几种算法改进和完善的新的启发式测试用例集约简策略三2007年出现了一种考虑测试用例间互补关系的测试用例集约简算法C H 三通过挑选所有必不可少的测试用例二剔除冗余测试用例二选择能够最大程度满足未被满足的测试需求的测试用例二应用考虑元素间互补关系的双组合选入机制,寻找优化代表集三实例研究表明,在一些测试条件下该算法优于现有的几种测试用例集简化算法三利用该算法,可以得到更精简的测试用例集三以下的介绍是对原来C H 算法的完善和补充,但其时间复杂度比其他算法高三下面给出C H 算法的流程图,如图5.4所示三

5.1.4 重复的动态路径

文中定义的测试用例t c i =,其中D i 是测试数据;L S ,D ()i 是输入测

试数据D i ,编译运行插桩后的源代码获得的动态路径;Q 是测试环境三定义测试用例集5

51第5章 面向函数调用关系的测试用例优化

T C =, ,,在测试数据库中若存在测试数据D 1,D 2,使得L S ,D ()1=L S ,D ()2,则t c 1==t c 2=<

D 2,L S ,D ()2,Q >,那么定义t c 1,t c 2是重复的测试用例,

L S ,D ()1,L S ,D ()2是重复的动态路径三或者,虽然有L S ,D ()1?L S ,D ()2,但是存在S p l i t L S ,D ()()1=S p l i t L S ,D ()()2,S p l i t (L (S ,D i )

)是将动态路径L S ,D ()i 拆分成函数调用路径,得到测试数据D i 的函数调用路径子集,那么我们也定义L S ,D ()1,L S ,D ()2是重复的动态路径

三图5.3 G E 算法和G R E 算法流程图

图5.4 C H 算法流程图

5.1.5 冗余的动态路径

在测试数据库中存在测试数据D 1,D 2,使得L S ,D ()1?L S ,D ()2,但是存在S p

l i t L S ,D ()()1?S p l i t L S ,D ()()2,即S p l i t L S ,D ()()1是S p l i t L S ,D ()()2的子集,则t c 1是

冗余的测试的用例,L S ,D ()1是冗余的动态路径三5.1.6 必不可少的动态路径

对于函数调用基本路径集B (S ,C )=P 1,P 2, ,P {}n 中的函数调用路径P i ,

在测试数据库中当且仅当只有测试数据D i ,使得P i ?S p l i t L S ,D ()()i ,即如果将测试数据库中的测试数据D i 去除,那么测试数据库中将没有测试数据覆盖函数调用路径P i ,则称L S ,D ()i 为必不可少的动态路径三5.1.7 代表集与最优代表集

测试数据库中的所有测试数据,通过编译运行插桩后的源代码得到的动态路径集T ,

651面向函数调用路径的测试技术与方法

T =L (S ,D 1), ,L S ,D (){}n ,对于任意动态路径子集T ??T ,如果S p l i t (T ?)=S p l i t ()T ,则称T ?为T 的代表集;如果对任意的代表集T ?,都有T ??T ?则称T ?为T 的最优代表

集三用关系矩阵来说,最优代表集就是:其元素对应的行取逻辑或运算后得到的行元素全为1(即测试用例集能满足所有的测试需求),并且行最少三在基于测试需求集的软件测试中,人们对测试用例集约简的方法一般是:首先根据测试目标的测试用例集T C ,针对这个测试用例集寻找T C 的某个子集,

用尽可能少的测试用例满足测试需求集B S ,()C 三有研究表明,测试用例集的简化不会对其错误检测能力产生影响三对于测试用例集优化的问题,如果可以求出最优的代表集,则可以使原测试用例集得到最大的简化,但是求最优代表集的问题是N P 完全问题三因此启发式算法非常重要三用启发式算法思想,将测试用例集最小化问题归结为求近似的代表集三

5.1.8 测试用例约简算法

动态路径集的优化主要包括两部分:一是对动态路径集本身的优化,使用不同的测试数据执行程序,可能产生相同的动态路径,而动态路径集中的每条动态路径应该是唯一的,因此需要对动态路径集中的相同路径进行去重;二是根据动态路径拆分得到的函数调用路径子集之间是否有包含关系对动态路径集进行优化,针对包含情况对动态路径集进行删除重复和冗余的动态路径三

对于动态路径集本身的优化,主要优化思想是通过编译运行插桩后的源代码,输入测试数据,得到动态路径,再将该动态路径添加到动态路径集之前,判断动态路径集中是否已存在该条动态路径三如果存在,则说明该条动态路径是重复的动态路径,将其舍弃,同时将测试数据库中的测试数据也一并舍弃三如果不存在,再将该条动态路径添加到动态路径集中三重复以上操作,直到测试数据库中测试数据都处理完三

对于根据函数调用子集的包含关系进行的动态路径优化,使用启发式算法进行优化三在进行优化算法之前,需要计算出函数调用基本路径集中的函数调用路径被动态路径覆盖

的条数,记为T i 三以及每条动态路径覆盖函数调用路径的条数,记为R i

三算法的主要思想是:首先挑选出所有必不可少的动态路径,然后从函数调用基本路径集中删除被这些动态

路径所覆盖的函数调用路径,重新计算T i ,R i

,迭代执行三当没有必不可少的动态路径时,挑选覆盖函数调用路径最多的动态路径,然后从函数调用基本路径集中删除该条动态路径所覆盖的函数调用路径,重新计算T i 二R i 的值,

然后再次查看是否有必不可少的动态路径,迭代执行三对动态路径集优化算法的实现需要使用以下数据结构:

1)A r r a y L i s t A r r a y

L i s t 数组用来存放动态路径集中的所有动态路径二优化后的动态路径集三2)H a s h T a b l e

使用H a s h T a b l e 来存放所有满足测试需求的测试用例T i 三键用来存放函数调用基本路径集中的函数调用路径,值用来存放所有满足该条测试需求的测试用例三每条测试用例所满足的测试需求R i 也用H a s h T a b l e 来存储三键用来存放动态路径集中的每条动态路径,值用来存放每条测试用例所满足的测试需求集三

7

51第5章 面向函数调用关系的测试用例优化

优化算法的具体流程如图5.5所示三首先,

对动态路径进行第一步的优化,输入测试数据库中的测试数据,编译运行插桩后的源代码,得到动态路径,如果存放动态路径的数组中有该条动态路径,则舍弃该条动态路径,否则,将该条动态路径添加到存放动态路径的数组中三然后,针对第一步优化后的动态路径,做第二步的优化,将动态路径拆分成函数调用路径集,利用启发式算法,对这些动态路径进行优化,得到优化后的动态路径,同时得到已覆盖的函数调用路径和未覆盖的函数调用路径

三图5.5 动态路径集优化算法流程图

5.1.9 测试用例约简实例

针对如图5.6所示的源代码,测试数据库中有测试数据{i =1;i =2;i =4;i =5;i =10;i =16;i =6;i =18},逐个输入测试数据库中的测试数据,得到的动态路径如图5.7~图5.14所示三

测试数据生成动态路径后,选择所有的动态路径,如图5.15所示,

然后进行动态路径优化,得到的优化结果,如图5.16所示三851面向函数调用路径的测试技术与方法

图5.6

测试代码

图5.7 测试数据i =1

对应的动态路径

图5.8 测试数据i =2对应的动态路径

9

51第5章 面向函数调用关系的测试用例优化

图5.9 测试数据i =4

对应的动态路径

图5.10 测试数据i =5

对应的动态路径

图5.11 测试数据i =10

对应的动态路径

图5.12 测试数据i =16

对应的动态路径

图5.13 测试数据i =6

对应的动态路径

图5.14 测试数据i =18对应的动态路径

061面向函数调用路径的测试技术与方法

图5.15

选择所有动态路径文件

图5.16 优化后的动态路径集

1

61第5章 面向函数调用关系的测试用例优化

5.2 面向函数调用关系的测试用例优先级排序

5.2.1 测试用例优先级排序概念

测试用例优先级技术认为不同的测试用例对测试目标的完成有着不同的贡献程度三因此将不同的测试用例按照其对测试的重要程度排序,之后按次序依次执行将获得更高的回归测试效率三由于测试用例优先级技术并不会舍弃任何测试用例,因此其可以避免因有效测试用例流失而造成的缺陷检测能力下降问题三当测试允许舍弃部分测试用例时,可以首先通过测试用例集约简技术筛选出测试用例子集,然后使用优先级技术对子集进行排序三另一方面,如果回归测试过程因意外而中止,优先级技术能够保证测试用例集中最有效的测试用例已经被优先执行三因此测试用例优先级技术能够很好地解决测试用例高效使用的问题,能够提高测试的缺陷检测率,降低测试的人力成本和时间开销三

在测试用例被执行前,测试用例所检测出的缺陷是无法预知的,研究发现依据一定的覆盖准则和测试用例执行的历史覆盖信息,尽快达到覆盖标准能提高测试用例的检错率三基

于覆盖的测试用例优先级技术[16]就是依据测试的历史信息,以代码覆盖率为标准,赋予每个

待复用的测试用例一个优先级,并在回归测试过程中按优先级顺序选取和执行这些测试用例三除了测试用例的历史覆盖信息外,测试需求二历史检错信息等都会影响测试用例优先级三

5.2.2 为什么要进行测试用例优先级排序

软件测试是软件开发过程中的一个非常重要的环节,而回归测试对于保证软件质量具有重要意义三但是,回归测试的高代价往往使人难以接受,针对该问题已经提出了很多解决方法,测试用例的优先级排序即是其中一种三

在回归测试时,按照重要程度将测试用例排序并执行,能够更快地达到测试目标三例如,某被测程序中测试用例的缺陷检测结果如表5.1所示三如果按照T 1~T 10顺序执行测试用例,显然直到执行测试用例T 3才会检测出缺陷,

且只有所有测试用例全部被执行才能检测出所有的缺陷三而T 4二T 7二T 9二T 10可以检测出全部的缺陷,如果按照T 3-T 4-T 7-T 9-T 10-T 1-T 2-T 5-T 6-T 8的顺序执行测试用例则能够更早地检测到程序所包含的缺陷三

表5.1 测试用例缺陷检测情况检测到的缺陷

F 1F 2F 3F 4F 5F 6F 7F 8测试用例T 1

T 2

T 3

??T 4

???T 5?

?T 6T 7?

???T 8?

?T 9?T 10???

261面向函数调用路径的测试技术与方法

5.2.3 测试用例优先级排序的技术现状

测试用例优先级排序方法主要考虑三方面的影响因素:

(1)对缺陷的检测率三测试用例优先级技术要解决的问题就是尽可能快和尽可能多地发现软件中存在的缺陷,以方便开发人员尽快地修正这些缺陷,保证软件质量三较高的缺陷检测率可以提高回归测试的性能三

(2)测试用例的覆盖能力三回归测试中,覆盖率高的测试用例可以降低测试时间,节约测试成本三

(3)对高风险缺陷的检测速率三及时地检测出程序中严重的缺陷,提交给开发人员及时修正,能够降低测试风险,防止严重缺陷未修正而引起更大的损失三

现有的测试用例优先级技术大体可分为覆盖率相关的技术以及非覆盖率技术三覆盖率相关的技术主要关注测试用例的代码覆盖率,而非覆盖率的技术则主要通过其他影响因素对测试用例优先级排序三

1)覆盖率相关的技术W o n g 等人最早提出根据测试用例的覆盖能力排序测试用例子集,按排序结果依次执行测试用例,将提高回归测试的缺陷检测率三E l b a u m 对重要语句覆盖和函数覆盖进行了研究,通过评估测试用例累计覆盖率的潜在检测能力和贡献程度排序测试用例,能够优化测试用例的使用三E l b a u m 提出在覆盖率标准的基础上增加对测试开销的考虑,

将覆盖率改为单位覆盖消耗比率,并结合缺陷的严重程度重新评估测试用例的潜在检错能力三K i m 对测试用例在不同测试阶段的历史执行信息加权求和,综合考虑各项因素来赋予测试用例不同的优先级三S r i v a s t a v a 等对软件新旧版本二进制代码进行比对,

根据测试用例对修改部分的代码的覆盖率设定优先级三J e f f r e y 等结合程序切片技术计算测试用例对相关语句的覆盖率,以此赋予测试用例不同的优先等级,提高分析的精确性三基于不同的覆盖标准,R o t h e r m e l 等提出了基于测试用例的分支覆盖能力的优先级计算方法;J o n e s 等提出了一种基于测试用例M C /D C 覆盖率的优先级技术三

2)非覆盖率的技术上述传统的基于单一覆盖标准的优先级排序技术考虑的因素不够全面,近几年学者们又提出了一些新的优先级排序方法三他们针对其他可能会影响测试用例优先级的因素进行了探讨研究,并将人工智能技术应用于优先级排序,对优先级技术进行了进一步扩展三

S r i k a n t h 根据测试需求排序测试用例,

主要提取4种影响测试用例优先级的因素,综合考虑不同需求所需的测试耗费及需求的重要性,对广义需求下的测试用例排序及评估问题进行了研究与讨论三考虑到回归测试过程中的资源有限,W a l c o t t 等根据测试用例的历史执行时间,按照单位时间内的代码覆盖率对待排序的测试用例进行排序三K o r e l 基于系统模型,根据修改前后代码的差异提出了选择性优先级技术三F r a s e r 等研究了

属性相关性 对测试用例优先级的影响,提出另一种基于模型的测试用例优先级技术三T o n e l l a 等评估了测试者经验对测试用例优先级的影响,提出了一种基于机器学习的测试用例优先级排序方法三M i r a r a b 等综合考虑了程序的缺陷倾向二

测试用例缺陷检测的概率及代码变更等因素,构建测试优先级人工神经网络模型,提出一种基于概率的测试用例优先级技术三Q uB 等为了克服现有方法不适用于黑盒测试的问题,提出了一种自适应的基于用例运行结果的测试3

61第5章 面向函数调用关系的测试用例优化

用例优先级排序方法三根据测试用例设计的相关信息,提出一种测试用例优先级方法三H u a n g Y C 根据测试用例执行历史开销和检测出的缺陷严重程度提出了基于遗传算法的测试用例优先级技术三

测试用例优先级技术已经取得了很大的进展,然而现有的基于覆盖的优先级技术依然存在一些问题:

(1)基于覆盖的测试用例优先级技术一般都要依据一定的覆盖准则,其中路径覆盖是最严格的覆盖标准三然而,当程序逻辑复杂时,路径数量海量增加,路径覆盖标准难以达到,且历史覆盖信息难于提取三

(2)基于覆盖的优先级技术多选取代码覆盖信息作为优先级影响因素加以量度,而忽略了其他优先级影响因素三

5.2.4 相关概念

为了便于描述给出以下相关定义三

定义5.1 动态函数调用路径集:测试用例集T ={t 1,t 2,...,t n },执行得到的动态函数调用路径为L (S ,t 1)={P 11,P 12,...},L (S ,t 2)={P 21,P 22,...}等,L (S ,t i )={P i 1,P i 2,...},则测试用例集T 的动态函数调用路径集P ={P 1,P 2,...,P m },使得?P i j ?P 三图5.17 源代码示例定义5.2 测试覆盖矩阵:L (S ,t i )={P i 1,P i 2, }测试用例集T ={t 1,t 2,...,t n },动态函数调用路径集P ={P 1,P 2,...,P m },即测试覆盖需求,则测试覆盖矩阵t C M 是一个m ?n

阶矩阵,当测试用例t i 执行过程中执行到了函数调用路径P j 时,元素δi j =1,否则δi j =

0三定义5.3 测试用例的覆盖路径集:测试用例t i 的覆盖路

径集P (t i )(P (t i )

?P )是一个函数调用路径的集合,其中包含执行测试用例t i 时所执行到的所有P 中的函数调用路径三定义5.4 函数调用路径的执行用例集:P j 的执行用例集t (P j )(t (P j )?T )是一个测试用例集,其中包含覆盖路径P j 的

用例集T 中的所有测试用例三5.2.5 测试覆盖矩阵生成

通过动态函数调用路径提取,得到测试用例执行到的所有

函数调用路径,并以图的形式存储三测试用例与函数调用路径

这种一对多的关系,即为历史覆盖信息的原始数据三然而,多

个测试用例可能执行到同一函数调用路径,因此需对原始数据

进行进一步处理,生成测试覆盖矩阵三测试覆盖矩阵反映的是

测试用例与函数调用路径之间的多对多关系,即为优先级技术

所需的测试历史覆盖信息三

如图5.17所示的代码,设计测试用例T 1:i =0;T 2:i =1;T 3:i =2;根据函数调用路径提取算法,获得的函数调用路径以图的形式存储,如图5.18所示三

其中,不重复的函数调用路径共三条,即动态函数调用路径集三461面向函数调用路径的测试技术与方法

图5.18 动态函数调用路径

P 1:m a i n ?f 1P 2:m a i n ?f 1?f 3

P 3:m a i n ?f 1?f 2由此可获得测试用例集T ={T 1,T 2,T 3},动态函数调用路径集P ={P 1,P 2,P 3}

的测试覆盖矩阵如表5.2所示三表5.2 测试覆盖矩阵P 1

P 2P 3T 1

100T 2

010T 3011

由上述分析可知,不同的测试用例可能覆盖相同的函数调用路径三因此根据动态函数调用路径生成测试覆盖矩阵时,需完成两个任务:①去除重复的函数调用路径,获得测试用例的动态函数调用路径集三②记录每条函数调用路径的执行用例集三

专著使用哈希表存储测试覆盖矩阵三哈希表用于保存具有映射关系的数据集合,表中每个元素都是一个k e y -v a l u e 对,且k e y 值不能重复三利用集合表示映射关系,且k e y 值不能重复的特性,将每条函数调用路径作为k e y 值,

其执行路径集作为v a l u e 存储在哈希表中三

实现方法为:

(1)遍历测试用例t 1的动态函数调用路径图,

得到以字符串存储的所有独立的函数调用路径P 11,P 12, (2)将P 1j 作为k e y ,若哈希表中不存在该路径,则将t 1作为v a l u e 存储到哈希表中,否则将t 1追加到k e y 值所对应的v a l u e 串中三(3)重复步骤(1

),直至所有测试用例的动态函数调用路径图遍历完毕三1.测试用例优先级量化方法

面向函数调用路径的测试用例优先级量化方法以测试用例对函数调用路径的历史覆盖信息作为优先级的一个影响因子三在此基础上结合函数调用路径特点,提取单元测试时检

5

61第5章 面向函数调用关系的测试用例优化

测出的函数缺陷数和函数的扇入系数作为优先级的影响因子对优先级进行初始排序三

2.测试用例函数调用路径覆盖能力影响因子

测试用例t i 的函数调用路径覆盖能力是指,测试用例t i 的覆盖路径集P t ()i 中的路径

条数|P t ()i |

三回归测试过程中,挑选覆盖能力强的测试用例优先执行,能尽快达到覆盖标准,满足测试覆盖需求三因此将测试用例的函数调用路径覆盖能力应用于优先级量化排序中,使覆盖能力强的测试用例拥有较高的优先级三保证覆盖能力强的测试用例更早地被执行,能有效提高测试效率三用公式(5.1)量化计算第i 个测试用例t i 的函数调用路径覆盖能

力对优先级的影响值V P N i

三V P N i =

N i m a x {N } (5.1)式中,N i 为测试用例t i 执行到的路径条数|P t ()i |,即测试用例t i 的函数调用路径覆盖能力,m a x {N }为所有测试用例中函数调用路径覆盖能力的最大值三3.测试用例覆盖路径检错指标影响因子

软件测试的二八原则指出软件中20%的模块包含了80%的软件缺陷三在所测的软件部分中,发现的缺陷数目越多,则可能残存的缺陷数目也较多三这种缺陷群集的现象已多次被不同软件测试实践所证实三例如在美国I B M 公司研发的O S /370操作系统中,47%的缺

陷与该系统4%的程序模块有关[20]三根据这个规律,单元测试时检测出缺陷较多的模块应作为重点测试的模块三模块的扇入系数是指,直接调用该模块的上级模块的个数三测试经

验表明,一个模块出现缺陷很可能会引起调用该模块的其他模块出错,高扇入的模块会引起这种缺陷的迅速扩散三在C 语言中单元测试的一个模块通常是指一个函数三因此专著将单元

测试时函数中检测出缺陷的个数和函数的扇入系数应用于优先级排序中三用式(5.2)二式(5.3)量化其对第i 个测试用例t i 优先级的影响值V T i 三1)函数调用路径检错指标若已知函数调用路径P k ={V k 0,V k 1,...,V k m },则路径P k 的函数调用路径检错指标量

化值为

V P E k =eV k l ?P k E k j m a x {E }?C V k j m a x {C V } (5.2)其中V k l ?P k 且在单元测试阶段函数V k j 中至少检测出一处缺陷三E k j 为单元测试时函数V k j 中所检测出的缺陷个数,m a x {E }是指在单元测试阶段,所有被测函数中检测出缺陷个数的最大值;C V k j 为函数V k j 的扇入值,m a x {C V }是指在单元测试阶段,所有至少检测出一处缺陷的函数中,函数扇入值的最大值三式(5.2)使得缺陷个数多二扇入系数高的函数所在的函数调用路径有更高的量化值三2)测试用例的覆盖路径检错指标测试用例t i 的覆盖路径检错指标是指测试用例t i 的覆盖路径集中所有元素的函数调用路径检错指标平均值,如式(5.3

)所示三V T i =eP j ?P (t i )V P E i n (5.3

)661面向函数调用路径的测试技术与方法

n 为t i 覆盖路径集中元素个数三式(

5.2)二式(5.3)使检测出缺陷概率较高的测试用例有更高的优先级量化值,保证尽早地检测出尽量多的缺陷三

4.测试用例优先级量化取值

综合测试用例函数调用路径覆盖能力和测试用例覆盖路径检错指标,第i 个测试用例t i 的优先级取值

V i 可以由式(5.4)计算得到三V i =ω1?V P N i +ω2?V T i (5.4)式中,V P N i 表示第i 个测试用例t i 的测试用例函数调用路径覆盖能力的优先级取值,

V T i 表示第i 个测试用例t i 的测试用例覆盖路径检错指标优先级取值三ω1,ω2分别为V P N i 和V T i 对应的权重,且ω1+ω2=1三可以在实际项目中,根据项目需求情况,调整ω1二ω2的取值三

5.2.6 测试用例优先级排序算法测试用例的执行将不断地覆盖函数调用路径,因此在测试执行过程中动态函数调用路径集可以分为两部分:尚未被任何执行过的测试用例覆盖的,未覆盖路径集t e s t R t _U C ;已经至少被一个执行过的测试用例覆盖的,覆盖路径集t e s t R t _C 三从覆盖率角度来讲,每条未被覆盖的函数调用路径为一个测试需求三因此,随着测试的执行,测试需求集也在不断变

化,相应的测试用例t i 的函数调用路径覆盖能力值也应该做出调整三如果,

每次选择的测试用例t j ,

能够尽可能多地满足未覆盖路径集,而不关注其对覆盖路径集的覆盖情况,将使得测试用例更快速地覆盖所有的动态函数调用路径集三专著设计测试用例优先级优化方法,根据测试执行动态调整未执行用例的优先级三

动态调整的方法为,在测试用例执行过程中,根据覆盖路径集和未覆盖路径集的变化,计算函数调用路径覆盖能力优化取值V P NM i ,从而调整测试用例优先集量化值三测试用例函

数调用路径覆盖能力优化取值V P NM i 根据公式(5.5

)计算三V P NM i =N M i m a x {N } (5.5)其中,N M i 为|P (t i )?t e s t R t _U C |即测试用例t i 执行到的尚未被任何已执行过的测试用例

覆盖的函数调用路径条数三

算法描述如下三

输入:T :回归测试用例集;

P :动态函数调用路径集;t C M :测试覆盖矩阵三

输出:排序后的测试用例集T ?三变量:t e s t R t _U C :未覆盖路径集;

t e s t C _U R :未执行测试用例集三 B e g i n /*初始化*/(1)s o r t (T ); //根据测试用例优先级量化值对T 中的测试用例排序

(2)t e s t R t _U C =P ;(3)t

e s t C _U R =T ;/*测试用例集优化排序*/7

61第5章 面向函数调用关系的测试用例优化

(4)w h i l e (t e s t C _U R ??)d o (5) r u n (t 1); /

/执行测试用例t e s t C _U R 中排序第一的测试用例,即尚未执行的测试用例中//优先级取值最高的测试用例(6) t e s t C _U R =t e s t C _U R –t 1;(7) i f (t e s t R t _U C ??)t h e n (8) i f (P (t 1

)?t e s t R t _U C ??)t h e n /*遍历测试用例t 1的覆盖路径集,调整其优先级*/(9) f o re a c h (P j ?

(P (t 1)?t e s t R t _U C ))/*调整P j 的执行用例集t (P j

)中所有测试用例的优先级量化值*/(10) f o re a c h (t k ?t (P j

))(11) m o d i f y (V k );//调整测试用例t k 的优先级量化值

(12) e

n df o r (13) e n df o r (14) s o r t (t e s t C _U R );

(15) e

n di f (16) e

l s e /*若未覆盖路径集为空,则按优先级取值依次执行所有测试用例*/(17) f o re a c h (t i ?

t e s t C _U R )(18) r u n (t i

);(19) e n df o r (20) t

e s t C _U R =?;(21) e n di

f (22) t e s t R t _U C =t e s t R t _U C -P (t 1

);(23)e

n dw h i l e 在最外层的w h i l e 循环中,首先选择未执行用例集中优先级取值最高的测试用例t 1,

并从未执行测试用例集t e s t C _U R 中移除该测试用例三若未覆盖路径集为空,

则说明所有函数调用路径都已经至少被覆盖一次,此时未覆盖路径集不会再发生变化,测试用例的优先级取值也就不会再发生变化,因此按优先级取值依次执行所有测试用例;若未覆盖路径集非空,则遍历测试用例t 1的覆盖路径集P (t 1)与未覆盖路径集t e s t R T _U C 的交集,动态地调整每条路径的执行用例集中的测试用例优先级取值三最后在未覆盖路径集t e s t R t _U C 中移

除测试用例t 1覆盖路径集P (t 1)三重复上述过程,直到测试用例集为空三5.2.7 测试用例优先级排序实例

测试用例优先级排序方法的目标是为了提高测试的缺陷检测率,尽早发现程序中的缺陷三R o t h e r m e l 等提出了A P F D 量度标准作为优先级排序方法的量度指标三A P F D 即缺陷检测加权平均百分比,若测试用例集T 包含n 个测试用例,该测试用例集就能够检测出的缺陷集合F 中包含m 个缺陷,则测试用例集T 的一个顺序集T ?的A P F D 值定义为A P F D =1-T F 1+T F 2+...+T F m n m +12n (5.6)式中,T F 1为顺序集T

?中第一个检测出缺陷i 的测试用例在T 中的位置三其中,A P F D 的取值范围是0~1三A P F D 的值越高表示对应测试用例顺序集缺陷检测

率越高三例如测试用例缺陷检测情况如表5.1所示,若按照T 1~T 10顺序执行测试用例,

则该861面向函数调用路径的测试技术与方法

顺序集的A P F D 值为

A P F D =1-4+3+4+7+7+9+3+1010?8+12?10=0.46 若按照T 1-T 10-T 3-T 4-T 7-T 9-T 10-T 1-T 2-T 5-T 6-T 8的顺序执行,

则该顺序集的A P F D 值为A P F D =1-2+1+2+3+3+4+1+510?8+12?10=0.79 为了验证面向函数调用路径的测试用例优先级技术能否优化排序,

对不同规模的程序排序效果如何,特选取了总的代码行数为几十行到几千行,函数调用路径条数为几条到上百条的8个实用C 语言程序作为被测程序进行对比实验三针对每一个被测程序执行三轮测试三第一轮执行未排序的测试用例集,第二轮执行仅使用优先级量化方法排序的测试用例集,第三轮执行使用测试用例优先级优化方法排序的测试用例集三被测程序的代码行数二函数调用路径条数二测试用例数二缺陷数以及三轮顺序集对应的A P F D 值如表5.3所示三

表5.3 优先级排序结果

被测程序代码行数函数调用路径条数测试

用例数

缺陷数未排序结果量化排序结果优化排序结果P 1 83 3 5

20.300.300.30P 22054740.480.510.51P 3412152190.370.530.54P 46583132180.510.630.65P 58444641210.460.620.65P 615415853

330.510.650.68P 720328273420.450.660.68P 8325111610148

0.420.670.70实验结果分析:(1)未排序结果和量化排序结果的测试数据比较可知,使用优先级量化方法排序后的测试用例顺序集A P F D 值要高于未使用任何排序方法的测试用例顺序集A P F D 值,

且两者差值较大,说明优先级量化方法能明显提高测试的缺陷检测率三

(2)由量化排序结果和优化排序结果的测试数据比较可知,使用测试用例优先级优化方法动态排序后的测试用例顺序集A P F D 值要高于仅使用优先级量化方法排序的顺序集A P F D 值,但是提升幅度不明显,一般能提高1~3个百分点三程序规模较小时,函数调用路径条数二测试用例数和缺陷数较相对较少,此时该优化方法可能失效三例如被测程序P 1,

P 2,使用优化方法得到的顺序集A P F D 值和仅使用量化方法排序得到的顺序集A P F D 值无差别三因为优化方法本身会有资源和时间的开销,在实际测试工程中要综合考虑软件规模二测试开销等问题决定是否选用优化方法三

(3)被测程序函数调用路径条数较少时,优先级排序方法可能无效三例如被测程序,其函数调用路径条数仅为三条,量化和优化排序均无效三因为当函数调用路径条数较少时,程序的控制逻辑简单,单个测试用例很可能只覆盖一条函数调用路径,同时单元测试过程中发现的缺陷相对较少三各测试用例的量化值无差别或差别不大,导致排序算法失效三9

61第5章 面向函数调用关系的测试用例优化

(4)函数调用路径条数能够反映被测程序函数间控制逻辑的复杂程度,条数越多,逻辑越复杂,测试难度越大三排序结果的A P F D 值随函数调用路径条数变化的趋势如图5.19所示三可见,随着软件复杂程度的增加,未排序结果波动较大,无明显趋势;测试用例优先级量化方法和测试用例优先级优化方法的排序结果,在缺陷检测率上都表现出稳定的上升趋势,与未排序结果的缺陷检测率相比有明显优势

三

图5.19 实验结果趋势图

5.3 本章小结

本章主要介绍面向函数调用关系的测试用例优化三首先介绍了测试用例集约简的概念二重要性以及技术现状,然后提出了面向函数调用关系的测试用例集约简方法,并介绍了其相关实现和实例三最后介绍了测试用例优先级排序的概念,重要性以及技术现状,然后提出了面向函数调用关系的测试用例优先级排序方法,并介绍了相关实现和实例三071面向函数调用路径的测试技术与方法