基于缺陷的软件测试性评估方法分析

17142011,Vol.32,No.5

计算机工程与设计Computer Engineering and Design

0引言软件测试作为保证软件质量的重要手段，对测试有效性提出了越来越高的要求。软件测试性作为软件重要的质量属性，是评估软件质量、验证软件测试有效性的重要指标，并能够用于指导和改进软件设计。软件测试性的研究对于保证软件质量、提高测试有效性具有重要意义。

对软件测试性的评估是软件测试性研究的重点，是软件测试性设计的基础。目前，主要存在基于控制流的方法[1]、基于影响因素分析的方法[2]和基于缺陷的方法[5]。本文在分析缺陷导致失效的过程的基础上，对基于缺陷的软件测试性评估模型和评估方法进行了深入的研究。通过研究认为基于缺陷的软件测试性评估方法，以对缺陷行为的分析和统计为基础，源于对软件测试效果的直接度量，不存在人为因素的影响，是一种客观的软件测试性定量评估方法。并从减小运算量和改善缺陷分布两方面，归纳了对该评估方法进行的改进，对各种改进方法进行了分析和比较，最后提出了该方法在工程中应用的解决思路。

1软件测试性基本概念

测试性的概念最早针对系统和设备提出，是指产品能及

时并准确地确定其状态(可工作、不可工作或性能下降)，并隔离其内部故障的一种设计特性。由于软硬件失效机理的不同，对软件的测试性有着不同的理解：IEEE 的软件工程术语中，软件测试性定义为系统或构件是否便于对其建立测试准则，以及基于该准则对其进行充分测试的性能；ISO 从测试代价的角度，定义软件测试性是与确认软件产品所需代价有关的软件属性；V oas 等人基于软件失效过程，定义件测试性是在某一特定的输入分布下，软件中包含的一个缺陷在下一次测试执行过程中失效的概率；Gao 将软件测试性定义为根据一定测试准则对软件进行测试，实现准则充分覆盖所需最小测试用例数量，并将测试性描述为可理解性、可观测性、可控性、可跟踪性和测试支持能力的综合[8]，付剑平在其学位论文中，提出软件测试性是软件易于测试并暴露缺陷的能力[9]。

在IEEE 、ISO 和付剑平的定义中，从软件的内部属性出发，将软件测试性定义为软件固有的特征或能力，反映的是软件

收稿日期：2010-06-02；修订日期：2010-08-03。

基金项目：航空科学基金项目(20080241)。

作者简介：刘子宜(1984－)，男，河北石家庄人，硕士，助理工程师，研究方向为软件测试，软件可靠性、测试性，以及FPGA 高层测试；刘畅(1979－)，男，北京人，博士，工程师，研究方向为软件可靠性、软件体系结构；郑军(1969－)，男，江西景德镇人，硕士，高级工程师，研究方向为软件测试、软件可靠性。E-mail ：lzy9668@https://www.360docs.net/doc/7212819309.html,

基于缺陷的软件测试性评估方法分析

刘子宜，刘

畅，郑军

(中国航空综合技术研究所，北京100028)

摘

要：为了对软件测试过程中发现缺陷能力的进行有效的度量，研究了基于缺陷的软件测试性评估方法。从缺陷导致失效的过程出发，描述了基于缺陷的软件测试性评估模型和评估方法，并对该方法针对运算量大以及缺陷分布不合理问题而衍生的改进方法进行了综述。深入的分析和比较了各方法的原理、应用和局限性，并对软件测试性评估的应用方向进行了探讨和展望。

关键词：缺陷;失效;软件测试性;动态仿真;综述中图法分类号：TP311.1

文献标识码：A

文章编号：1000-7024(2011)05-1714-04

Analysis of software testability evaluation based on software defect

LIU Zi-yi,

LIU Chang,

ZHENG Jun

(China Aero-Polytechnology Establishment,Beijing 100028,China )

Abstract ：To measurement the ability of default detection in the software test phase availably,the method of software testability evaluation based on defects is studied.The model and method are introduced with the analysis of the transformation from defects to failures,and the derived methods are summarized for improve the problem of complexity of estimation and the unreasonable of the defects distribution.The principle,applicability and shortage of those methods are analyzed and compared deeply,and the expectations of the application of software testability evaluation are discussed.

Key words ：defects;failures;software testability;dynamic simulation;review

计算机工程与设计Computer Engineering and Design

刘子宜，刘畅，郑军：基于缺陷的软件测试性评估方法分析

2011,V ol.32,No.51715

达到一定测试效果的测试行为要求。而由于软件外部激励和响应的复杂性，从软件内部属性出发定义的软件测试性难以进行有效的量化评估，因此在V oas 和Gao 的定义中，将软件测试性与测试过程相联系，将软件测试性定义为在一定测试行为下的软件特性。

总之，软件测试性反映软件测试代价和测试效果之间的关系，软件测试过程就是一个缺陷被发现的过程，软件测试性可表示为在一定测试行为下，对测试过程中发现缺陷能力的度量指标。

2软件缺陷基本概念

对软件缺陷发现过程的研究，是软件测试性评估的最直

接手段。软件缺陷是指软件与指定需求的不一致，以及对期望使用方式不满足的情况。软件缺陷由人为错误引入，是软件的静态固有属性，伴随软件生命周期的全过程。

在软件执行过程中，缺陷在一定条件下被激活，导致软件出现的错误状态称为软件故障，软件故障表现为于构件、设备或者子系统中的异常情况；当软件故障无法被容错技术处理，而导致软件在运行过程中丧失全部或部分功能、出现偏离预期正常的状态，则会发生软件失效。

因此，软件的测试过程就是一个缺陷被发现的过程，建立缺陷导致失效的模型，并对模型参数进行定量估计，是基于缺陷的软件测试性评估的关键。

3

基于缺陷的软件测试性评估方法

3.1

缺陷/失效模型

软件失效是揭发软件缺陷的直接方式，对软件缺陷导致

失效行为的研究，建立缺陷/失效模型，是研究软件发现缺陷能力的基础，是软件测试性评估的最直接手段。

基于软件缺陷的发展过程，Morell 提出的软件缺陷导致软件失效需要3个充分必要条件：①程序的输入使这个软件缺陷得到了执行；②被执行的缺陷使该程序缺陷所在位置之后的数据状态发生变化(产生故障)；③错误的程序数据状态被传播到程序输出，并使输出结果错误(产生失效)。这3个充分必要条件实质上也反映了由缺陷产生失效的整个过程，该过程是一个顺序的过程，在程序执行缺陷之后，这个缺陷使该缺陷之后的数据状态被传染；接下来，经过若干次的迭代过程，错误的数据状态将该故障传播到程序的输出。

图1描述了缺陷/失效过程中缺陷发现的条件，这3个条件分别对应输入导致该位置执行的概率(

执行概率

)和改变的数据状态导

致程序输出变化的概率(

传播概率

=

×{缺陷得到执行}，

=

?′DDμ?ê?è???êy￡?1

à???′DD???ê

???ú??è?

μ?′ú??￡?í3??è±?Y

×￠è??°oó?′DDoóêy?Y×′ì?2?ò???μ?′?êy￡?

1

à??′?è????ê

?′DDoó?é?üμ?

oó′ú??￡?í3??ê?3?ó??¤?ú2?ò???μ??′DD

′?êy

(4)

3.3测试性评估位置

的

灵敏度为１

存在故障时，通过测试揭露故障的最

小概率，灵敏度值越小则说明对该位置的测试越困难。通过对所有位置的灵敏度估计进行加权平均，可以得到程序的测试性评估结果。

图1软件缺陷的发现条件

缺陷暴露

缺陷

１－

1-

è±?Y

?′±???

17162011,Vol.32,No.5计算机工程与设计Computer Engineering and Design

4分析与比较

4.1特点分析

与其他类型的软件测试性评估方法相比，基于缺陷的方法具有无可替代的优势，主要表现在：

(1)基于控制流的方法用软件的信息丢失或隐藏的程度衡量软件的测试性，但这仅是软件测试性的一个方面，不能对软件测试性进行全面的了解。

(2)基于影响因素分析的方法虽然能够全面的涵盖软件测试性的影响因素，但对各影响因素缺乏定量的评价手段，存在较大的人为不确定因素。

(3)基于缺陷的方法从缺陷导致失效的条件出发，以实验结果为评估的依据，能够准确、全面、客观的获得软件测试性定量评估结果。因此，基于缺陷的软件测试性评估方法得到了广泛的应用和认可，在测试性相关研究中作为标准评估结果，并已经开发成测试性自动评估工具，如PISCES、MSG-Infection 等，在软件质量评价和测试用例充分性评估中得到应用。

4.2存在的不足

基于缺陷的软件测试性评估方法的不足主要存在于以下两个方面：

一方面，在测试性评估过程中，需要覆盖所有代码位置，而在每个代码位置的动态仿真中，还需要大量的样本空间，以包含多样的缺陷类型和实现精确概率估计，由此造成的庞大的运算量成为了其应用的最大局限。例如，通过PISCES工具对一个3000行代码的C程序进行测试性评估，需要超过10个小时的时间，这对于当今百万行规模的大型软件是不可接受的。

另一方面，在传染概率的估算过程中，需要选取可能存在的变异进行缺陷注入，由于缺陷的多样性以及受运算量的局限，难以全面得覆盖所有可能的缺陷类型。例如，通常在PIE 算法中，都是基于缺陷只存在于一条语句内假设，并把缺陷局限于代码变异造成的语法缺陷；在缺陷的选取过程中，也一般采用随机选取的方法，并不能准确的反映实际软件开发过程中引入缺陷的分布。因此对缺陷的分布进行更合理的设置，从而使缺陷注入更真实的模拟实际缺陷的引入情况，是进一步提高评估方法精度和可信度的重要途径。

4.3改进与相关研究

针对前文所述方法存在的问题与不足，主要存在以下两个方面的改进研究：

(1)针对运算量大的问题，Tsai等人提出了扩展PIE(EPIE)技术，采用基于控制流的分组技术，将相互依赖的状态分为一组作为代码的位置，计算每一个组的执行概率、传染概率和传播概率，以达到简化运算量的目的[8]。Jin-Cheng Lin等人通过静态分析源程序的方式计算程序中的语句执行概率、传染概率和传播概率，不需要运行程序，估计软件测试性。Taghi等人将PIE技术与基于因素分析的测试性评估方法相结合，使用PISCES工具产生测试性评估标准样本，利用前馈神经网络建立影响测试性的软件度量指标和测试性评估结果之间的模型，从而利用神经网络的泛化快速评估新软件样本的测试性。

(2)针对缺陷分布不合理的问题，WU等人提出基于混杂缺陷模型的缺陷注入方法，将代码级缺陷归纳为8类语法缺陷和9类语义缺陷，语法缺陷只能够覆盖编码阶段引入的缺陷，而设计阶段引入的通常为语义缺陷，解决了在PIE技术的传染概率计算中，仅考虑了语法缺陷的注入，不能覆盖设计缺陷的问题，提高了测试性评估结果的准确性和信服力[11]。

除此之外，存在相关研究方法，对缺陷注入的位置和缺陷种类进行裁剪，依据软件特点，在影响软件质量的关键位置，注入特定类型的缺陷对软件的缺陷/失效行为进行评估。Mar-cio等人提出界面变异技术，关注模块集成级的界面缺陷，通过在函数的参数、返回值和全局变量等界面元素中注入缺陷，对模块界面的缺陷/失效行为以及集成级测试用例集的评估。类似的，Ioannis等人研究谓词逻辑缺陷，并针对其中严重等级最高的组合移动缺陷，提出括号移动变异方法，评估该缺陷的暴露能力。

4.4方法比较

上述各类改进方法，针对PIE方法的不足，主要从运算量和缺陷分布两个方面进行改进，表1对各方法的特点进行了归纳和比较。

由此可见，运算量的减少总是以评估结果准确性降低为代价，软件测试性评估的准确性和成本之间的矛盾仍是该方法面临的首要问题。在应用过程中，需要结合评估需求和软件特征，对评估方法进行合理的选择。

5结束语

基于缺陷的软件测试性评估方法以其成熟的理论基础，准确的统计方法，以及对测试性定义的良好追溯性，已经成为软件测试性评估的公认方法。该方法不但实现对软件测试性最全面的量化分析，而且对软件测试性设计和软件质量改善具有指导意义，具体表现为：

(1)对软件开发的指导。通过对先验软件的测试性评估结果分析，归纳影响软件测试性的瓶颈因素，指导制定软件测试性需求和测试性设计编码规则，在软件开发阶段提高测试性水平。

(2)对软件测试有效性的评估。软件测试性不但是对软件质量的评估，还能够在测试阶段用于评估测试用例设计的质

表1基于缺陷的软件测试性评估方法比较

评估方法优点缺点

PIE方法

扩展PIE方法

静态分析法

结合神经网络的方法混杂缺陷注入

针对性评估

从机理出发，全面、准确

代码分组，减少运算量

无需动态仿真，减少运算量

缺陷法和因素分析法相结合，对运算量和测试客观性的平衡

缺陷更加接近真实环境，评准确性高

更加深入的评估某一方面的缺陷

运算量大，对缺陷的选取和分布存在近似和局限

代码分组难以自动实现

近似结果，精确度差

存在人为影响和随机性

运算量进一步增大，语义缺陷难以全面覆盖

不能得到全面的评估结果

刘子宜，刘畅，郑军：基于缺陷的软件测试性评估方法分析2011,V ol.32,No.51717

量。通过对所设计的测试用例集激励下软件测试性的评估，能够反映当前测试用例集发现缺陷的能力，从而验证测试的有效性。

(3)对软件测试充分性的改善。帮助测试人员掌握测试性差的软件位置，指导测试资源的合理分配；并结合程序插装方法，例如加入缺陷激励和软件探针代码，消除代码在执行、传染、传播过程中的信息丢失，从而改善软件的测试性[12]。

参考文献:

[1]Thanh Binh Nguyen,Chantal Robach,Michel Delaunay.Testabi-

lity analysis of reactive software[C].Washington:IEEE Interna-

tional Workshop on Testability Assessment.IEEE Computer So-

ciety,2004:15-25.

[2]Ming-Chih Shih.Verification and measurement of software com-

ponent testability[D].San Jose:San Jose State University,2004. [3]Tsai W T,Gao Jerry,Wei Xiao,et al.Testability of software in ser-

vice-oriented architecture[C].Proceedings of the30th Annual In-

ternational Computer Software and Applications Conference.

IEEE Computer Society,2006:163-170.

[4]Frank Lammermann,Andre Baresel,Joachim Wegener.Evalua-

ting evolutionary testability for structure-oriented testing with

software measurements[J].Applied Soft Computing,2008,8(2):

1018-1028.[5]Jeffrey M V oas.PIE:A dynamic failure-based technique[J].IEEE

Transactions on Software Engineering,1992,18(8):717-727. [6]Zhao Liang.A new approach for software testability analysis[C].

Proceedings of the28th International Conference on Software Engineering.ACM,2006:985-988.

[7]Aristides Dasso,Ana Funes.Verification,validation and testing

in software engineering[M].US:IGI Global,2006:1-23.

[8]Gao Jerry,Shih Ming-Chih.A component testability model for

verification and measurement[C].Proceedings of the29th An-nual International Computer Software and Applications Confe-rence.IEEE Computer Society,2005:211-218.

[9]付剑平.软件测试性度量方法研究[D].北京:北京航空航天大

学,2008.

[10]Tsai Tsung-Han,Huang Chin-Yu,Chang Jun-Ru.A study of ap-

plying extended pie technique to software testability analysis[C].

33rd Annual IEEE International Computer Software and Appli-cations Conference.IEEE Computer Society,2009:89-98. [11]WU Ji,JIA Xiaoxia,LIU Chang,et al.Finds in testing experiments

for model evaluation[J].Tsinghua Science and Technology, 2005,10(3):298-303.

[12]Supaporn Kansomkeat.An analysis technique to increase testabi-

lity of class-component[D].Bangkok:Chulalongkorn University, 2006.

库方式能够简化专业人员的建库工作，提高了系统的可操作性。该系统以关系数据库为基础，支持面向对象技术的建库方式。能够自动将面向对象的数据模型映射为关系数据库的模型。

4结束语

试验数据管理系统并非只是软件，它又是一种策略性的解决方法。符合试验数据管理思想。系统具有以下一些特点：

(1)功能化。平台以模块化的形式提供了一整套试验数据管理措施。

(2)集成化。平台采用集成化的管理方式，在逻辑上将各个部分连接起来。

(3)灵活性。系统构建于分布式系统之上，使用Web Service 技术，使系统具有灵活的适应性和扩充性，以满足用户不断提升的需求。

(4)安全性。平台具有灵活而周密的权限控制机制来保障对试验相关数据的安全管理，提供了独立于数据库的权限控制机制。

(5)兼容性。平台具备标准的外部接口，可以和现存系统之间方便地进行数据交换，保证数据的一致性。

本文对试验数据的特点、目前试验数据管理上存在的问题进行了分析，在描述系统特点的同时给出了详细的解决方案。系统采用了元数据驱动的软件架构和多层架构浏览器模式，对设计同类系统软件具有一定的参考价值。目前，该系统正处于试用阶段，系统运行情况良好。参考文献:

[1]Anon.Automated test and data management[J].Microwave Jour-

nal,2006,49(5):284-290.

[2]应明.基于B/S模式的PDM项目开发[P].沈阳:东北大学,

2005-02-01.

[3]楼笑.基于元数据管理的OLAP系统设计与实现[D].南京:东

南大学,2005.

[4]YING Su,LEI Yang.Assuring image quality in spatial data sha-

ring platform for disaster management[C].International Work-shop on Education Technology and Training&International Workshop on Geoscience and Remote Sensing,2008.

[5]Yusuke Mizuno,Yozo Fujino,Kei Kawamura.Development of

data management architecture for bridge management[C].

Beijing,China:WCCMⅥ(The Sixth World Congress on Com-putational Mechanics)in conjunction with APCOM'04(The Sec-ond Asian-Pacific Congress on Computational Mechanics),2004.

[6]Wang Juan Le,Zhu Yun Qiang,Song Jia,et al.Study on resource

and environment scientific research data arehiving[C].Interna-tional Conference on Environmental Science and Information Application Technology,2009.

[7]王媛媛.国内政府信息资源元数据研究综述[J].现代情报,2008

(3):89-91.

[8]林瑞峰,陈平华,林锦川.面向科技管理的数据共享平台关键技

术研究[J].现代计算机,2009(9):104-106.

(上接第1683页)