符合性测试和互操作性测试的相关性第2版

符合性测试和互操作性测试的相关性（第2版）符合性测试和互操作性测试的相关性(第2版)栏目编辑:闰小梅E-mail:yanxm@cesi.ac.ca符合性测试和互操作性测试的相关性(第2版)TheRelevanceofConformanceTestingandInteroperab_?tyTestingETSlAnthonyWiles(法国)FSCOMScottMoseley(法国)PQMConsultants,UKSteveRandall(英国)中国电子技术标准化研究所郭楠吴东亚编译摘要传统上讲,符合性测试主要用于电信产业,而互操作性测试主要用于国际互联网络.这两种测试方法存在各自的优点和缺点,结合使用两种方法,能够使测试过程的效果达到最大化;同时还介绍了欧洲电信标准研究院(ETSI)的标准化活动.关键词互操作性测试符合性测试欧洲电信标准研究院PlugtestAbstract:Traditionally,conformancetestinghas beenthedomainofthetelecommunicationsindustrywhile interoperabilitytestinghasmainlybeenlimitedtotheInternetworld.Thispaperdiscussesthemeritsandshortcomingsof eachapproachandshowsonewaytheycanusefullybecombinedtomaximisetheeffectivenessofthetestingprocess. ThispaperalsopresentsETSIstandardisationactivities,Keywords:interoperabilitytesting;conformance testing;ETShPlugtest 1背景电信产业需要不同种类的基础规范和标准来保障产品的功能性,彼此之间的互操作性,安全性和对标准的符合性.任何有效的标准化活动都需要测试规范来支持这些基本需求.如果没有测试规范,产品的功能必定有所欠缺,不能和其他产品互操作,是不安全的并会导致法律责任. 电信产业界为了开发和维护他们的产品和服务,采用了多种测试方法,包括:集成,性能,压力,负载,电磁辐射,电气安全,机械强度,符合性和互操作性. 对欧洲电信标准研究院(ETSI)而言,测试活动受控于协议测试规范.但是,由于不同的原因,我们看到互操作性测试产生了新的,有意义的影响.ETSI持续的Plugtest 服务成功地证明,互操作性测试的概念已经被产业界所接受.目前许多观点认为互操作性测试可以有效地替代符合性测试,并且可以明显的节省花费和时间.本文还将介绍产业界关于互操作性测试与符合性测试的观点,并阐述ETSI关于两种测试的定义和方法论,分析他们的优点和缺点,结果将表明:互操作性测试与符合性测试的目的不同.只进行一种测试并不能保证互操作性, 所以好的工程实践需要两种测试来保障基础协议要求的互操作性.我们进而断言,符合性测试在完成有效的,严格的互操作性测试中是必要的.2互操作性测试事实上,虽然产业界对互操作性测试存在普遍的认识, 但是对于互操作性的定义还不能达成一致.直至现在,互操作测试仍被普遍认为是相当不正规的原型设备之间的互连,目的是为了产品调试和技术改进.InteropEvent, PlugtestS和bake-offs部属于这一类.目前,互操作性测试的方法是设备商将他们的产品拿到某个地方集中,在那里提供了合适的网络设施,如图1所示.设备被连接在网络上,通过手动设置,两个或多个设产品5图1典型的bake-off连接设置本文系"十五"国家科技攻关计划重点项目:认证认可关键技术研究与示范(2005BA909B).信息技术与标,幕化2007年第5期备商试图使他们的产品通过通信来实现特有的连接功能.这些测试的成功或失败的信息被用来提高产品设计或者作为对基本的标准化活动的反馈,以提高它们的技术能力. 图1为典型的bake—off测试设置,不同设备商提供的一些产品连接到中心网络中.图1显示了产品2,3,6的制造商统一进行一些公共功能的互操作性检测的场景,而设备1,4,5之间的测试能够同步进行.这种类型的测试对于提高产品的稳定性和产品技术的提升是一种非常有效的方法.但是,它不提供产品符合任何标准的证明,也不表明产品完全符合标准所必需的互操作性要求.市场对于保障互操作性的要求逐渐引起了电信设备商, 运营商对基于正规测试的认证和贴标活动的兴趣.这种测试不仅依赖于采用预先定义的覆盖所有可能功能的互操作性测试套,而且依赖于产品与特定协议标准的符合性测试, 并且这一测试是互操作性测试的必要条件.3符合性测试符合性测试的目的是确定特定标准的实现与本标准单独需求的符合程度.在过去的10年内,ETSI技术体已经开发出针对关键技术的符合性测试规范,如,GSM,UMTS, DECT,1NAP,TETRA,ISDN,B—ISDN/ATM,HioerLAN/2,VB一5,FSK和V01P(H.323/SIP)等. ETSI测试规范是根据已经被证明的ISO/IEC9646 《信息技术开放系统互连一致性测试方法和框架》标准中的符合性测试方法来开发的,如图2所示.f测试人员l图2对于符合性测试的通用模型(基于Iso/IEC9646)在图2的符合性测试结构中,有两个主要的部件:包含被测实现(1UT)的被测系统(SUT)和测试手段(MOT). IUT一般是一个单独的协议,虽然SUT包含多个协议层, 但一次只用一个符合性测试套测试其中的一层. 2?7年第5期根据IUT的结构和测试过程中访问的接口,MOT至少有一个测试器,它还处理测试结果的协调,日志和报告.从 SUT连接到测试器是通过一些通信手段(MOC)实现的.例如,当一个第,层的协议连接到一个单独的测试器时, MOC可能是,一1层的协议栈.在真实测试环境中,测试器可能是分布式的,执行的测试程序或者脚本在ISO/IEC9646的术语中称为测试例, 测试例的全集称为测试套.ETSI开发出利用标准化的测试语言TTCN编写的抽象测试套(ATS),TTCN语言能够在不同种类的实际测试系统中编译并运行.图3是对网络部件(和终端设备(进行测试的说明. 删试系统做测系统测试系统被测乐统o(a)【{I】元袭的符台删试(b)终端改备的符合性测试图3标准符合性测试的说明在每一种情况下,对于组成产品的不同协议部件可以有不同的标准符合性测试套.产品作为一个完整的系统不可能只用一个单独的测试套来完成测试.图3中的虚线表示测试接口,包括产品内部的标准化协议接口和测试系统的接口.3.1符合性测试方法ETsI采用的ISO/IEC9646方法论,最初的目标是协议测试,还能应用于其他的被动系统,例如,服务和API 的黑盒测试.为了简单起见,我们主要考虑协议的标准符合性测试.ISO/IEC9646推荐的测试规范内容包含以下一些文档: 从相关的基础标准中推导出的测试套结构和测试目的 (TSS&TP).他们提供非正式的,针对每一个测试的易读描述,更关注测试的意义而不是具体实现细节.每一个测试目的专注于基础标准中的一个特定需求或者几个需求的混合体.他们一般在详细的协议层上定义,可能指出协议信息,状态或者性能.最终,测试目的根据恰当的规则组成逻辑测试套结构(例如:基本互连,错误处理,协议功能等).抽象测试套(ATS)是测试例的全集.每一个测试例给出了测试目的的详细编码,一般用测试规范语言完成,例如:TTCN.实现符合性声明0CS)是嵌入在SUT中的被测实现支持的性能的表格.它提供了产品实现的特征,性能,功能 http:和可选项.ICS能够用来对测试例进行选择和参数化,并作为不同产品之间基本互操作性的指示器. 测试用实现额外信息(IXIT)包括对于测试必要的附加信息(例如:专用地址,定时器的数值等).ATS使用适合于现代测试工具平台(C++,.Java等)的TTCN编译器,可以快速,容易地实现可执.15~lJ试套 (ETS).运行时的支持(如:信息编/解码,测试控制和适应层)需要在现实测试系统中实现.ISO/IEC9646不只是定义上述的测试规范,它有7 个部分的系列标准,包括了测试实现(可执行测试),测试实验室的需求和协议轮廓测试规范的开发等.3.2符合性测试特性因为符合性测试器对发送到IUT的协议信息的序列和内容保持高度的控制,这样就可以很好的理解符合性测试的范围,包括期望的和不期望的(无效的)./5-为,协议设计必须考虑在百万次事例中偶然出现一次的事件,这种偶然事件不能(故意地)在互操作性测试中产生.图4表示了一个完整的系统(产品),它的一些部分用不同的标准来实现.用方框A,B,C,D来表示.图4符合性测试的范围符合性测试时,分别测试绿色的阴影部分(区域),测试程度的深浅依赖于测试套的质量和广度.在一个受控的,一定范围的人工的环境中,通过测试特定的需求,符合性测试的测试方式范围很窄但是程度很深.它不测试整个系统,也不测试系统在真实环境中和其他系统的互操作性如何.符合性测试中的一个问题就是昂贵的开销.事实上, 当它和官方的,低效的第三方测试计划有关时可能确实如此.但是,目前已经不再是这种情况了.ETSI使编写测试规范的过程更加有效,同时使测试套本身关注于测试实质性内容,我们称之为"为了互操作性的符合性测试".因为测试规范是ETSI技术成员体的专家组完成的,开销分摊信息技术与标准化在ETSI的成员中.ETSI测试规范的需求量正在持续增加,经常被设备商用作内部开发阶段测试的基础,并作为互操作性测试的实质性补充.一位3GPP技术工作组的主席说:"3GPP终端的标准符合性测试套是非常值钱的.严格的测试要求确保了终端之间的互操作性,形成了供应商能够持续发展的核心测试集".基于射频系统的测试系统确实很昂贵.在GSM和 UMTS这样大的市场中,基于射频系统的测试系统是值得建立的.但是,对于不是那/厶昂贵的应用,测试是重要的, 但是开销要控制到最小,在非射频协议上,如IP层,进行低层(射频)仿真的测试目的得到了越来越多的关注.这是非常有效的,同时比用真实的测试工具便宜得多.3.3测试系统树表结合表示法(TTCN)是为开发测试规范而特定设计的语言,已经应用到包括ISDN,GSM,DECT和SIP 等多个技术领域中.与题目相吻合,TTCN的版本1和2用表格结构表示测试规范,它们还对单独的测试步骤使用一些很隐讳的符号.虽然对于协议测试是强有力的,但是这种方法缺乏可读性以及扩展到不同应用领域语言的灵活性.因此,ETSI 产生了具有现代编程语言风格的第3个版本(TTCN-3), 它给出了TTCN缩写的新的含义,现在称为"测试和测试控制表示法",更好地反映了它的目标和作用.除了协议, TTCN一3还是针对服务,API和一定范围内基于软件的其他系统进.15-~U试的理想语言.它不限于符合性测试,适用于很多领域,包括互操作性测试.3.4举例返回到图1中的bake-off例子,有三个互连的产品 (产品2,3和6),它们中的每一个几乎都是由一些子系统或部分组成的.这些部分可能也有自己的子部分或者子系统.在这些部分中,很可能至少存在一个包含有多个协议层的协议栈.为了进行符合性测试,IUT可能是协议栈中在其他下层协议或仿真器之上的一个协议.因此,符合性测试套被设计成针对一个产品中一个标准的实现的测试. 理论上,符合性测试能够对一个产品中出现的每一个标准实现进.15-~U试.换言之,符合性测试对于一个产品的子系统或者部件是特定的,针对每一个子系统或部件存在一个基本的规范或者标准如果没有基本规范,就没有符合性测试仅仅考虑协议标准符合性测试,可以这/厶讲:电信系统用到一些协议,其中一些是"经过验证并且正确的",其 2007年第5期他,些是新规定的.如果新的协议是在协议栈中的较低层, 而"经过验证并且正确的"协议处在协议栈的较高层(这种情况经常发生),这时协议较高层的可靠性是没用的,除非建立起较低层的可信度.在一个没有验证过的实体上设置一个可靠的协议会引起问题,问题的量级与未验证的协议的复杂程度成比例.虽然这个特定的例子仅仅讨论了系统中的协议部件, 对于系统的其他部件,该原理同样有效.确实,协议需要最大范围的符合性测试,但是其他子系统(应用,服务,电气和电子系统,连接器和接口)也需要符合性测试,特别是当有多种方法可以实现同样的功能时.这种鲁棒性经常被作为质量因子设计在传输和电子/电气系统中.3.5符合性测试的优点和缺点(1)符合性测试能够完成下述给定功能?确定一个实现的行为是否符合基本规范列出的需求,包括所有的错误和只能由特定的测试设备执行或者再现的意外情况;?如果不能用所有的方法,就用尽可能多的方法来实现部件的功能.(2)符合性测试不完成下述功能?证两个I的通信系统之间功能的端到端的互操作性; ?同时执行所有系统部件和它们的接口,来确定实现是否在真实的环境中起作用;?验证所有自有的特性,功能,接口和非公共域系统的操作.但是这些自有的方面可以作为符合性测试的配置和执行中的一部分被间接操作.4ETSI的互操作性测试方法对ETSI来说,互操作性测试的目的是为了证明(至少)两个通信系统间端到端的功能与这些系统基于的标准要求一致. 互操作性行为可以在广义上分为三类:bake-offs, 互操作性示范和互操作性测试.bake-offs用于发展,证实各种技术和标准.这一类的行为最好在发展周期的开始进行,这个时候正好可以使用原型和早期的实现.它们的价值在于可以推动标准的前进,并且重申了最好的技术解决方案.向标准化成员体和实现者反馈消息是基本的要求.互操作性示范和它的名字所暗示的一样,主要用在市场领域中,一般不会在标准发展过程中添加价值. 作为第三种类型,互操作性测试正是本文所关注的.这种行为比起bake-offs的要求具有更严格的方法,尤其是 2007年第5期当最终目的是为了形成认证或者商标的时候.具有明确定义的概念和术语的通用方法是不存在的,为了填补这个空缺,ETSIEPTIPHON(TIPHONTM指电信与互联网协议在网络上的融合)正在为下一代互联网(NGN)系统通信的互操作性测试定义一个一般性的方法,见图5和图6. 注:在DTS/TIPH0N06025—2中所表述的方法论只处在一个早期的阶段,随着它的成熟本文所表示的一些想法可能会有所改动. 图5一种互操作性测试的一般模型(基于DTS/TIPHON-06025-2) 即使这不是一个全球性的意见,TIPHONTM也看到了制定这种一般性方法的好处.希望通过与ETSITCMTS (MTS指测试和规范的方法)的合作至少可以产生一个被整个ETSI团体所接受的方法论.这样看来,互操作性测试的方法论似乎和符合性测试的方法论相似.从广义上讲,ISO/IEC9646的许多概念与互操作性测试是对应的,但在细节上还有所不同.和图 2的符合性模型一样,两个主要的互操作性结构成分是测试手段(MOT)和被测系统(SUT),见图5.相似点也就只此而已.SUT由被测设备(EUT)和一个或多个的参考设备(RE)组成.EUT是测试的重点,RE作为整个sUT的一部分并不是测试的重点,它已经经过了完整的符合性和互操作性测试,并可能继续进行下去.这就是ETSI的方法和目前对互操作性理解之间的主要不同点. 值得注意的是,RE和EUT可能都是复杂的,由多种设备组成的,但在概念上它们都被认为是单一的实体.与符合性测试不一样,MOT:Sfq需要复杂的测试设备(这不排除互操作性测试可以自动执行的可能性),它包括测试操作人员,互操作性测试例和编写日志与报告的机制等. RE与EUT之间的通信手段(MoC)既不属于SUT的部分,也不属于MOT的部分.4.1互操作性测试方法TIPHON的方法被概括为图6.图6TIPHON的互操作性测试方法的示范图测试套结构和测试目的(TSS&TP)是从相应的基础标准中得来的.它们给出了一种非正式的,针对每种测试都容易读懂的描述,比起如何详细地完成测试,它们更注重测试的方法.每一个测试都着重测试EUT的一个专门的功能,这个功能在SUT提供的用户端口处起作用. 抽象测试套(ATS)是测试例的一个合集.每一个测试例都会以建立测试和测试过程为前提,测试操作人员必须按照这个测试过程来完成测试.注意,如果一个合适的API有效, 那/厶测试人员就可以用一个自动测试程序来代替,这个程序被写成编程语言(tR可能是TTCN语言)的形式. 互操作性声明0s)是被测设备所支持的性能/功能的一个清单.从某种程度上来讲,它与符合性测试ICS类似,但是并不那/厶详细.IS中的一些信息可能来自相应的lOS中. lS用来选择测试例并为测试例设定参数,也作为不同产品之间互操作性测试的指示器.测试用实现额外信息(1×IT)包括测试所需的附加信息 (如专用地址,计时器数值等).可执行的测试套(ETS)只有当脚本被ATS定义的时候才是必需的.这些要比符合性测试例简单的多,它们的实现只依赖于API的本质.同样,也可能会用到TTCN.4.2互操作性测试的特点互操作性测试感觉上相对便宜,因为它没有指出具体的测试设备,互操作性测试例也很容易(对大多数部分而言) 生成.但是它的作用不能被低估,设立一个有用的互操作性测试床并不总是很简单的.图7表示了一个完整的系统(产品),它的一些部分用不同的标准来实现,这些不同的标准用方框A,B,C,D来表示.互操作性测试是将EUT作为一个整体(绿色区域)来测试,包括产品中非标准的成分.因为测试人员只在用户端口进行控制,互操作性测试信息技术与标准化要覆盖产品的正常行为.与符合性测试不一样,它的覆盖范围是宽而浅的.它当然也会测试不同系统间真实的互操作性,这一点并没有在图7中有所表示.图7互操作性测试的范围5认证和商标认证总是需要花费资金的,但它不再是一个独立的, 承担昂贵官方费用的常规过程.现在,大家都意识到了速度,灵活性和减少认证花销的需求,同时也意识到了通过认证标签来赢得购买者信心的必要性.认证的管理工作大部分是由工业论坛负责的.制造商可以把认证结果用到他们的产品商标上,通常情况会在产品标签和包装上有一个标识.在IP和电信领域,有关认证的活动越来越多,其中一个原因是制造商想要确保产品质量和互操作性的认知程度,这样有益于消费者对标识和商标的了解.制造商可以对自己的产品进行自我验证.自我验证通常是产品开发测试的顶点,也是用户和运营商要求的一种经济的选择.ETSI并不对认证的本身过程进行管理,然而本文的第3,4部分表述的ETSI测试套方法是上述提到的机制的有效组成部分.在某些情况下,我们可以作为认证的中立管理者或者在权威的实验室或组织进行成功的验证测试后作为认证的颁发者.图参考文献[1]AnthonyWiles(法国),ScottMoseley(法国),SteveRandaII(英国).TheReleVanceotConformanceTestingtorInter0perab_lityTesting[R].2003.[2]ISO/rmatiOnTechnoIOgy—OpenSystemsInterconnection-ContormanceTesting Meth0d010gyandFramework-Parts1-7[S].1994. [3]ETSIES201873.MethodSforTestingandSpeccati0n;TheTestingandTestControlversion 3;Parts1-5IS】.(收稿日期:2007-01-09)2007年第5期。