IT产品的可用性测试与评估

&引言

’(及家电产品制造业对产品可用性（)*+,-.-/0）的重视，使得可用性工程（)*+,-.-/0123-2114-23）在近年来得到了日益广泛的工业应用。可用性工程的目的是提高产品的可用性质量，为此必须解决可用性的衡量和评估问题，否则可用性质量的优劣以及改进就无从谈起。所谓衡量是指要建立定性或定量的可用性指标体系或度量标准。评估（15+.)+/-62）则是指发现产品的可用性问题，对其可用性质量状况进行评判的过程。可用性评估通常可以分为两类，一类是用户评估（)*147,+*1815+.)+/-62），有时也称用户测试或可用性测试；另一类是专家评估（19:14/7 ,+*1815+.)+/-62）。

这些年来，在可用性工程领域对可用性的衡量和评估问题开展了深入的研究，建立了可用性的衡量标准，开发了许多种不同的可用性评估方法，并在工业实践中广泛运用在产品开发的各个阶段;&<。该文的第一部分给出可用性质量的指标体系，第二、第三部分重点介绍可用性的用户评估和专家评估方法，最后是可用性用户评估的一个实例。!可用性质量指标体系

评估和改进产品的可用性质量，需要有一种客观、统一和定量的衡量标准作为参照系。然而，怎样建立这样一种标准，一直是个难题。经过可用性工程界多年的不懈努力，对可用性衡量标准的看法逐渐趋于一致，即可用性是特定产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（1==1>/-51? 21**）、效率（1==->-12>0）和用户主观满意度（*+/-*=+>/-62）。这里的有效性、效率和满意度这三个指标往往是通过用户评估或测试来获得的。这一定义已被纳入’@A%!B&7&&国际标准，美国的C’D可用性测试报告标准也采用了这一定义。

!$&有效性指标

有效性指用户完成特定任务和达到特定目标时所具有的正确和完整程度。一般是根据任务完成率、出错频度、求助频度这三个主要指标来衡量的;!<。

!$&$&完成率（C6E:.1/-62F+/1）

根据任务性质的不同，完成率指标的含义可以有以下两种：（&）当任务不可分，即只有完成和未完成任务两种状态时，完成率为完成任务的用户所占的百分比。

!"产品的可用性测试与评估

张丽萍&刘正捷&张海昕&肖春达!李矞前!

&（大连海事大学欧盟可用性中国中心，大连&&G"!G）

!（大连市财政局信息中心，大连&&G""&）

（南京大学软件新技术国家重点实验室）

H7E+-.：)*+,-.-/0$8.E)$18)$>2

摘要可用性测试与评估是可用性工程的重要组成部分。该文首先提出可用性质量的指标体系，它为衡量和改进产品的可用性质量提供了参照系和必要的基础，然后重点介绍几个用户评估与专家评估方法，最后给出一个可用性用户评估的实例。

关键词可用性评估测试有效性效率满意度专家评估用户评估指标体系

文章编号&""!7I##&7（!""#）"%7""J#7"#文献标识码K中图分类号(L#&

#$%&’(’)*+,%(-%)’./0.1!"21.3-4)$

56%/78’9’/7:8’-56;/7<’;:56%/7=%’>’/:?’%.@6-/3%A8’B-C’%/A

&（CM-21*1@)::64/C12/14=64N*+,-.-/0O1/，@>M66.6=C6E:)/14@>-$P(1>M$，

Q+.-+2R+4-/-E1N2-514*-/0，Q+.-+2&&G"!G）

!（’2=64E+/-62C12/14，R)2->-:+.D-2+2>-+.S)41+..6=Q+.-+2，Q+.-+2&&G""&）D&$)1%4)：N*+,-.-/015+.)+/-62-*6216=/M1E6*/-E:64/+2/:+4/6=)*+,-.-/0123-2114-23/6-E:4651)*+,-.-/0+*T)+.-/0 -2)*1=64:468)>/*$(M-*:+:1481*>4-,1*/M1E1/4->*+86:/18-2/M141.+/18*/+28+48*+28>)4412/:4+>/->1=64E1+*)4-23 )*+,-.-/0$U+4-6)*E1/M68*=64,6/M)*147,+*1815+.)+/-62+2819:14/7,+*1815+.)+/-62+41/M12M-3M.-3M/18-2/M1:+:14$ D-2+..0+219+E:.16=>6E:+4+/-51)*+,-.-/015+.)+/-62>628)>/18,0K’F=64R->46*6=/-*:41*12/18,4-1=.0$

E;*F.13$：H5+.)+/-62，(1*/-23，N*+,-.-/0，H==1>/-5121**，H==->-12>0，@+/-*=+>/-62，H9:14/7,+*1815+.)+/-62，N*147,+*1815+.)7 +/-62，R1/4->*

基金项目：欧盟第五框架研究开发计划项目暨中欧科技合作计划项目（编号：’@(7&%%%7!%"GJ）

作者简介：张丽萍，副教授，研究方向为可用性工程和多媒体网络应用。刘正捷，教授，欧盟可用性中国中心主任，国际信息处理联合会人机交互技术委员会（’D’L(C$&#）中国代表。研究方向为人机交互、可用性工程和软件过程改进。张海昕，讲师，研究方向为可用性工程和信息直观化。肖春达，工程师，研究方向为可用性工程，管理信息系统和会计电算化。李矞前，工程师，研究方向为可用性工程，管理信息系统和会计电算化。

（!）如果任务可分，即存在部分完成任务的情况时，用户有效完成的工作占该任务的比例称为目标实现率（&’()(*+,-.-/ 0-12）。例如，某任务是让用户使用绘图软件画出3个不同的几何图形，那么该任务的目标实现率就应取决于用户所画出图形的数量，如果画出了4个，则目标实现率应为5"6。如果考虑到各图形复杂程度的差异，还可以给各图形赋予不同的权重。因此在任务可分时，任务完成率应为用户的目标实现率。

!$7$!出错频度（-88’89）

出错频度是通过用户执行某个任务过程中发生错误的次数来衡量的。

!$7$#求助频度（(99,929）

这是指用户在完成任务过程中遇到问题而无法进行下去时，求助于他人或查阅联机帮助或用户手册的次数。在提供任务完成率指标时，应区分有帮助和无帮助情况下的完成率。

!$!效率指标

效率指的是产品的有效性（完成任务的正确完整程度）与完成任务所耗费资源的比率。这里的资源通常指时间，这时的效率为单位时间的工作量。在相同使用环境下，用户使用效率是评定同类产品或同一产品的不同版本孰优孰劣的依据之一。效率的计算公式为：

效率:任务有效性;任务时间

这里的任务有效性一般是用户的任务完成率，任务时间为用户完成任务的时间。效率刻画了用户使用产品时单位时间内的成功率。一个高效的产品应当可以让用户在较短时间内以较高的成功率完成任务。同样，对效率也应区分有帮助和无帮助两种情况。

!$#满意度指标

满意度刻画了用户使用产品时的主观感受，它会在很大程度上影响用户使用产品的动机和绩效。满意度指标通常使用问卷调查手段来获得。目前有多种广泛使用的标准问卷，如<=>?、@A>>?、A?问卷调查的综合满意度指标为"EF"，平均值为3"。

#用户评估

用户评估也称用户测试（G9-82-92）或可用性测试（G9(H,),2I 2-92）。一般是通过营造类似于真实使用环境的测试环境，让真实的用户执行真实的任务（根据具体的测试方法决定是否让用户独立完成任务），在这一过程中由可用性人员进行观察、记录，也许还要与用户进行交流和引导来获得有用的数据，然后对数据进行分析，从中得到用户对产品设计的反馈意见和评估产品可用性质量的指标数据J#K。根据评估目的和方式的不同，用户评估可以分为反馈搜集型和绩效度量型两种类型J4K，它们在有的地方也被称为阶段型（L’80(2,.-）和总结型（9G00(2,.-）。#$7反馈搜集型用户评估

反馈搜集型用户评估多在设计、开发过程中进行，在开发的早期阶段应用较多。这类方法是非正式的，得到的多为定性的结果。其目的在于根据用户的反馈发现产品的可用性缺陷，了解用户需求及遇到的问题，及时改进产品设计。这种方法对原型或成品来说，是一种快速、经济地获得设计反馈的有效方法。

这类方法中有的方法是让用户在真实的使用环境中独立完成测试任务，观察者不对用户进行任何干预和帮助，只是观察和记录用户执行任务时的有关数据和遇到的问题，通过分析发现产品设计中的可用性问题。

有的方法则强调用户执行测试任务过程中观察者与用户的交流和协作。观察者可以就用户的目的和期望进行提问和引导，让用户对操作做出解释，并谈出感想。观察者应特别记录那些事先未预料到的操作行为及意见。

#$7$7基于用户观察的反馈搜集（G9-8EH(9-M’H9-8.(2,’1L’8 M-9,&1L--MH(*N）

这种方法是让用户在自然的环境中自行使用原型或成品来完成给定的任务，可用性人员对这一过程进行记录，然后通过分析从中发现可用性问题，改进产品设计。它的侧重点是发现设计中的可用性问题，因此参与的用户不必太多，#E3名即可。这一方法比较简便、快捷，常用于早期原型设计。

由于测试用户是真正的使用者，熟悉真实的任务，因此在测试过程中根据他们的经验可以发现原型或界面设计中的问题。缺点是根据部分测试用户得出的测试结果难免以偏盖全。另外，由于该方法没有提供定量数据指标，因此难以进行产品间的比较。

#$7$!协同评估（*’E’O-8(2,.--.()G(2,’1）

该方法用于发现产品原型的可用性问题，强调设计人员和用户的协作，鼓励用户通过与可用性人员交流或以自言自语的方式对自己的操作做出解释。可用性人员对事先未预想到的用户行为及用户的评论进行记录，同时就用户的意图和期望主动提问。该方法能够反映出用户在使用中会遇到的各种难点及界面设计问题，多用于产品生命周期的早期设计阶段。

其优点是可以在早期发现设计上的可用性问题；既能了解用户在操作中的问题，还能知道用户对问题的看法；测试用户不必培训就可以运用这个方法进入测试角色。

缺点是可用性分析员需花费很多时间去分析录制的测试资料；由于有设计者的介入，不适用于需要用户进行独立测试的情况。

#$7$#支持性评估（9GOO’82,.--.()G(2,’1）

这一方法用来得到用户需求以及改进设计所需的信息，主要针对交互系统。用户使用原型或成品来执行给定的任务，由可用性人员将该过程中值得进一步探讨的问题记录下来，然后可用性和开发人员与用户一起对这些问题展开讨论，找出原因，提出改进的办法。这种方法可能要重复多次，以达到满意的改进效果。支持性评估既可用于原型设计和在改进原有产品时获得用户需求，也适用于在产品交付前对用户手册等支持性文档的检验。其突出优点是可信度较高。

#$!绩效度量型用户评估

绩效度量型用户评估是在产品开发完成后进行的一种正式的测试，目的是衡量产品的可用性质量，判断产品是否满足用户需求。这种评估通常在专门的可用性实验室中进行，按照可用性质量的指标体系，对有效性、效率及用户满意度进行严格和定量的评价J4K。常用的绩效度量型用户评估方法有以下几种：

#$!$7基于用户观察的绩效度量（G9-8EH(9-M’H9-8.(2,’1L’8 0-28,*9）

这种方法适用于成品或高逼真度的原型，要求测试环境尽可能接近产品的使用环境，即真实的用户、真实的任务和真实的物理、社会环境，任务的设计要覆盖产品的主要功能，事先要