我国搜索引擎评价研究的现状_问题及对策_马志杰

我国搜索引擎评价研究的现状、问题及对策*

马志杰

【摘要】从评价指标、评价方法、评价对象、评价主体四个方面对我国搜索引擎评价研究进行总结和分析，指出其存在研究团队薄弱；理论基础薄弱，缺乏创新性；实践活动薄弱，缺乏实证研究；绩效评价研究较少；综合评价方法不太成熟等问题。为促进该研究，应坚持定性与定量相结合的发展方向；坚持用户导向开展搜索引擎评价工作；坚持理论与实践相结合，加强实证研究与创新研究；建立权威的搜索引擎评价组织；加强绩效评价。

【关键词】搜索引擎评价指标评价方法

Abstract：This paper summarizes and analyzes the research to the field of search engine evaluation from the aspects of evaluation index，evaluation methods，evaluation objects and evaluation subjects.And then it points out the main problems in the current search engine evaluation study，including weak research team；weak theoretical foundation，lack of innovation；weak practical activities，the lack of empirical research；less study of performance evaluation；less mature comprehensive evaluation method.To promote the research，it should be taken to adhere to the combination of qualitative and quantitative development direction，persist in the user-oriented search engine evaluation，uphold the theory and practice combine to strengthen empirical research and innovation research，establish the authoritative evaluation organization，and strengthen performance evaluation.

Key words：search engine evaluation index evaluation method

随着互联网的迅速发展，搜索引擎已经成为互联网上访问全球信息资源的最重要的检索工具。搜索引擎的出现及其日益显著的重要性促进了关于搜索引擎的评价研究的发展。国内搜索引擎评价研究已经成为搜索引擎研究领域的一个热点问题，取得了一定的成果，然而也存在着一些不足。笔者现从评价的指标、方法、对象、主体4个方面就搜索引擎评价研究发展状况做出全面、系统的总结和分析，并在此基础上，深入探讨当前搜索引擎评价研究中存在的主要问题和发展策略。

1搜索引擎评价研究发展状况

1.1搜索引擎评价指标

1995年开始，国内开始了对搜索引擎进行比较和评价，但是由于搜索引擎自身的功能和规模问题，以及缺少搜索引擎评价技术的支持，对搜索引擎的评价、比较绝大多数仍然以定性描述为主［1］［2］［3］［4］。这种评价方法局限于对单个搜索引擎各因素的描述和某几个搜索引擎之间的比较，却不能从整体上评价各搜索引擎的优劣。

随着搜索引擎评价研究的发展，国内出现了成套的整体性的搜索引擎体系评价研究。1997年，曾民族在综合国内外搜索引擎评价研究成果的基础上首次提出了一个综合性的搜索引擎评价指标体系，其中包括数据库规模和内容（覆盖范围、索引组成、更新周期）、索引方法（自动、人工索引，用户登录）、检索功能（布尔检索（含嵌套）、截词检索、字段检索、大小写有别、概念检索、词语加权、词语限定、特定字段限定、缺省值、中断退出、重复辨别、上下文关键词、查询集操作）、检索结果（相关性排序、显示内容、输出数量选择、显示格式选择）、用户界面（帮助文件、数据库和检索功能说明、查询举例）、查准率和响应时间7个方面的指标。这是国内最早的有关搜索

11 RESEARCH ON LIBRARY SCIENCE

*本文系国家社科基金青年项目“网络信息资源的绩效评估体系研究”（项目编号：09CTQ029）的研究成果之一。DOI:10.15941/https://www.360docs.net/doc/f02339706.html,ki.issn1001-0424.2013.04.007

引擎的整体性体系评价研究［5］。此后，各种综合性指标体系不断出现，无论是深度还是广度都在不断加强。例如，张莉扬在国外研究的基础上，结合搜索引擎的新变化及新特点，提出了一整套对搜索引擎进行性能评价与比较的标准，其中创新性地提出了2个新的搜索引擎定量评价指标：重复率和互链接率。该指标体系包括索引数据库构成（标引深度、更新频率）、检索功能（布尔检索、邻近检索、截词检索、字段检索、加权检索、大小写敏感（英文）、概念检索、自然语言检索、多媒体检索、多语种检索、相关反馈、多内码处理（中文）、检索效果（响应时间、查全率、查准率、重复率、死链接率）、检索结果显示（结果显示格式的种类、每种显示格式的内容、检索结果排序依据）以及用户负担（用户界面、相关文献、信息过滤）5个方面［6］。陶跃华、孙茂松、王锡钢根据系统工程的基本思想，提出了包括索引构成（标引数量、标引范围、标引更新频率）、检索功能（基本检索、高级检索）、检索效果（查准率、检索时间）、检索结果（显示内容、显示结果数限制）、用户交互（用户界面、帮助信息、检索技巧）5部分的因特网搜索引擎评价指标体系［7］。凤元杰、刘正春、王坚毅建立了搜索引擎主要性能评价指标体系，其中创新性地提出了“相对查全率”和“相对查准率”的概念和计算方法。该指标体系包括索引数据库的构成（标引的文件种类、标引深度和更新频率）、检索功能（布尔检索、邻近检索、截词检索、字段检索、加权检索、区分大小写（英文）、模糊检索、概念检索、自然语言检索、多媒体检索、多语种检索、相关信息反馈检索、多内码处理（中文））、检索效果（相对查全率、相对查准率、检索时间）、搜索引擎的“亲和度”（个性化查询界面、检索帮助信息、相关性排列、格式转换、交叉语言检索与翻译、信息过滤、信息挖掘、信息推送、学习功能）［8］。金玉坚、刘焱提出了搜索引擎检索效果评价指标体系，分为索引数据库（标引数量、标引深度、标引范围、更新频率、索引组成）、检索功能（布尔检索、截词检索、邻近词检索、字段检索、区分大小写（英文）、加权检索、模糊检索、相关信息反馈检索、概念检索、自然语言检索、目录式浏览检索、多内码处理（中文）、多语种检索、多媒体检索）、检索结果（相对查全率、相对查准率、响应时间、相关性排序、重复率、死链接率、显示内容、输出数量选择、显示格式选择）和用户负担（个性化查询界面、帮助文件、查询举例、信息过滤、格式转换、交叉语言检索与翻译、信息挖掘、信息推送、学习功能和自然语言接口）4部分，同时还提出了网络时代新型查全率和查准率的算法［9］。王炼从选择搜索引擎（搜索引擎的大小和覆盖范围、更新频率、新颖度和死链率）、使用搜索引擎（检索式的构造和检索功能）、认识搜索结果（响应时间、查全率和查准率、输出结果的显示格式与内容、排序）和用户负担（帮助、后处理功能、信息过滤和辅助功能）等方面建立了搜索引擎评价指标体系［10］。

判断搜索引擎成功的标准是其用户量，搜索引擎技术的优势若不能被广大用户认可，其价值就难以体现。只有站在广大用户的角度，才能真正体现搜索引擎评价的价值所在。例如，蒋伟伟从用户的角度出发，引入了用户满意度的概念并以CCSI（Chinese Custo-mer Satisfaction Index，中国顾客满意度指数）为测评理论模型，依据网络搜索引擎的具体情况基于CCSI 模型进行改良，构建了一套网络搜索引擎评价体系，包括企业形象（品牌形象、企业实力、用户口碑）、预期质量（预期查找全面性、预期查找准确性、预期查找时间、预期服务效果）、感知质量（网页的全面性、检索方式、对网页的描述能力、更新速度、检索结果的相关性、响应时间、人性化服务、稳定性）、感知价值（质量级别评价、时间级别评价）、用户满意度（总体满意度、首选可能性）、用户抱怨（对产品的抱怨、对服务的抱怨）、用户忠诚度（转移检索途径的可能性、继续使用的可能性）7个部分［11］。陈艳、廖文杰从信息技术接受模型出发，探讨如何从用户的信息接受的效果来评价搜索引擎，构建了基于信息技术接受模型的搜索引擎评价体系，包括影响感知的有用性的指标（收录信息的质量、反馈信息的数量和质量、信息组织的有效性）和感知的易用性的指标（界面的人性化、检索的功能、帮助系统的完备性）［12］。宋迪、吕英杰和李一军从用户角度出发，将传统指标体系中的技术相关指标从用户角度进行重新描述，整理出13个用户易于感知和衡量的评价指标，包括感知的全面性、感知的准确性、检索功能、响应时间、帮助信息、感知的死链接率、检索结果输出、感知的网页重复率、界面友好程度、常用信息服务、音乐服务、图片服务、贴吧服务，将用户按其特点进行分类，总结出不同用户对搜索引擎各个指标关注角度的差异，从而为搜索引擎的发展方向提供了指导意义［13］。

随着广大用户服务意识的逐渐提高，仅仅关注用户负担已经不能满足用户使用搜索引擎的需求，还需要注重用户体验。国内学者早期的搜索引擎评价研究只是从系统角度评价，近年来一些学者已经开始关注用户的主观感受。搜索引擎用户体验评价是目前搜索引擎评价指标体系发展的一个新特点。宛玲、杨秀丹、杜晓静认为对搜索引擎的检索功能的评价主要应从收

21图书馆学研究2013.4

录范围（收录信息范围的广度、收录信息的全面性以及收录范围划分的明确性）、查询结果反馈的信息量及内容的准确性（是否提供关于整个查询结果的说明、每一条款目的内容揭示是否详略适当以及质量可靠、每条款目包含的特征信息是否全面、是否提供对全文的超文本链接、是否对相关网站进行了评价以及评价是否恰当）、反馈的查询结果错误率（重复率和死链接率）、报道与内容更新速度、检索功能（多种检索路径、检索途径应具有很高的检索功效，基本检索、高级检索、其他功能检索、检索的语法规则要易学和易用）、检索效率（查全率和查准率）、反馈信息的检索性能、响应时间（进入搜索引擎的等待时间、等待查询结果的时间）、检索界面的友好性（编辑使用说明与在线帮助、搜索引擎各项功能和信息的组织）、精品推荐、与其他搜索引擎的友情链接、系统性能（稳定性、可靠性、安全性）、点击率、附加功能等多方面进行［14］。这套指标除包含数据库规模、检索性能、检索效果、用户界面等类型指标之外，还强调了精品推荐、与其他搜索引擎的友情链接、系统性能等与用户使用相关的方面，这是国内搜索引擎评价指标研究的一个提高，在领悟国外强调“人性化”的基础上，将用户使用体验列为搜索引擎评价的重要内容［15］。

综上所述，目前我国搜索引擎评价指标体系基本上趋于稳定，只是小范围存在变化，检索性能、检索结果、检索效果和用户负担是其核心内容。我国搜索引擎评价指标体系的发展，建立在综合国外研究成果的基础之上，并结合了我国搜索引擎的发展现状，是综合并呈现一定体系的发展过程，是一个指标内容逐渐丰富、指标性质逐渐商业化的过程。一方面，沿用了国外评价指标发展重视技术和用户的特征，体系建设具有全面、丰富的特点，形成了全面建设加专攻一面的发展格局；另一方面，显示了搜索引擎商业化发展对相关研究的影响［16］。

1.2搜索引擎评价方法

方法问题是搜索引擎评价的关键问题之一。无科学的搜索引擎评价方法就无法构建科学合理的搜索引擎评价指标体系。在搜索引擎评价当中，涉及众多的评价方法。国内研究人员曾经对搜索引擎评价研究方法进行了总结。陈海龙归纳出搜索引擎评价的研究方法有比较分析法和测试实验法［17］。费巍归纳出搜索引擎评价研究方法主要有实验法、调查法、观察法、数据分析法、综述和评论等［18］。

目前国内搜索引擎评价研究方法又可以分为定性评价方法、定量评价方法以及定性与定量相结合的综合评价法。

国内很多研究者致力于搜索引擎定性评价方法的研究。搜索引擎定性评价法是指根据一定的评价标准从主观角度对搜索引擎进行评价。这种评价方法，一般依据评价目的和服务对象的需求，按照一定的原则和要求，确定相应的评价标准或指标体系，确立赋值标准，然后通过用户或者评价者进行评定或者打分，给出各个搜索引擎的评价结果。该方法较早、较多、较成熟，是一种重要方法。但是使用该方法所构建的指标体系往往主观性较强，操作性较差，评价结果易受到评价者衡量标准、网络环境等客观条件的制约，使得评价结果通常与实际不相符，甚至背离。储荷婷从类型、功能和检索结果等方面对国际互联网络现有的检索工具进行了比较、分析和评价［19］。毛振鹏、胡滨、代海岩针对那些难以从技术角度进行量化的方面，应用定性评价的方法，设置总体评价体系进行搜索引擎总体评价［20］。

定量评价方法提供了一个系统、客观、规范、科学的数学分析方法，具有方便、快速、客观、公正、评价范围广等优点，结果更加直观、具体。它在一定程度上可以克服定性评价自身所具有的不可克服的主观性和价值偏向性，能够改善定性评价结果可操作性较差的局面，但评价标准过于简单，并且统计数据可能会受到评价过程中太多不确定因素的影响，使搜索引擎评价研究的发展陷入瓶颈。李玉军、鲍永瀚通过应用Cranfield体系构建查询样例集合、查询信息需求分类、抓取搜索引擎结果、规定标注准则、计算性能评价指标的基本流程，对目前常用的中文搜索引擎百度、谷歌、搜狗、搜搜和人民搜索的性能从定量的角度进行评价［21］。刘正春、蒋福坤利用模糊多属性决策方法对搜索引擎的综合评价问题进行研究，构建了搜索引擎定量评价模型［22］。周凯、李芳、盛焕烨建立了基于向量空间模型的中文搜索引擎评测系统［23］。何晓艳、朱俊东在集对分析理论的基础上，提出了基于联系数学的搜索引擎性能综合评价模型，为定量地评价搜索引擎提供了将集对分析理论运用到搜索引擎质量评价的方法［24］。

搜索引擎评价工作是一项综合复杂的研究活动，仅用定性评价方法或者定量评价方法，难以做出客观、全面、合理、准确的结论。定性评价方法和定量评价方法各有优缺点，但是二者具有互补性。定性评价方法的全面性和成熟性可以弥补定量评价方法的不确定性；定量评价方法的客观性和科学性可以弥补定性评价方法主观性方面的不足。于是，定性评价与定量评价相结合的综合评价方法应运而生。董文鸳、姚晓锋从搜索范围、界面设计、检索功能和用户支持度等6

31 RESEARCH ON LIBRARY SCIENCE

个角度提出图像搜索引擎性能评价体系，运用模糊层次分析法，对Google、Ditto和百度的性能进行评价［25］。朱庆华、杜佳采用网上特尔菲法进行专家调查以确定搜索引擎评价的各项指标，并利用基于指数标度的层次分析法确定各项指标的权重，从而构建搜索引擎评价指标体系。以构建的搜索引擎评价指标体系作为评价工具，同样运用基于指数标度的层次分析法作为评价方法，选择若干中文搜索引擎作为评价对象，进行实证分析［26］。吴婷、肖健华借助层次分析法来确定各指标权重，综合考虑技术与用户双层面的因素，提出了搜索引擎评价方法［27］。黄凯宁运用层次分析法对搜索引擎评价体系建模并计算出各指标的综合权重，又借助模糊理论构造指标集到评语集的模糊关系，在统计实验和专家组评分的基础上得出评价结果，实现对搜索引擎从定性到定量的综合评价［28］。

搜索引擎评价在向定量和综合评价方法发展的同时，越来越多的分析方法被引入搜索引擎评价领域。依据其他学科领域的科学理论和研究方法，利用相关的技术或者结构模型，针对搜索引擎自身特点，提出和改进搜索引擎评价方法，则是搜索引擎评价研究的另一个重要的研究内容和特点。目前国内这些评价方法主要包括：多指标综合评价方法、层次分析法、因子分析法、基于结果集相关度的评价法、多层次灰色评价法、系统聚类法、模糊综合评判法以及各种方法相结合的方法等。刘正春、王坚毅利用多目标决策理论中的TOPSIS（Technique for Order Performance by Similarity to Ideal Solution）方法，建立起搜索引擎综合评价数学模型，构建了搜索引擎的多目标评价体系［29］。张浩、张博特、陈姜利用层次分析法计算各层指标的权重，并用相对查准率等方法对最底层评价指标进行评分，最后综合权重和最底层评价指标的得分，定量评价Google、YAHOO、Baidu和SOHU4个综合性搜索引擎［30］。王春芳在综合学者对搜索引擎评价研究成果的基础上，总结出相对全面系统的搜索引擎性能评价指标体系，从整体上利用层次分析的方法进行定量评价，以期得到理想结果［31］。宋迪、吕英杰、李一军通过对调查结果进行因子分析，将13个评价指标归纳为易用性、多样化服务和检索效率3个因子［32］。雷万保、梁平、薛贺提出了一种基于结果集相关度的评价模型［33］。汪新凡建立了一种基于灰色系统理论的搜索引擎性能多层次灰色评价模型［34］。吴世勇、王明文基于聚类分析的思路，提出了搜索引擎性能评价指标和自动进行搜索引擎性能评价的方法［35］。刘正春、蒋福坤构建了搜索引擎性能模糊综合评判模型，在给出搜索引擎性能综合评判指标体系的基础上，运用模糊综合评判方法对搜索引擎的性能进行综合评价［36］。张国海、马晓英、闫立光创造性地将熵权理论引入搜索引擎评价领域，构建起基于熵权的模糊综合评价模型［37］。王爱华、黄亚明、王孝宁、何钦成等基于层次分析法和系统聚类法对英文生物医学搜索引擎性能开展了评价［38］。周文洁根据未确知集合理论建立了一种对搜索引擎性能进行综合评价的数学模型，综合应用AHP法（Analytic Hierarchy Process，即层次分析法）和熵值法给出了搜索引擎性能评价指标的分类权重［39］。方曦、左国超根据系统工程的基本思想，建立了可定量分析搜索引擎的综合性能的评价指标体系，并根据属性测度理论构造了基于属性测度的搜索引擎评价系统［40］。江文奇、章勇提出了基于AHP与TOPSIS算法的中文搜索引擎综合评价方法［41］。这些评价方法比较重视理论研究，但是其适用性和实际操作性不强，今后还需要进一步加强应用性研究。

1.3搜索引擎评价的对象

搜索引擎按照不同的分类方式分为多种类型，国内外研究者针对不同类型的搜索引擎开展了相应的评价。因此，搜索引擎评价的对象即各种类型的搜索引擎，主要包括元搜索引擎、图像搜索引擎、专业搜索引擎、英文搜索引擎、中文搜索引擎、通用搜索引擎等，其中专业搜索引擎数量较大，种类繁多。李村合、孟文杰提出了一种基于检索术语分类的元搜索引擎评价方法［42］。董文鸳、吴娟仙从搜索范围、界面设计、检索功能、检索效果、检索结果以及用户支持度等方面构建了图像搜索引擎综合评价指标体系［43］。李枫林、刘雅琦提出从可用性、集成性、功能性来设计电子商务网站搜索引擎的评价指标体系，从准确度、结果分类与过滤、商品综合特征检索以及搜索帮助4个方面进行客观评价和调查研究［44］。罗龙艳、窦厚玺［45］运用层次分析法建立以流量速度指标、检索范围、功能指标、服务功能指标为一级指标，下设15个二级指标的旅游搜索引擎评价指标体系。杨立力、周源综合分析各种评价指标体系，选定反映搜索引擎检索性能的4项指标：检索功能、检索效果、用户负担、检索结果显示，从定性和定量方面对AhaVista、Google、Gigablast、Exalead4个英文搜索引擎的检索性能进行了评价分析［46］。胡焱彬从检索性能、收录信息范围、主题词查询性能等方面对中文搜索引擎进行了评价［47］。于彩云以数据库规模和内容、索引方法、检索功能、检索结果、用户界面和检索效率6个评价指标为基础，对Yahoo的性能进行了多方面的评价［48］。1.4搜索引擎评价的主体

搜索引擎评价的主体包括评价者个体和机构两大

41图书馆学研究2013.4

类。研究者个体是来自于不同领域、不同行业的专家学者和相关人员，而评价机构有学术性机构、服务性机构、经营性机构等。目前，很多研究者和机构都认识到搜索引擎评价的重要性，他们都对搜索引擎评价进行了研究。许多研究者个体，是重要的搜索引擎评价主体。除了研究者个体的科学研究之外，众多机构也进行了大量的搜索引擎评价研究工作。国内较有影响的搜索引擎测评机构和组织有北京大学网络与分布式系统实验室、清华大学IT可用性实验室、中国互联网实验室、《电脑报》IT应用编辑室等。近年来，它们开展了一系列搜索引擎评价研究。2003年，北京大学网络与分布式系统实验室采用“采样———权值计算———验证”的覆盖率评测模型［49］来评测北大“燕穹”系统的信息覆盖率。2005年，北京大学网络与分布式系统实验室利用天网搜索引擎查询日志，用人工判别相关性的方法对3个搜索引擎进行了检索质量的评估［50］。2004年，清华大学IT可用性实验室通过结果的相关性、网页覆盖率、死链接率、及时性、专业细分、分类功能来评估搜索引擎Google、Yahoo China、Baidu、Zhongsou的性能［51］。2005年，清华大学IT 可用性实验室再次对Google、Yisou、Baidu、Zhong-sou、iAsk和Sogou6个搜索引擎开展可用性评估［52］。2004年，中国互联网实验室根据搜索过程、搜索结果、搜索界面来评价搜索引擎的质量。2005年，《电脑报》IT应用编辑室对17款网络搜索引擎进行了测评。

2搜索引擎评价研究中存在的问题

目前，国内的搜索引擎评价研究既有对国内外研究成果的总结，也有对新方法的研究；既有理论性研究，也有应用研究，搜索引擎评价研究得到充分的重视。搜索引擎评价研究队伍不断壮大，研究内容不断拓宽，但是也存在一些不容忽视的问题。

2.1研究团队薄弱

就整体而言，国内当前的搜索引擎评价研究基本上处于各自为战、分散无序的局面和状态，尚未形成有组织有规模有权威的关于搜索引擎评价的研究团体，尚未形成搜索引擎评价研究的集成优势与合作研究的氛围。搜索引擎评价是一项综合复杂的工作，应该吸收不同学科、不同社会背景的人员和机构的广泛参与。

2.2理论基础薄弱，方法传统，缺乏创新性

目前国内尽管有大量的搜索引擎比较研究论文，但由于缺乏统一的标准和权威的评价指标体系，还要从理论上进行深入探讨，并开展更具规模和系统性的分析和评价工作，以形成权威的评价观点和搜索引擎质量评价指标体系［53］。

从理论研究看，现行的评价指标体系不完整，未能涵盖所有的搜索引擎类型，不能全面地反映搜索引擎的内外特征，人们无法利用其中的任何一个指标体系对搜索引擎进行全面、系统的评价。其中，大部分指标体系只能算作是评价搜索引擎时所要考虑的参考因素。

国内搜索引擎评价研究中，绝大多数研究都停留在单纯对搜索引擎性能进行评价上；或干脆对国外研究成果进行归纳总结，因袭性和借鉴性较强，缺乏创新性，未能系统地连续地开展评价理论及方法的研究分析，缺少系统科学的理论做支撑，有所创新的评价研究和评价指标比较匮乏。

2.3实践活动薄弱，可操作性不强，缺乏实证研究

在我国，搜索引擎评价的实践活动相对理论研究显得更为薄弱。国外已建立了网络搜索引擎评价工具，可通过相关指标对搜索引擎质量进行在线评价［54］，而国内尚未建立搜索引擎评价的量化工具软件和相应的评价指标体系与信息管理系统，也没有切合实际的评价项目对所建立的评价指标体系进行检验和完善。

国内搜索引擎评价的方法较为单一，大多停留在理论研究的层面，多为描述性评价，真正应用于实践的有效方法十分匮乏，缺乏有力的数据支撑和科学的分析论证。搜索引擎评价是一项实践性很强的工作，将评价指标应用于实践是重中之重，而国内搜索引擎评价指标多是综合或借鉴国外的研究成果，未广泛吸取专家的意见，多是建立在个人经验或设想的基础上，缺乏严谨清晰的内部逻辑与体系结构，有些指标含义表达不规范、语义和概念含糊不清，其可获取性和可操作性不强，其指标权重的获得具有强烈的主观色彩，且多未经过实践检验，与实际严重脱钩，缺乏大量的实证研究。

2.4搜索引擎绩效评价研究较少

搜索引擎的信息服务具体表现为是以索引数据库与搜索技术为有效保障与支持，以网络技术为依托，以数字信息资源为基础，以信息用户为中心，以满足信息用户需求为目的的社会化的劳务活动。因此，搜索引擎绩效是以索引数据库与搜索技术的有效保障与支持为基础，以节约信息资源获取成本、用户时间与精力为宗旨，最大化地满足用户对信息资源的需求。简言之，搜索引擎绩效即搜索引擎在信息服务中所取得的成绩和效果。

从目前搜索引擎的评价指标体系来看，搜索引擎的评价研究较多地集中在性能、结果和用户负担等方面，而从服务角度出发探讨搜索引擎绩效的研究较少。

2.5综合评价方法不太成熟，缺乏实践检验

定性评价与定量评价相辅相成，搜索引擎评价采

51 RESEARCH ON LIBRARY SCIENCE

用定性与定量相结合的综合评价方法势在必行。但是从目前搜索引擎定性与定量相结合的综合评价研究的发展来看，这种研究方法出现的时间较晚，处于起步阶段，有许多局限性，例如其适用性和实际操作性有待加强，需进一步加强应用性研究。

3搜索引擎评价研究的主要发展策略

3.1坚持定性与定量相结合的发展方向

目前定性方法较为成熟，但带有较强的主观性；定量方法较为客观，但不够成熟。从已有的研究所采用的研究方法来看，定量研究与定性研究相辅相成，把定量研究和定性研究结合起来，以定性研究方法和模型作为定量研究的基础和指南，以定量研究的方法提高定性研究的科学性和可信度，是今后研究的发展方向。

3.2坚持用户导向开展搜索引擎评价工作

从用户的角度看，搜索引擎的最终目的是为了满足用户的信息需求。因此，搜索引擎评价研究要以满足用户实际的信息需求为原则，坚持用户导向开展搜索引擎评价工作。在研究中，无论是实验数据的收集或是观察对象的选取，研究人员都要非常重视用户对评价研究的直接参与。这样将使研究中的数据和信息更为直接、客观、准确和真实，可减少主观因素对研究的干扰，使得研究结果更具实际意义和参考价值。3.3坚持理论与实践相结合，加强实证研究与创新研

究

理论是实践的先导，加强基础理论研究是搜索引擎评价研究的根本。拓宽视野，强化创新意识，开展创新研究，进一步丰富和完善搜索引擎评价理论、方法、手段，是搜索引擎评价研究的重点内容。但是，实践是检验理论正确与否的惟一标准，理论研究要深入发展，就必须根植于实践。搜索引擎评价研究具有很强的实践性，必须注重实践研究。密切关注应用领域的发展变化、前沿与存在的难点，将搜索引擎评价理论、方法和手段的创新与搜索引擎的发展及其评价的实践切实有效地结合起来，发挥其应有作用，也是搜索引擎评价研究的重点内容。

搜索引擎评价实证研究是非常有效的一种研究方法，可以为搜索引擎评价提供科学合理的研究证据与方法。搜索引擎评价实证研究得出的理论研究成果不仅具有较高的可信度，还具有重要的现实指导意义。国内的搜索引擎评价研究，需要针对搜索引擎评价研究的各个环节和有待解决的各种关键问题以及现实迫切需要解决的各种问题，选取新的、正确的切入点，占有大量原始材料，借助观察、实验、调查等多种方法，加强实证研究。3.4培育权威的搜索引擎评价机构或组建不同评价机

构联合体

搜索引擎评价是一项非常复杂的系统工程，应该秉承“多方参与，联合协作”的原则，加强不同学科领域的专家学者和不同行业相关人员的研究合作，广泛吸收众多机构参与到评价工作中，加强沟通协作，组织跨学科、跨领域的研究。通过培育搜索引擎评价的权威机构或组建不同评价机构联合体，制定相对统一、共同认可的搜索引擎评价标准与评价程序，按照分工协作的方式，充分发挥各方面的优势，高效率开展搜索引擎评价研究。

3.5加强搜索引擎绩效评价

搜索引擎绩效评价是搜索引擎评价的一个分支，作为一种管理方法，正在影响和促进着搜索引擎的研究、发展与应用。搜索引擎绩效评价应该围绕搜索引擎的“绩”和“效”展开，侧重利用搜索引擎获取信息资源的效率、效能及用户感知。

注释

［1］储荷婷，张晓林，王芳.Internet网络信息检索———原理、工具和技巧［M］.北京:清华大学出版社，1999:294

［2］李广健，张蕾.网上搜索引擎的几个理论问题［J］.情报科学，1999(4):365－368

［3］［29］刘正春，王坚毅.搜索引擎的多目标评价体系［J］.嘉兴学院学报，2002(6):65－67

［4］［14］宛玲，杨秀丹，杜晓静.试析中文搜索引擎的评价标准［J］.情报科学，2000(1):28－32

［5］曾民族.网络信息检索现状和性能评价［J］.情报学报，1997

(2):90－99

［6］张莉扬.网络检索工具性能评价标准浅议［J］.情报科学，2001(10):1116－1118

［7］陶跃华，孙茂松，王锡钢.因特网搜索引擎评价系统［J］.计算机工程与科学，2001(3):27－29，33

［8］凤元杰，刘正春，王坚毅.搜索引擎主要性能评价指标体系研究［J］.情报学报，2004(1):63－68

［9］金玉坚，刘焱.新型网络信息检索效果评价指标体系设计［J］.

现代情报，2005(4):184－186

［10］王炼.从用户角度评价网络搜索引擎［J］.情报科学，2005

(3):457－463

［11］蒋伟伟.基于CCSI模型的搜索引擎评价研究［J］.情报科学，2007(11):1659－1663

［12］陈艳，廖文杰.基于信息技术接受模型的搜索引擎评价体系探讨［J］.江西图书馆学刊，2008(1):115－117

［13］［32］宋迪，吕英杰，李一军.基于用户偏好的搜索引擎指标分析与评价［J］.图书情报工作，2007(1):122－125

［15］［16］王静疆.搜索引擎评价指标体系比较研究［J］.图书情报工作，2008(10):136－138，116

［17］陈海龙.搜索引擎的评价标准及其方法研究［J］.情报杂志，2001(9):50－51

61图书馆学研究2013.4

［18］费巍.搜索引擎评价研究方法综述［J］.现代情报，2010

(12):163－167

［19］储荷婷.国际互联网检索工具:特点、比较和发展方向［J］.

大学图书馆学报，1997(3):6－11，14

［20］毛振鹏，胡滨，代海岩.搜索引擎质量评价体系研究［J］.晋图学刊，2005(5):23－25，39

［21］李玉军，鲍永瀚.基于Cranfield体系对中文搜索引擎性能的比较研究［J］.计算机光盘软件与应用，2011(5):100－101［22］刘正春，蒋福坤.搜索引擎定量评价模型研究［J］.大学数学，2004(4):14－18

［23］周凯，李芳，盛焕烨.基于向量空间模型的中文搜索引擎评测系统研究与实现［J］.计算机应用研究，2007(12):16－19［24］何晓艳，朱俊东.基于集对分析的搜索引擎质量评价［J］.电脑知识与技术，2009(36):10599－10601

［25］董文鸳，姚晓锋.基于FAHP的图像搜索引擎性能评价［J］.

图书情报工作，2007(2):83－86

［26］朱庆华，杜佳.搜索引擎评价指标体系的建立与应用［J］.情报学报，2007(5):684－690

［27］吴婷，肖健华.基于AHP的搜索引擎评价方法研究［J］.现代情报，2008(8):148－150

［28］黄凯宁.基于层次分析的搜索引擎性能综合评价［J］.现代计算机(专业版)，2008(11):89－92

［30］张浩，张博特，陈姜.用层次分析法定量评价综合性搜索引擎［J］.中华医学图书情报杂志，2007(6):65－69

［31］王春芳.基于层次分析法的三大常用搜索引擎性能测评［J］.

科技情报开发与经济，2007(23):191－193

［33］雷万保，梁平，薛贺.基于结果集相关度的搜索引擎评价模型［J］.情报杂志，2007(2):126－128

［34］汪新凡.搜索引擎性能的多层次灰色评价模型［J］.情报科学，2006(1):1845－1848

［35］吴世勇，王明文.基于聚类分析的搜索引擎自动性能评价［J］.中文信息学报，2010(5):62－69

［36］刘正春，蒋福坤.搜索引擎性能的模糊综合评判［J］.数学的实践与认识，2004(7):24－28

［37］张国海，马晓英，闫立光.基于熵权的搜索引擎评价指标体系的构建［J］.图书情报工作，2010(12):76－79

［38］王爱华，黄亚明，王孝宁等.Internet上英文生物医学搜索引擎性能评价———(二)基于层次分析法和系统聚类法的英文生物医学搜索引擎性能评价［J］.医学情报工作，2004(3):175

－178

［39］周文洁.基于未确知集合理论的搜索引擎性能评价模型［J］.

湖南工业大学学报，2008(4):22－25

［40］左国超.基于属性测度的Internet搜索引擎评价系统研究［J］.情报学报，2007(2):235－239

［41］方曦，江文奇，章勇.基于AHP与TOPSIS算法的中文搜索//第六届软科学国际研讨会.第六届软科学国际研讨会论文集，北京，2010:305－309，314

［42］李村合，孟文杰.基于分类评价的元搜索引擎调度策略［J］.

计算机工程与设计，2008(5):1065－1066，1119

［43］董文鸳，吴娟仙.图像搜索引擎综合评价指标体系的构建［J］.嘉兴学院学报，2008(4):121－125

［44］李枫林，刘雅琦.电子商务网站中搜索引擎的评价研究［J］.

情报杂志，2009(6):77－79，68

［45］罗龙艳，窦厚玺.基于AHP的旅游搜索引擎评价分析［J］.科技管理研究，2011(9):71－75

［46］杨立力，周源.几种英文搜索引擎检索性能评价分析［J］.南京工业职业技术学院学报，2006(4):27－29

［47］胡焱彬.基于Internet环境的中文搜索引擎的评价［J］.台声·新视角，2005(11):223－224

［48］于彩云.搜索引擎Yahoo的性能评价及评价指标的选择［J］.

现代情报，2007(2):185－187

［49］孟涛，闫宏飞，李晓明.一种评价搜索引擎信息覆盖率的模型及其验证［J］.电子学报，2005(8):1168－1172

［50］彭波，闫宏飞.搜索引擎检索系统质量评估［J］.计算机研究与发展，2005(10):1706－1711

［51］清华大学IT可用性实验室搜索引擎评估报告［EB/OL］.

［2012－07－28］.https://www.360docs.net/doc/f02339706.html,/art/951/200407 02/127264_1.html

［52］清华大学IT可用性实验室.中文搜索引擎质量对比［EB/OL］.

［2012－07－28］.https://www.360docs.net/doc/f02339706.html,/05/0544/f/054 4f20_2.asp

［53］郑琳.搜索引擎的质量评价研究［J］.情报杂志，2003(9): 15－17

［54］徐群岭.搜索引擎的定性、定量评价研究与合理选择［J］.情报杂志，2003(3):32－33

马志杰郑州大学图书馆。

71 RESEARCH ON LIBRARY SCIENCE