我国搜索引擎评价研究的现状_问题及对策_马志杰

我国搜索引擎评价研究的现状、问题及对策*马志杰

【摘要】从评价指标、评价方法、评价对象、评价主体四个方面对我国搜索引擎评价研究进行总结和分析，指出其存在研究团队薄弱；理论基础薄弱，缺乏创新性；实践活动薄弱，缺乏实证研究；绩效评价研究较少；综合评价方法不太成熟等问题。为促进该研究，应坚持定性与定量相结合的发展方向；坚持用户导向开展搜索引擎评价工作；坚持理论与实践相结合，加强实证研究与创新研究；建立权威的搜索引擎评价组织；加强绩效评价。【关键词】搜索引擎评价指标评价方法

Abstract：Thispapersummarizesandanalyzestheresearchtothefieldofsearchengineevaluationfromtheaspectsofevaluationindex，evaluationmethods，evaluationobjectsandevaluationsubjects.Andthenitpointsoutthemainproblemsinthecurrentsearchengineevaluationstudy，includingweakresearchteam；weaktheoreticalfoundation，lackofinnovation；weakpracticalactivities，thelackofempiricalresearch；lessstudyofperformanceevaluation；lessmaturecomprehensiveevaluationmethod.Topromotetheresearch，itshouldbetakentoadheretothecombinationofqualitativeandquantitativedevelopmentdirection，persistintheuser-orientedsearchengineevaluation，upholdthetheoryandpracticecombinetostrengthenempiricalresearchandinnovationresearch，establishtheauthoritativeevaluationorganization，andstrengthenperformanceevaluation.Keywords：searchengineevaluationindexevaluationmethod

随着互联网的迅速发展，搜索引擎已经成为互联网上访问全球信息资源的最重要的检索工具。搜索引擎的出现及其日益显著的重要性促进了关于搜索引擎的评价研究的发展。国内搜索引擎评价研究已经成为搜索引擎研究领域的一个热点问题，取得了一定的成果，然而也存在着一些不足。笔者现从评价的指标、方法、对象、主体4个方面就搜索引擎评价研究发展状况做出全面、系统的总结和分析，并在此基础上，深入探讨当前搜索引擎评价研究中存在的主要问题和发展策略。1搜索引擎评价研究发展状况1.1搜索引擎评价指标1995年开始，国内开始了对搜索引擎进行比较和评价，但是由于搜索引擎自身的功能和规模问题，以及缺少搜索引擎评价技术的支持，对搜索引擎的评价、比较绝大多数仍然以定性描述为主［1］［2］［3］［4］。这种评价方法局限于对单个搜索引擎各因素的描述和某几个搜索引擎之间的比较，却不能从整体上评价各搜索引擎的优劣。随着搜索引擎评价研究的发展，国内出现了成套的整体性的搜索引擎体系评价研究。1997年，曾民族在综合国内外搜索引擎评价研究成果的基础上首次提出了一个综合性的搜索引擎评价指标体系，其中包括数据库规模和内容（覆盖范围、索引组成、更新周期）、索引方法（自动、人工索引，用户登录）、检索功能（布尔检索（含嵌套）、截词检索、字段检索、大小写有别、概念检索、词语加权、词语限定、特定字段限定、缺省值、中断退出、重复辨别、上下文关键词、查询集操作）、检索结果（相关性排序、显示内容、输出数量选择、显示格式选择）、用户界面（帮助文件、数据库和检索功能说明、查询举例）、查准率和响应时间7个方面的指标。这是国内最早的有关搜索

11RESEARCHONLIBRARYSCIENCE

*本文系国家社科基金青年项目“网络信息资源的绩效评估体系研究”（项目编号：09CTQ029）的研究成果之一。

DOI:10.15941/j.cnki.issn1001-0424.2013.04.007引擎的整体性体系评价研究［5］。此后，各种综合性指标体系不断出现，无论是深度还是广度都在不断加强。例如，张莉扬在国外研究的基础上，结合搜索引擎的新变化及新特点，提出了一整套对搜索引擎进行性能评价与比较的标准，其中创新性地提出了2个新的搜索引擎定量评价指标：重复率和互链接率。该指标体系包括索引数据库构成（标引深度、更新频率）、检索功能（布尔检索、邻近检索、截词检索、字段检索、加权检索、大小写敏感（英文）、概念检索、自然语言检索、多媒体检索、多语种检索、相关反馈、多内码处理（中文）、检索效果（响应时间、查全率、查准率、重复率、死链接率）、检索结果显示（结果显示格式的种类、每种显示格式的内容、检索结果排序依据）以及用户负担（用户界面、相关文献、信息过滤）5个方面［6］。陶跃华、孙茂松、王锡钢根据系统工程的基本思想，提出了包括索引构成（标引数量、标引范围、标引更新频率）、检索功能（基本检索、高级检索）、检索效果（查准率、检索时间）、检索结果（显示内容、显示结果数限制）、用户交互（用户界面、帮助信息、检索技巧）5部分的因特网搜索引擎评价指标体系［7］。凤元杰、刘正春、王坚毅建立了搜索引擎主要性能评价指标体系，其中创新性地提出了“相对查全率”和“相对查准率”的概念和计算方法。该指标体系包括索引数据库的构成（标引的文件种类、标引深度和更新频率）、检索功能（布尔检索、邻近检索、截词检索、字段检索、加权检索、区分大小写（英文）、模糊检索、概念检索、自然语言检索、多媒体检索、多语种检索、相关信息反馈检索、多内码处理（中文））、检索效果（相对查全率、相对查准率、检索时间）、搜索引擎的“亲和度”（个性化查询界面、检索帮助信息、相关性排列、格式转换、交叉语言检索与翻译、信息过滤、信息挖掘、信息推送、学习功能）［8］。金玉坚、刘焱提出了搜索引擎检索效果评价指标体系，分为索引数据库（标引数量、标引深度、标引范围、更新频率、索引组成）、检索功能（布尔检索、截词检索、邻近词检索、字段检索、区分大小写（英文）、加权检索、模糊检索、相关信息反馈检索、概念检索、自然语言检索、目录式浏览检索、多内码处理（中文）、多语种检索、多媒体检索）、检索结果（相对查全率、相对查准率、响应时间、相关性排序、重复率、死链接率、显示内容、输出数量选择、显示格式选择）和用户负担（个性化查询界面、帮助文件、查询举例、信息过滤、格式转换、交叉语言检索与翻译、信息挖掘、信息推送、学习功能和自然语言接口）4部分，同时还提出了网络时代新型查全率和查准率的算法［9］。王炼从选择搜索引擎（搜索引擎的大小和覆

盖范围、更新频率、新颖度和死链率）、使用搜索引擎（检索式的构造和检索功能）、认识搜索结果（响应时

间、查全率和查准率、输出结果的显示格式与内容、排序）和用户负担（帮助、后处理功能、信息过滤和辅助功能）等方面建立了搜索引擎评价指标体系［10］。

判断搜索引擎成功的标准是其用户量，搜索引擎技术的优势若不能被广大用户认可，其价值就难以体现。只有站在广大用户的角度，才能真正体现搜索引擎评价的价值所在。例如，蒋伟伟从用户的角度出发，引入了用户满意度的概念并以CCSI（ChineseCusto-merSatisfactionIndex，中国顾客满意度指数）为测

评理论模型，依据网络搜索引擎的具体情况基于CCSI模型进行改良，构建了一套网络搜索引擎评价体系，包括企业形象（品牌形象、企业实力、用户口碑）、预期质量（预期查找全面性、预期查找准确性、预期查找时间、预期服务效果）、感知质量（网页的全面性、检索方式、对网页的描述能力、更新速度、检索结果的相关性、响应时间、人性化服务、稳定性）、感知价值（质量级别评价、时间级别评价）、用户满意度（总体满意度、首选可能性）、用户抱怨（对产品的抱

怨、对服务的抱怨）、用户忠诚度（转移检索途径的可能性、继续使用的可能性）7个部分［11］。陈艳、廖文

杰从信息技术接受模型出发，探讨如何从用户的信息接受的效果来评价搜索引擎，构建了基于信息技术接受模型的搜索引擎评价体系，包括影响感知的有用性的指标（收录信息的质量、反馈信息的数量和质量、信息组织的有效性）和感知的易用性的指标（界面的人性化、检索的功能、帮助系统的完备性）［12］。宋迪、

吕英杰和李一军从用户角度出发，将传统指标体系中的技术相关指标从用户角度进行重新描述，整理出13个用户易于感知和衡量的评价指标，包括感知的全面性、感知的准确性、检索功能、响应时间、帮助信息、感知的死链接率、检索结果输出、感知的网页重复率、界面友好程度、常用信息服务、音乐服务、图片服务、贴吧服务，将用户按其特点进行分类，总结出不同用户对搜索引擎各个指标关注角度的差异，从而为搜索引擎的发展方向提供了指导意义［13］。

随着广大用户服务意识的逐渐提高，仅仅关注用户负担已经不能满足用户使用搜索引擎的需求，还需要注重用户体验。国内学者早期的搜索引擎评价研究

只是从系统角度评价，近年来一些学者已经开始关注用户的主观感受。搜索引擎用户体验评价是目前搜索引擎评价指标体系发展的一个新特点。宛玲、杨秀丹、杜晓静认为对搜索引擎的检索功能的评价主要应从收

21图书馆学研究2013.4