一种基于Lucene的中文全文检索系统

合集下载

基于Lucene的全文检索系统研究与实现

、、▲
Ｌｉｓｔ（２字长词）
Ｌｉｓｔ（３字长词）
Ｌｉｓｔ（４字长洲）
● ● ● ● ● ●
图２字典数据结构
３．１．２基于双向最大匹配的中文分词算法基于字典的分词方法又叫机械分词算法，这种算法按照一定的策略将待分析的汉字串与一个 “ 充
７８
浙江外国语学院学报
２０１３皋
２．１文档归一化模块
文档归一化模块主要完成对待检索文档的预处理，主要有两个功能：一是支持将．ｐｄｆ，．ｐｐｔ，．ｄｏｃ等
文本解码并转化为．ｔｘｔ文件；二是对文本内容进行过滤，取出可能存在的非法字符和乱码．２．２文本分析模块
分大” 的机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，识别出一个词］．文中，我们提出的匹配算法是正向匹配与逆向匹配相结合的算法，算法流程如下：（１）导人待分词的文本，利用Ｓｏｕｇｏｕ词库构建按字长构建字典数据结构．然后，将待分词文本按照不同类型（如普通中文字
文本分析模块主要实现对元文件文档附属信息的提取存储和通过文本分析器对中文内容的分析
与构建倒排索引．文档相关附属信息（如作者、时间、单位、文件存放目录等）直接存储在数据库中；而对于摘要内容和正文内容信息，由于信息量较大，我们通过文本分析器实现中文自动分词，再利用Ｌｕ — ｃｅｎｅ的索引模块实现倒排索引的自动构建．Ｌｕｃｅｎｅ自带有中文自动分词系统，但性能一般，为此我们

基于Lucene全文检索系统的研究与实现

基于Lucene全文检索系统的研究与实现[摘要] lucene是一个开放源代码的全文检索引擎工具包,利用它可以快速地开发一个全文检索系统。

利用lucene开发了一个全文检索系统,通过其特殊的索引结构,实现了传统数据库不擅长的全文索引机制,提供了对非结构化信息的检索能力。

[关键词] lucene 信息检索全文检索索引一、引言计算机技术及网络技术的迅速发展,使得internet成为人类有史以来资源最多、品种最全、规模最大的信息资源库。

如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成了人们关注的焦点,也成了研究领域内的一个热门课题。

这些信息基本上可以分做两类:结构化数据和非结构化数据(如文本文档、word 文档、pdf文档、html文档等)。

现有的数据库检索,是以结构化数据为检索的主要目标,实现相对简单。

但对于非结构化数据,即全文数据,由于复杂的数据事务操作以及低效的高层接口,导致检索效率低下。

随着人们对信息检索的要求也越来越高,而全文检索因为检索速度快、准确性高而日益受到广大用户的欢迎, lucene是一个用java写的全文检索引擎工具包,可以方便地嵌入到各种应用中实现针对应用的全文索引和检索功能。

这个开源项目的推出及发展,为任何应用提供了对非结构化信息的检索能力。

二、全文检索策略通常比较厚的书籍后面常常附关键词索引表(比如,北京:12,34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。

而数据库索引能够大大提高查询的速度原理也是一样,由于数据库索引不是为全文索引设计的,因此,使用like “%keyword%”时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,like对性能的危害是极大的。

如果是需要对多个关键词进行模糊匹配:like“%keyword1%”and like “%keyword2%”……其效率也就可想而知了。

基于Lucene的电子政务全文检索系统的设计与实现

［ｂｔｃ］Ｔｉｐｐｒａｚｔ —ｇｖｒｍｎ汕一ｔｔｅｉａｓｓｍｂｓｄｏｏｓＤｍｎ．ＴｅＡｓａｔｒｈａｅｌ￣ｉｅｏｅｎｅｔｓｎａｙｌｅｅｔｅｌｙｅａｅｎＬｔｏｉｘｒｒｖｔｕｏｈｒｅ
ｎｒｖｌｆａｉｓｔｐｓｏｔｈｎｍｂｄｅｎＤｍｉｏｄｃｍｅｔｈｓｐｐｎｒｕｅｅｒｖｌａｄｒｔｅａｒｖｒｕｙｅｆａｔｃｍｅｔｅｅｄｄｉｏｎｏｕｎ．Ｔｉａｒｉｔｄｃｄａｎｗｒｔｅａｅｉｏｏａｅｏｅｉ
２．ＨｕｈｕＣｔｕｌｅｕｉｕｅｕＨｕｈｕ３３０ｚｏｉＰｂｉＳｃｒＢｒａ，ｙｃｙｔｚｏ１００，Ｃｉａｈｎ；
３ａｇｈｕＺｉｕＳｆａｉｉｄＣｍａｙａｇｈｕ３０１，Ｃｉａ．ＨｎｚｏｈｉｏｗｒＬｍｔｏｐｎ，Ｈｎｚｏ１０２ｈｎ）ｊｔｅｅ
ｍｔｄｂｓｄｏａａＬｃｎｄｔｔｒｐｎＳＵｅｃｍｌｅｔｏｓｌｅｍｎｏｅｒｌｓｍｅｖｒｅｏａｅｈｎｊｖｕｅｅａｈｏｈｅｌｏｐｍｎｔｏｅｔｅｔｎｐｏｅ，ｇｎｄａｆｏ— ｎｅｅｏＯ￣ｅｖｈｉｄｂｍａ
［摘要］文章分析了目前基于Ｄｎｎ平台开发的电子政务系统的全文检索系统存在着检索内容丢失、系统响ｏｆｏｉ
应慢以及不能针好文档中嵌入的各种格式的附件作索引和内容查找等不足之处，出于Ｊａｕｎ开疆框架，并与提基ａｃｅｖＬｅ

基于Lucene的全文检索系统研究

科学论坛
—■Ｉ
基于Ｌｃｎｕｅｅ的全文检索系统研究
薛萍
天津３０８）０３７（津师范大学计算机与信息工程学院天［摘要］息时代的到来，信使数据不仅在数量还是多样性有了很大变化。而Ｌｃｎ全文检索就是，代信息检索领域中被广泛应用的重要技术之一。所ｕｅｅ现以本文首先介绍全文检索及系统的概念，次是Ｌｃｎ其ｕｅｅ的系统结构和实现机制。最后讨论使用Ｌｃｎｕｅｅ工具包开发系统的实际应用问题。［关键词］全文检索ｌｃｎ索引ｕｅｅ中图分类号：Ｐ９Ｔ３文献标识码：Ａ文章编号：０９９４（００３— ４９Ｏ１０ — １Ｘ２１）３０ｌｌ
２全文检素与全文检索系统全文搜索就是以文本数据为主要处理对象，基于全文表引，使用自然语言进行检索的技术。也就是通过计算机索引程序扫描和分析文章中的每一个字或者词，对其相应的建立一个索引，来指明它所出现的次数和位置当用户查询时，就可以根据建立好的索引进行查找，并将结果反馈给用户的方式。全文搜索是现代信息检索技术的重要分支之一，它是处理非结构化数据的强大工具，也是搜索引擎的核心技术之一全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。全文检索系统需要具备建立索引和提供查询的基本功能外，需要还方便的用户接口，向万维网的开发接口和二次应用开发接口等等。面全文检索系统的核心功能具有建立索引、处理查询返回结果集、增加索引、优化索引结构等等功能，围则由各种不同的应用系统组成。外

基于Lucene的全文搜索引擎的设计与实现

效性。
图１Ｌｃｎｕｅｅ系统的结构组织图
２Ｌｕｅｅ的系统结构分析ｃｎ
２２ｏｇａａｈ．ｃｎ．ｉｅ索引包是整个系统核心，．ｒ．ｐｃｅ［ｅｅｎｘｕｄ主要提供库的读写接口，过该包可以创建库．加删除记录及通添读取记录等。全文检索的根本就为每个切出来的词建立索引，查询时只需要遍历索引，不需要遍历整个正文，而极大地而从提高了检索效率，引创建的质量直接关系整个系统的质量。索Ｌｃｎ的索引树是非常优质高效的，这个包中，要有Ｉ．ｕｅｅ在主ｎ
查询结果。图１是Ｌｃｎｕｅｅ系统的结构组织图。２．分析器Ａｎｌｚｒ分析器主要用于切词，段文档输入１ａｙｅ一
以后，过Ａａｚｒ输出时只剩下有用的部分，他部分被剔经ｎｌｅ，ｙ其除。分析器提供了抽象的接口，因此语言分析（ｎｌ）Ａａ￣ｒ是可以ｙ定制的。因为Ｌｃｎ缺省提供了２个比较通用的分析器Ｓｕｅｅｉｍ．ｐＡａｓ和ＳａｄｒＡａｓｒ这２个分析器缺省都不支持中ｌｅｌｅｎｙｒｔｎａｄｎｌｅ，ｙ文，以要加入对中文语言的切分规则，要修改这２个分析所需

基于Lucene的全文检索引擎研究与应用

ＡｂｔａｔＲａｉｃｕｌｔｎｏｒｅｅｔｒｉｅｆｅｔｖｌｎｅｉｇｉｆｒａｉｎｒｓｕｃｓｉｏｐｌｅｈｇｓｒｃ：ｐｄａｃｍｕａｉｆｌｇｎｅｐｒｓｅｆｃｉｅｙｉｄｘｎｎｏｍｔｅｏｒｅｓｔｍｖｄｉｈ— ｑａｉｓａｃｅｖｃｓｏａｓｏｕｌｙｅｒｈｓｒｉｅ．ｔ
部分使用ｌ引。
是以各种计算机数据诸如文字、声音、图像等为处理对
象，提供按照数据资料的内容而不是外在特征来实现的信息检索手段［。在索引中创建一个包含一系列用川户搜索条件的查询，它能帮助人们进行大量文档资料
Ｌｃｎ作为一个全文检索引擎，ｕｅｅ其具有如下突出的优点：
中图分类号：Ｉ９、Ｔ）１３３文献标识码：Ａ文章编号：６３６９（０７０～０８ —０１７ — ２Ｘ２０）５１４３
ＲｅｅｒｈａｄＡｐｐｌｃｔｏｆＦｕｌＴｅｔＳａｃｓａｃｎｉａｉｎｏｌｘｅｒｈＥｎｇｎｅＢａｅｎＬｕｅｅｉｓｄｏｃｎ
ｔｏｘｍｐｅｉｎｅａｌｓ
Ｋｅｒｓｕｌｅｔｓａｃｉｄｘｎａｐｉｄｒｓａｃ／ｅｎｙｗｏｄ：ｆｌ—ｔｘｅｒｈ；ｎｅｉｇ；ｐｌｅｅｒｈＬｕｅｅｅ
０引言
随着计算机技术及网络技术的迅速发展，电子文
１基于Ｊｖａａ的全文检索引擎＿Ｊｋｒａａｔａ
Ｌｕｅｅｃｎ
档数目急剧膨胀，在这海Biblioteka 的信息里面快速、面、全准

基于Lucene的全文检索系统的研究与实现

ｅｔｂｉｈｎｕｌｔｘｅｒｅａｙｔｍ，ｔｅｎｒｄｃｅｃｎｅｔｏｌ— ｅｔｅｒｅａｙｔｍｄａａｙｅｔｅｓｒｃｕｅｏｃｎｙｔｍｓａｌｉｇｆｌ— ｅｔｔｖｌｓｅｓｒｉｓｈｎｉｔｕｅｔｏｃｐｆｆｌｔｘｔｖｓｓｅａｌｚｔｕｔｒｆＬｕｅｅｓｓｅｏｈｕｒｉｌｎｎｈａｄｔｅｉｌｍｅｔｔｎｏｅｍｅｈｉｍ．Ｆｉａｌｎｍｐｅｎａｏｆｔｃａｓｈｉｈｎｎｙ，ｇｖｅｉｌｍｅｔｔｎｐｏｅｓｏｌ－ｅｔｅｒｅａｙｔｍｒｍｅｓｓｅｄｓｇｌｉｅｔｍｐｅｎａｏｒｃｓｆｆｌｔｘｔｉｖｓｓｅｆｏｔｙｔｍｅｉｎ，ｈｉｕｒｌｈｈｅｔｅｔｃｎ，ｔｅｉｄｘｅｔｂｉｈｎｄｔｅｅｅｕｖｎｅｅｒｈｗｉｒｃｉａｐｉａｉｎ．Ｐｒｃｃｈｗｓｔａｈｙｔｍ ’ ｔｅｔｘｘａｔｏｒｉｈｎｅｓｌｍｅｔａｘｃｔｅｉｄｘｓａｃｔａｐａｔｌａｐｌｔａｓｎｈｉｈｃｃｏａｄｅｓｏｔｅｓｓｅｈｔ
等均达到了设计要求。关键词：文检索；引；息检索全索信中图分类号：Ｐｌ．Ｔ３１５文献标识码：Ａ文章编号：６３６９２１）７０
Ｒｅｅｒｈａｍｐｅｅｔｔｏｏｌ－ｘｓａｃｎｄＩｌｍｎａｉｎｆＦｕｌＴｅｔ

es深度分页原理

es深度分页原理
ES (Elasticsearch) 是一种基于Lucene的全文搜索引擎，它的深度分页原理涵盖了搜索、文档管理、索引和调优等多个方面。

下面简单介绍ES的深度分页原理。

在ES中，分页的原理是基于搜索结果的检索，ES默认返回10条文档。

当用户需要获取更多的结果时，就需要翻页。

ES最初使用的是深分页方法，即当用户请求某一页时，ES需要搜索所有之前的结果，直到找到请求的结果页，由于这种方法需要大量的内存，查询效率低下，ES不建议使用。

ES推荐的分页方法是基于搜索上下文(Scroll)的深度分页，它会在第一次检索时建立一个只客户端可见的索引上下文，并返回一个scroll_id（或上下文ID），在客户端不断使用scroll_id分页，直到得到需要的结果为止。

当用户请求第一页时，ES创建一个初始搜索上下文，并返回第一页的结果和scroll_id，客户端使用scroll_id获取下一页的结果，这个搜索上下文可以捕捉到所有未返回的搜索结果。

当用户请求下一页时，ES会给搜索上下文提供下一页的搜索结果并更新上下文，客户端通过scroll_id获取下一页的结果。

这种方法相对于深分页方法速度更快，因为查询只需要作用于新加入的文档。

总之，ES的深度分页原理是通过建立一个只数据库能确定的上下文来获取需要的数据，之后只需根据上下文ID循环获取，避免不必要的搜索，提高检索效率。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

—94—一种基于Lucene 的中文全文检索系统苏潭英1，郭宪勇2，金鑫3（1. 解放军信息工程大学电子技术学院，郑州 450004；2. 北京飞燕技术公司，北京 100072；3. 解放军通信指挥学院，武汉 430010）摘要：在开源全文索引引擎Lucene 的基础上，设计了一个中文全文检索系统模型，该模型系统由7个模块组成，索引模块、检索模块是其中的核心部分。

论述了模型的整体结构，分析设计了索引及检索模块，通过具体的索引技术和检索技术来提高整个系统的检索效率。

该系统增加了加密模块，实现对建立的全文索引进行加密处理，增强了信息的安全性。

关键词：全文检索；Lucene ；倒排索引Chinese Full-text Retrieval System Based on LuceneSU Tan-ying 1, GUO Xian-yong 2, JIN Xin 3(1. Institute of Electronic Technology, PLA Information Engineering University, Zhengzhou 450004; 2. Technology Company of Beijing Feiyan,Beijing 100072; 3. Institute of PLA Communication Command, Wuhan 430010)【Abstract 】This paper proposes a model of Chinese full-text retrieval system based on Lucene which is an open source full-text retrieval engine,and expatiates its frame. This model is composed of seven modules, among which the index module and the search module are the core parts. It designs them concretely, and improves the search efficiency of the full-text retrieval system with index technology and search technology. The system model concludes an encryption module to encrypt the index and increases the system security. 【Key words 】full-text retrieval; Lucene; inverse index计算机工程Computer Engineering 第33卷第23期Vol.33 No.23 2007年12月December 2007·软件技术与数据库· 文章编号：1000—3428(2007)23—0094—03文献标识码：A中图分类号：TP3911 中文全文检索系统全文检索技术是一个最普遍的信息查询应用，人们每天在网上使用Google 、百度等搜索引擎查找自己所需的信息，这些搜索引擎的核心技术之一就是全文检索。

随着文档处理电子化、无纸化的发展，图书馆、新闻出版、企业甚至个人的电子数据激增，如何建立数据库、管理好自己的数据，是亟待解决的问题，而全文检索是其中一个非常实用的功能。

全文检索产品实际上是一个内嵌该项技术的数据库产品[1]。

西文的全文检索已有许多成熟的理论与方法，其中，开放源代码的全文检索引擎Lucene 是Apache 软件基金会Jakarta 项目组的一个子项目，它的目的是为软件开发人员提供一个简单易用的工具包，方便在目标系统中实现全文检索的功能。

很多项目使用了Lucene 作为其后台的全文索引引擎，比较著名的有：(1)Jive ：Web 论坛系统；(2)Cocoon ：基于XML 的Web 发布框架，全文检索部分使用了Lucene ；(3)Eclipse ：基于Java 的开放开发平台，帮助部分的全文索引使用了Lucene 。

Lucene 不支持中文，但可以通过扩充它的语言分析器实现对中文的检索。

本文在深入学习研究Lucene 的前提下，设计了一个中文的全文检索系统，对其核心的索引模块和检索模块进行了阐释，并添加了加密模块对索引信息加密，增强了系统的安全性。

2 系统的总体结构本模型总体上采用了Lucene 的架构。

Lucene 的体系结构如表1所示，它的源代码程序由7个模块组成。

表1 Lucene 的组成结构模块名功能 org.apache.Lucene.search 搜索入口 org.apache.Lucene.index 索引入口 org.apache.Lucene.analysis 语言分析器 org.apache.Lucene.queryParser 查询分析器 org.apache.Lucene.document 存储结构 org.apache.Lucene.store 底层IO/存储结构 org.apache.Lucene.util一些公用的数据结构本文通过扩充Lucene 系统来完成中文的全文检索系统，Lucene 包含了大量的抽象类、接口、文档类型等，需要根据具体应用来定义实现，本文对其作了如下扩充修改：(1)按照中文的词法结构来构建相应的语言分析器。

Lucene 的语言分析器提供了抽象的接口，因此，语言分析(analyser)是可以定制的。

Lucene 缺省提供了2个比较通用的分析器SimpleAnalyser 和StandardAnalyser ，但这2个分析器缺省都不支持中文，因此，要加入对中文语言的切分规则，需要对其进行修改。

(2)按照被索引的文件的格式对不同类型的文档进行解析，进而建立全文索引。

例如HTML 文件，通常需要把其中的内容分类加入索引，这就需要从org.apache.lucene.子document 中定义的类Document 继承，定义自己的HTMLDocument 类，然后将之交给org. apache.lucene.index 模块写入索引文件。

Lucene 没有规定数据源的格式，只提供作者简介：苏潭英(1981－)，女，硕士研究生，主研方向：数据库全文检索；郭宪勇，高级工程师；金鑫，硕士研究生收稿日期：2007-01-10 E-mail ：sutanyingwendy@了一个通用的结构(Document对象)来接受索引的输入，因此，输入的数据源可以是数据库，WORD文档、PDF文档、HTML 文档等，只要能够设计相应的解析转换器将数据源构造成Docuement对象，即可进行索引。

(3)设计具体的搜索查询。

Lucene提供了方便自建查询的API，通过QueryParser提供了强大的查询语言。

在实际应用中，要按Lucene查询语句解析器的语法设计具体的搜索器，其功能包括默认域的指定、搜索域的接收、索引库位置的接收、操作符的接收以及多个查询通过布尔操作符连接起来形成复杂的查询语句。

(4)设计检索结果的相关度。

这一部分设定文档与相关主题的准确程度，即文档符合查询要求的相似度，输出结果按此排序。

但Lucene对此不如扩充词法解析和文档类型那样条理清晰，没有留下很好的接口，因此，需要仔细地分析其源代码的实现，自行扩充。

经过扩充与设计，本文的中文全文检索引擎系统结构如图1所示。

图1 系统结构本系统中包含了语言分析模块、查询分析模块、检索结果排序模块、索引建立模块、检索模块、存储抽象模块等6个模块，它们是进行检索必备的部分。

另外，本系统充分考虑了信息的安全性，增加了一个加密模块，对所建立的全文索引进行加密。

3 系统中模块的分析与设计3.1 索引建立模块索引是全文检索的关键机制之一。

中文全文检索索引的建立比英文复杂得多，建立和维护全文检索索引库需要从以下3个方面考虑：(1)索引组织单元在西文中，文档的基本组成单元是单词，单词之间以空格间隔，而以单词为单位的索引实现起来比较简单，因此，西文的全文检索方面有许多比较成熟的理论，应用也很广泛。

中文全文检索技术在原理上同西文全文检索一致，但由于中文的词与词之间没有分隔符，因此其实现过程复杂得多。

在中文文档中，基本元素可以是单个汉字字符，也可以是词。

相应地，建立索引时就有2种基本的索引结构：基于字表的索引和基于词表的索引。

字表法把源文档中的每一个字的出现位置记录到索引库中，索引库对每个不同的字符都保存了一个字表，记录同一个字在文档中的所有出现位置。

词表法以能表达一定意义的词为基本独立单位建立索引库。

也有一些学者将2种方法结合，提出基于单元词的索引，但目前没有被广泛应用。

本文选用了字表法。

字表法对每个字的出现位置进行统计，并依据位置信息进行检索，不采用分词，实用性很强，查准率较高。

但单个汉字经常不具有独立的含义，因此，字表法在特定情况下会出现多检。

(2)索引组织方式无论是字索引还是词索引，全文检索的索引组织有正排表和倒排表2种方式[2]。

正排表是以文档的ID为关键字，表中记录项记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。

正排表结构如图2所示[3]。

图2 正排表的索引结构这种组织方法的结构比较简单，建立比较方便且易于维护，但是在查询时需要对所有文档进行扫描，以确保没有遗漏，这就大大延长了检索时间，降低了检索效率。

与大多数全文检索系统一样，本文的全文检索系统采用倒排表来组织索引。

倒排表以字或词为关键字进行索引，关键字对应的表项记录出现这个字或词的所有文档，每个表项记录着该文档的ID和所对应的关键字在该文档中出现的位置情况。

倒排表的组织结构如图3所示[3]。

图3 倒排表的索引结构因为每个字或词对应的文档数量是动态变化的，所以倒排表的建立和维护都较为复杂，但是在查询时可以一次得到查询关键字所对应的所有文档，因此效率高于正排表。

在全文检索中，检索的快速响应是最关键的性能之一，而索引的建立在后台进行，效率相对较低，不会影响整个搜索引擎的效率[3]。

(3)索引压缩在全文检索系统中，存储的数据信息是动态增加的。

由于索引记录了关键字每一次出现的位置信息，随着信息的不断增加，需要索引的内容会不断增加，索引量也将不断增大，如果不进行压缩处理，索引的大小会和原文档相当甚至是其的几倍，这必然会占用较多的存储空间[3]。

更重要的是，查询时需要读入的索引量也在增加，降低了查询速度。