基于Lucene的非结构化文档全文检索系统研究与实现
基于Lucene二次全文检索系统的设计与实现
[1] 郑轶媛 .基于J2EE的站 内搜索引擎的研究[D].上海 交通 大学.2005.1:8-13
[2] 邱 哲 , 符 滔 滔 . 开 发 自 己 的 搜 索 引 擎 ——Lucene 2 .0+ Heri terx [M]. 北京:人民邮电出版社.2 0 07 .6. 235 -24 6.
系统对PDF文档提供了更深层次的检索，可将检索结果 定位到书籍的具体页，并在页面标示出关键字的具体位置。 该层次的检索用Lucene API是无法实现的。本文定义了一种 二次索引组织方式，二次索引组织格式是 “Book_id#keyword#page#以 逗号隔 开的 X,Y坐 标#关键 词出 现的上下文”。当关键词在页面 可以出现多次时，这样多个 坐标间用"|"隔开，坐标单位为像素，代表关键词以文档左上 角为原点的水平向右和垂直向下方向上的距离。同样其多个 上下文之间也用"|"隔开。如下为一条存于文本文件中的二次 索引示例：
[3] 王学松 .Lucene+nutch开发搜索引擎[M].北 京:人民 邮电 出版社.2008.08. 125-145.
[4] 于 丹.关 于查全 率和查准 率的新 认识[J].西南 民族大 学 学报，2009;2(210):283-285
[5] 励子 闰,余青 松,陈胜 东.基于 全文检索引 擎的信息检 索 技 术 的 应 用 研 究 [J]. 计 算 机 与 数 字 工 程.2 00 8. 9,V ol .3 6,N o. 9: 81 -85
1.2 数据库设计 数据库主要用于存储二次索引，表结构相对简单，目前
只设计了2个表：图书表和二次索引表。图书表 用于存储需 要进行二次检索的图书资料基础信息，二次索引表则存储图 书的二次索引信息，表结构如表1、2所示：
Lucene全文检索系统的实现及其索引性能的提高
情 报 探 索
第 １ （ １７期 ） 期 总 ４
Ｌ ｃｎ 全文检索系统的实现及其索引性能的提高 ｕｅｅ
白晓玲
（ 北 民族 学 院 图 书馆 恩施 湖
摘
提 高 索 引性 能 。 关键 词 ： 文 检 索 Ｊ ｖ Ｌ ｃｎ 索 引机 制 索 引性 能 全 ａａ ｕｅ ｅ 中 图分 类 号 ： ３ ４ ５ Ｇ５． ４ 文 献标 识 码 ： Ａ 核 心 代码 文章 编 号 ：０ ５ ８ ９ （ ０ ０ ０ － １ ６－３ １０ — ０ ５ ２ １ ）１ ０ １ － ０
１ Ｌ ｃｎ ＋ Ｓ ＋ ｍｃｔ ． ２ ｕ ｅ ｅＪ Ｐ Ｔｏ ａ 如前 所述 ，ｕ ｅｅ是一 个全文 检索 引擎的架 构 ， Ｌ ｃｎ
系统 中索引 引擎 、 询 引擎 、 查 文本分 析 引擎职 能都是 Ｌ ｃｎ ｕ ｅｅ承担 ，它可提 供完整 的查询 引擎 和索 引引擎
及 部分 文 本分析 引擎 ， 仅仅 靠 Ｌ ｅｎ 但 ｕｅ ｅ还不 能实现 全 部 索引 和提供 查 询 功 能 ， 其 是对 于 网上检 尤 索和 查 询 ， 需 要 具 有 方 便 的 用户 接 口、 向 还 面 ＷＷＷ 的开发接 口、 次应 用开发 接 口等等 。 二 这 就 需要 将 Ｌ ｃｎ 、Ｓ 、 ｏ ａ 有 效 结 合起 来 。 ｕｅ ｅ ＪＰ Ｔ ｍｃｔ
１６ １
２１ ０ ０年 １ 月
白晓 玲 ：ｕｅｅ全 文 检 索 系 统 的 实现 及 其 索 引 性 能 的提 高 Ｌ ｃｎ
第 １ （ １７ ） 期 总 ４期
言 ， 应 关 系 是 ：文 章 号 ” “ 章 中所 有 关 键 词 ” 对 “ 对 文 。 倒 排 索 引把 这个 关 系 倒过 来 ， 成 ： 关 键 词 ” “ 变 “ 对 拥 有该 关键 词 的所有 文章号 ” 这样 就可 以利 用倒 排 索 。 引 轻松地 找 到那些 包含 了特定索 引项 的文 档 。 因此 ， Ｌ ｃｎ ｕ ｅ ｅ索 引之所 以效 率高 ，正是靠 使 用倒 排文 件索 引 结构 。
基于Lucene的全文检索系统研究与实现
、 、▲
Ｌ ｉ ｓ ｔ （ ２ 字 长 词）
Ｌ ｉ ｓ ｔ （ ３ 字 长 词）
Ｌ ｉ ｓ ｔ （ ４ 字 长 洲）
● ● ● ● ● ●
图２ 字 典 数 据 结 构
３ ． １ ． ２ 基 于双 向最大 匹配 的中文分词 算法 基于 字典 的分词方 法 又叫机械 分词算 法 ， 这种算 法按 照一定 的策 略将 待分 析 的汉 字 串与一 个 “ 充
７ ８
浙 江外 国语 学院 学报
２ ０ １ ３皋
２ ． １ 文 档归 一化模 块
文 档归 一化模 块 主要 完成 对待 检索文 档 的预处理 ， 主要有 两个 功能 ： 一是 支 持将 ． ｐ ｄ ｆ ， ． ｐ ｐ ｔ ， ． ｄ ｏ ｃ等
文本解 码并 转化为 ． ｔ ｘ ｔ 文件 ； 二是 对文本 内容 进行过 滤 ， 取 出可 能存在 的非法 字符 和乱码 ． ２ ． ２ 文 本分 析模块
分 大” 的机 器词典 中的词条进 行 匹配 ， 若 在词 典 中 找到某 个 字 符 串 ， 则 匹 配成 功 ， 识 别 出一 个 词 ］ ． 文 中， 我们 提出 的匹配算 法是 正 向匹 配 与逆 向匹配 相 结 合 的算 法 ， 算 法 流程 如 下 ： （ １ ） 导 人 待 分词 的文 本， 利用 Ｓ ｏ ｕ ｇ ｏ ｕ词库构 建按 字长构 建字 典数据结 构 ． 然后 ， 将 待分 词文本 按照不 同类 型 （ 如 普通 中文 字
文 本分 析模块 主要 实现对 元文件 文档 附属信 息 的提取存 储和 通过 文本 分 析器 对 中文 内容 的分 析
与构建 倒排 索引 ． 文档相 关 附属 信 息 （ 如作 者 、 时间、 单位 、 文 件存 放 目录等 ） 直 接存 储 在数 据 库 中； 而 对于摘要 内容 和正 文 内容 信息 ， 由于 信息量 较大 ， 我们通 过文 本分析 器实 现 中文 自动 分词 ， 再 利用 Ｌ ｕ — ｃ ｅ ｎ ｅ的索引模 块实 现倒排 索引 的 自动构 建 ． Ｌ ｕ ｃ ｅ ｎ ｅ自带 有 中文 自动 分 词 系统 ， 但 性 能一 般 ， 为此 我们
基于Lucene全文检索系统的研究与实现
基于Lucene全文检索系统的研究与实现[摘要] lucene是一个开放源代码的全文检索引擎工具包,利用它可以快速地开发一个全文检索系统。
利用lucene开发了一个全文检索系统,通过其特殊的索引结构,实现了传统数据库不擅长的全文索引机制,提供了对非结构化信息的检索能力。
[关键词] lucene 信息检索全文检索索引一、引言计算机技术及网络技术的迅速发展,使得internet成为人类有史以来资源最多、品种最全、规模最大的信息资源库。
如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成了人们关注的焦点,也成了研究领域内的一个热门课题。
这些信息基本上可以分做两类:结构化数据和非结构化数据(如文本文档、word 文档、pdf文档、html文档等)。
现有的数据库检索,是以结构化数据为检索的主要目标,实现相对简单。
但对于非结构化数据,即全文数据,由于复杂的数据事务操作以及低效的高层接口,导致检索效率低下。
随着人们对信息检索的要求也越来越高,而全文检索因为检索速度快、准确性高而日益受到广大用户的欢迎, lucene是一个用java写的全文检索引擎工具包,可以方便地嵌入到各种应用中实现针对应用的全文索引和检索功能。
这个开源项目的推出及发展,为任何应用提供了对非结构化信息的检索能力。
二、全文检索策略通常比较厚的书籍后面常常附关键词索引表(比如,北京:12,34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。
而数据库索引能够大大提高查询的速度原理也是一样,由于数据库索引不是为全文索引设计的,因此,使用like “%keyword%”时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,like对性能的危害是极大的。
如果是需要对多个关键词进行模糊匹配:like“%keyword1%”and like “%keyword2%”……其效率也就可想而知了。
基于Lucene的全文检索系统研究
—■Ｉ
基 于 Ｌ ｃｎ ｕ ｅ ｅ的全文检 索 系统 研究
薛 萍
天津 ３０ ８ ） ０ ３ ７ （ 津师 范大 学计 算机 与信 息工 程学 院 天 ［ 摘 要 ］ 息时代 的 到来， 信 使数据 不 仅在 数量 还是 多样 性 有 了很 大 变化 。而 Ｌ ｃ ｎ 全 文检 索就 是， 代信 息 检索 领域 中被 广泛 应用 的 重要 技术 之一 。所 ｕｅ ｅ 现 以本文 首先 介 绍全文 检 索及 系统 的概 念 ， 次是 Ｌ ｃ ｎ 其 ｕ ｅ ｅ的系统 结构 和 实现 机制 。最后 讨 论使 用 Ｌ ｃ ｎ ｕ ｅ ｅ工 具包 开发 系 统的 实 际应用 问题 。 ［ 关键 词］ 全文 检 索 ｌ ｃ ｎ 索 引 ｕｅｅ 中 图分类 号 ：Ｐ ９ Ｔ ３ 文 献标 识码 ： Ａ 文章编 号 ：０９ ９４ （０ ０ ３— ４ ９Ｏ １０ — １Ｘ ２ １） ３０ ｌ ｌ
２全文 检 素与 全 文检 索系 统 全文 搜索 就是 以文 本数据 为主 要处 理对 象， 基于全 文表 引， 使用 自然 语言 进 行检 索 的技术 。也就 是通 过计 算机 索 引程序 扫描 和分析 文 章 中的每 一个字 或 者词 ， 对其相 应 的建立 一个 索 引， 来指 明它 所 出现 的 次数和 位 置 当用户查 询时， 就可 以根据 建 立好 的索 引进行 查找， 并将 结果 反馈 给用 户 的方式 。 全文搜 索是 现代信 息检索技 术 的重要分支 之一， 它是处 理非 结构化数 据 的 强大工 具， 也是搜 索 引擎 的核 心技 术之 一 全文检 索 系统是 按照 全文检 索 理论建 立起 来 的用于提 供 全文检 索服 务 的 软 件系 统。 全文检 索 系统 需要具 备建 立索 引和 提供 查询 的基 本功 能外 ， 需要 还 方 便的用 户 接 口， 向万 维 网 的开发 接 口和二 次应 用 开发 接 口等等 。 面 全文 检 索系 统 的核 心 功 能具 有 建立 索 引 、处理 查 询 返 回结 果集 、增加 索 引 、优 化索 引结 构 等等 功 能 ， 围则 由各种 不 同的应 用 系 统 组成 。 外
基于Compass+Lucene的全文检索系统设计与实现
（ｉｎ ｘ Ｃ ｕ ｔ Ｂａ ｃ ，ｅ ｐ ‘Ｂ ｎ ｆ ｈｎ ， ｎ ｈ ｕ ３ １ ，ｈｎ ） Ｊ ｇ ｉ ｏ ｎｙ ｒｎ ｈＰ ｏ ｌｓ ａ ｋ ｉ Ｇａ ｚ ｏ ４ ０Ｃ ｉａ ａ ｅ ｏＣ ａ １ ０
Ａｂ ｔａ ｔＷｉ ｅｒｐ ｄ ｄ ｖ ｌｐ ｎ ｆ ｎ ｅ ｔ ｓ ｒ ｅｉ ｆｒ ｔ ｎ ｏ ｅ ｎ ｔ ｎ ｅｉ ｆ ｒ ｔ ｎ ｔ ｅ ｅ ｄｌ ｅｎ ｅ ｌ ｓｒ ｃ ： ｔ ｔ ａ ｉ ｅ ｅｏ ｍｅ ｔ ｔｍｅ ｅ ｓｉ ｔ ｏｍａｉ ｃ ａ ｆ ｄ ｔ ｎ ｏｍａｉ ｙ ｎ ｅ ，ｋ ｅ ｄ ｅ ｈｈ ｏ Ｉ ｕ ｎｈ ｎ ｏ ｏｉ ｈ ｏ ｈ ｉ
摘 要 ：随着互联网的迅猛发展，用户在信息海洋里查找 自己所需的信息 ，就像 大海捞针一样 ，搜索引擎技术恰好解 决了这一难题。论文首先简单的介绍 了全文检索的原理，然后重点讲解 了ｃｍ ａ 搜 索引擎在全文检索系统 中的具体应用。 ｏ ｐｓ ｓ 关键词：全文检索；ｃｍ ａ ；Ｌ ｃｎ ｏ ｐ ｓ ｕｅｅ ｓ 中图分类号：Ｔ ３ １ 文献标识码 ：Ａ Ｐ１ 文章编号 ：１０ － ５ ９（ ０ １ １－ １３ ０ ０ ７ ９ ９ ２ １ ） ２ ０６－ ２
计算机Байду номын сангаас盘软件与应用
２ １ 年第 １ ０１ ２期 Ｃ ｍ ｕ ｅ ＤＳ ｆｗ ｒ ｎ ｐ ｌｃ ｔ ｏ ｓ ｏ ｐ ｔｒＣ ｏ ｔ ａ ｅａ ｄＡ ｐ ｉ ａ ｉ ｎ 软件设计开发
基于 Ｃ ｍｐ ｓ Ｌ ｃｎ 的全文检索系统设计与实现 ｏ ａｓ ｕｅｅ ＋
王晓 东
（ 中国人 民银行赣县 支行 ，江 西赣 州 ３ １０ ４ １０）
ｈ ｇ ｌ ｈ ｅｃ ｍｐ ｓ ｅｆ ｌ ｔｘ ｅ ｒ ｈｅ ｇｎ ｙ ｔ ｍ ｅｓ ｅ ｉ ｃａ ｐ ｉａｉｎ ｉｈ ｉ ｔ ｈ ｏ ａ ｓｉ ｔ ｌ ｅ ｔ ａ ｃ ｎ ｉ ｅｓ ｓｅ ｉ ｔ ｐ ｃｆ ｐ ｌ ｔ ． ｇ ｔ ｎｈ ｕ － ｓ ｎｈ ｉ ｃ ｏ
用Lucene引擎构建非结构化电子病历检索系统
【 关键词】 Ｌ ｕ ｃ ｅ ｎ ｅ ； 搜 索引擎； 全文检 索 ； 非结构化 ； 电子病历
［ 中 国 图书 资 料 分 类 号 】 Ｒ ３ １ ８ ； Ｔ Ｐ ３ １ １ ． １ ３ ［ 文 献标 志码 】 Ａ ［ 文 章 编 号】 １ ０ ０ ３ － ８ ８ ６ ８ （ ２ ０ １ ３ ） ０ ７ — ０ ０ ４ ３ — ０ ３
【 摘 要】 目的 ： 构建非结构化 电子病历检 索系统 。方法 ： 以Ｌ ｕ ｃ ｅ ｎ ｅ为搜 索引擎 ， 通过前期对 电子病历文件的索引处理 ，
实现 电子 病 历 的 全 文 检 索。 结 果 ： 该 技 术 强 调 对 非 结 构 电子 病 历 的 处 理 ， 使 其 不 依 赖 于 电子 病 历 系统本 身 ， 更加灵活 ， 易于 扩 展 。 结 论 ： 使 用非 结构 化 电子 病 历 检 索 系统 ， 可 以 有 效 地 改善 检 索条 件 的局 限 ， 提 高 电 子病 历 的利 用率 。
基于Lucene的全文检索系统的研究与实现
等 均达 到 了设 计要求 。 关 键词 ： 文检 索 ； 引 ； 息检索 全 索 信 中图分类 号 ： Ｐ ｌ ． Ｔ ３ １５ 文献 标识 码 ： Ａ 文章 编号 ：６ ３ ６ ９ ２ １ ）７ ０
Ｒｅ ｅ ｒ ｈ ａ ｍ ｐ ｅ ｅ ｔ ｔｏ ｏ ｌ－ ｘ ｓ ａ ｃ ｎｄ Ｉ ｌ ｍ ｎ ａ ｉ ｎ ｆＦｕ ｌ Ｔｅ ｔ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于Lucene的非结构化文档全文检索系统研究与实现摘要：如何在海量的非结构文档内容中准确、快捷找到自己所需要的信息，是信息检索技术的研究重点。
全文检索是现代信息检索技术一个非常重要的分支，是解决非结构化数据检索需求的重要技术手段。
以已发布的各类通信业务管理规范的全文检索需求为切入点，设计并实现了适用于国家级气象信息化业务管理的非结构化文档全文检索系统。
该系统基于Java技术，并采用Lucene技术框架，对业务规范信息进行了分析和重新数据组织，确保良好的检索时效与准确率。
系统应用后能快速应对业务变化，在已有的大量的规定、规范、标准和公文函件中迅速、准确、全面地查找有关资料信息，帮助用户准确把握气象信息化发展脉络。
关键词：非结构化文档；全文检索；Lucene；索引文件0引言大数据时代的到来使得可利用的数据和信息量越来越多。
面对超负荷的海量数据，信息检索技术帮助人们在海量数据中准确、快捷地定位和找到所需要的信息。
如何为不同领域的用户提供专业的、量身定做的信息服务成为目前信息检索领域普遍关注的一个热点。
近10年来，我国的气象信息化建设取得了长足的发展。
气象信息系统已经成为现代气象业务体系的重要基础支撑，是现代气象业务的中枢和纽带，是国家信息基础设施的重要组成部分。
气象信息系统整体能力不断提高，目前已经进入了“十二五”发展的快车道。
推动气象信息化建设，在管理工作中快速应对业务系统的发展，亟需在已经颁布和归档的大量的业务规定、规范、标准和公文函件中迅速、准确、全面地查找资料信息，为气象信息化发展与决策提供信息支撑。
为进一步提升气象信息管理软实力，促进气象信息管理向标准化、数字化方向转变，本文设计并实现了国家级气象信息化业务管理检索系统。
该系统将分散的原始规定、规范、标准和公文函件进行有序整编，按照信息覆盖的内容进行分类和合理组织，为国家级和省级气象信息化管理部门提供快捷、有效的业务文档管理与检索服务。
由于该系统应用了目前较为先进的信息检索与管理技术，具有良好的扩展性，能够实现部门内各类办公文档的集中检索与管理，从而对未来提升整个部门的文档管理和使用效率具有重大意义。
1系统分析与设计1.1需求分析建设国家级气象信息化业务管理检索系统是为了提高对各类气象信息化业务规定、规范、标准和公文函件内容的全文检索时效性、便捷性和美观性，并使用户具有良好的用户体验，其基本原理便是非结构化数据全文检索。
主要需求归纳如下：（1）对近10年的我国气象信息化规定、规范、标准和公文函件等文档进行重新组织和管理，合理分组，从逻辑上对文档内容进行分类。
（2）检索反馈迅速，满足时效要求；检索结果准确、全面，没有重复，尽量避免遗漏。
重点是实现非结构化数据全文检索，能够准确定位Word、Excel、PDF等常用格式的文档信息。
（3）快速响应业务现状的变化，数据库和检索结果即时更新。
（4）系统具备良好的可扩展性和易用性。
1.2系统设计国家级气象信息化业务管理检索系统采用分层设计的思想，划分为4个层次的架构：（1）数据访问层。
在数据访问层的构建上，系统设计采用统一的数据访问接口来实现各类文档数据的统一访问功能，例如数据库的连接管理，数据查询以及数据库事务管理等功能。
（2）数据实体层。
考虑到气象信息业务的复杂性，系统设计以元数据驱动为开发模型，在元数据的基础上进行统一的设计。
数据实体层对文档数据和相应的元数据进行统一存储与管理，并能提供高效的组合查询与检索。
（3）业务逻辑层。
业务逻辑层在整个体系架构中最为关键，具有承上启下的作用，系统设计根据用户的请求生成数据库操作语句，并把结果返回给前段界面显示。
（4）数据表现层。
数据表现层的设计功能主要是对实体数据进行展示，并实现美观易用的展示查询、元数据录入等用户界面。
数据表现层是与用户的交互接口，直接影响到系统的用户体验。
1.3工作流程对于非结构化文档（Word等格式），系统将自动从文档中提取信息，经用户修改、确认后，自动生成该文档的元数据。
对于纸质文档、扫描件等无法自动提取信息的文档，用户需录入相关信息，手动生成该文档的元数据，然后系统将通过统一接口来处理元数据，将元数据和原始文档一并保存到数据组织与管理系统。
同时根据中文词典库和相关分词算法，对元数据内容进行分词，为数据组织与管理系统建立索引。
检索系统将通过用户输入的包含标题、颁布时间、关键字、内容等任一或多种信息组合进行查询，并显示查询结果。
2关键技术2.1基于Lucene 框架设计国家级气象信息化业务管理检索系统的实现是在Lucene<sup>[1，2]</sup>全文本搜索技术框架基础上进行的二次开发。
Lucene是一套使用Java语言编写的开源引擎工具包，提供了可自由扩展的查询引擎、文本分析引擎和索引引擎，近年来逐渐被广泛应用<sup>[38]</sup>。
Lucene的设计目的是提供一个简单易用的全文搜索工具包，以方便在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
其内部预先定义了索引文件的格式，并提供了面向对象技术程序访问接口。
Lucene的接口主要包括7个模块，以Java包形式提供，每个包完成特定的功能：（1）analysis语言分析器模块。
主要用于语法分析切词，提供对各种文本的切词和过滤功能，将文本解析成词条（Term）的序列。
其对英文支持较好，中文切词能力一般，可以扩展此类。
查询模块（search）利用语言分析器分析查询串，而索引模块（index）则在创建索引时用它分析索引的文档。
（2）document文档管理模块。
用于索引存储时的文档结构管理，对索引的数据描述接口。
（3）index索引管理模块。
包括索引建立、删除等。
索引管理模块负责对索引的读写和解析，是系统的核心部分。
在Lucene中，任何文本资源先经过文档管理模块document变成一个文档，文档是域的组合，再由文本分析模块将索引域的文本分解成一个个的词条，形成包含位置信息的词表，再经过索引管理模块index生成倒排索引（Invested Index），最后由数据存贮模块store写入到全文索引库中。
（4）queryParser查询分析器模块。
实现关键词分析及检索功能，可以对查询关键词间进行运算，如与、或、非及组合操作等。
（5）search检索管理模块。
包括查询结果的管理，根据查询条件，检索得到结果。
查询模块负责在全文索引中搜索，它利用索引模块读取和解析全文索引。
它将用户的查询语句由分析模块分解成一个词表，由查询模块对词表进行解析，解释为许多关键词查询的逻辑组合（与、或等），再由查询模块在索引中匹配基本查询的关键字，得到关键词匹配文档集，然后对关键词匹配文档集结果进行评分并逻辑组合，形成最终的检索结果。
用户输入的查询串先由分析模块分解成一个词表，由查询模块对词表进行解析，形成一组关键词和关键词之间进行组台的查询逻辑（与、或等），再由查询模块在倒排索引中匹配关键词，得到关键词匹配文档集，最后关键词匹配文档集和查询逻辑处理，得到最终的结果文档集。
（6）store数据存贮管理模块。
包括一些底层的文件级操作，提供了对磁盘文件或内存的各种数据结构的读写功能，主要由索引模块使用，向索引模块屏蔽了存贮的底层物理细节。
（7）此外还有util公用工具类。
2.2全文检索流程实现本系统在对Lucene全文检索引擎工具包进行深入剖析的基础上，进行扩展以及二次开发：（1）采用新的中文语言分析器进行中文分词，实现对中英文文档的全文索引。
（2）针对非结构化文档多样性的特点，建立统一的文件非结构化文档处理接口，把各种途径得到的数据源进行处理，转化成统一的、索引器能够理解的通用文档结构。
（3）语言分析器对统一格式的通用文档结构进行分词处理，生成词条序列，供索引模块进行索引。
索引模块读入语言分析器解析文档生成的词表，然后对词表中每个词条进行索引，并将索引结果保存到索引数据库中。
（4）检索模块读入用户的查询，在索引数据库中进行检索，并在把检索到的匹配结果经过排序后返回给用户。
检索模块同时引入同义词和业务词汇词典，提高检索正确率。
2.3数据有效组织形式（1）简单有效的文档目录组织结构。
针对需求，提前开展了文档整编分析，将原始资料以日期、收发类型、文件类型分层目录形式组织，便于文档快速定位和存取。
（2）非结构化文档处理统一接口。
本文系统基于Lucene进行二次开发，对WORD、PDF、HTML、TEXT文件建立针对不同格式的文件解析器，统一转化成索引器能够理解的通用文档结构。
这样做既可以屏蔽文档的不同格式，又可以随时增加新格式的文档。
在程序设计上，只需设计每种格式对应的解析器便可以对各种文件进行索引。
（3）合理有效地组织元数据。
除自身文档内容外，非结构化文档的使用往往还需要其它信息，如数据来源、收发类型、废止时间、有关人员等。
为方便用户快速掌握上述信息，系统内部对每个非结构化文档都配置了一个元数据，用于承载相关信息。
当然，部分非结构化文档自身会具有一定的元数据功能，但是考虑系统的规范性和统一性，本系统统一配置了元数据信息。
3结语本文论述了运用Lucene框架涉及的相关技术，探索了如何运用这些技术帮助用户在非结构化的文档中获取信息的方法，并提供了一套非结构化数据全文检索解决方案。
国家级气象信息化业务管理检索系统作为中国气象局重点推广的新技术项目，已投入测试运行。
系统简洁美观的界面风格、快速的检索响应效率，验证了方案的可行性。
后续工作中，还将继续设计和完善符合气象业务需求的中文分词器和更符合专业要求的评分系统机制。
参考文献：[1]Apache Lucene web site[EB/OL].http：///[2]GOSPODNETIC O，HATCHER E. Lucene IN ACTION [M].中文版.北京：电子工业出版社，2007.[3]邱哲，符滔滔.开发自己的搜索引擎—Lucene 2.0+Heritrix[M].北京：人民邮电出版社，2007.[4]谢峰，刘洪星.基于Lucene的Web站内搜索引擎的研究[J].电脑知识与技术，2008（2）：691694.[5]郎小伟，王申康.基于Lucene的全文检索系统研究与开发[J].计算机工程，2006（4）：9496.[6]周登朋，谢康林.Lucene搜索引擎[J].计算机工程，2007（18）：9596.[7]管建和，甘剑峰.基于Lucene全文检索引擎的应用研究与实现[J].计算机工程与设计，2007（2）：489491.[8]葛振国，李建，何林糠，等.基于Lucene的Oracle数据库全文检索[J].信息技术，2010（3）：156158.。