基于Lucene全文检索系统的研究与实现
基于Lucene的全文检索系统的研究与实现的开题报告
基于Lucene的全文检索系统的研究与实现的开题报告一、选题背景及意义随着互联网时代的到来，信息爆炸式增长已经成为人们必须面对的一个问题。
传统的基于关键字的检索方式已经不能满足人们的需求。
全文检索系统应运而生，它可以从大量的文本中快速准确地查找需要的信息，方便人们的使用。
Lucene是一个流行的全文检索引擎，它是基于Java语言开发的，使用Apache协议开源。
Lucene具有快速、可扩展和高效的特点，在应用领域有广泛的应用，如搜索引擎、电子商务网站、维基百科等。
然而，Lucene作为一个开源的库，仍需要使用者有一定的技术基础才能进行使用。
因此，本文将研究如何利用Lucene实现全文检索系统，并通过分析其架构和实现细节，深入了解全文检索系统的工作原理和技术方法。
二、研究内容1. 全文检索技术的概述2. Lucene的基本原理和架构3. 全文检索系统的需求分析4. Lucene全文检索系统的设计和实现5. 系统优化和性能测试三、预期成果完成本文研究所需的工作，预期可以达到以下成果：1. 掌握全文检索技术的基本原理和方法。
2. 深入了解Lucene的架构和实现细节，掌握Lucene的基本使用方法和技巧。
3. 实现一个基于Lucene的全文检索系统，包括需求分析、系统设计、编码实现、系统优化和性能测试等环节。
4. 对系统的性能进行测试和优化，提高系统的搜索效率和准确性。
四、研究方法1. 文献调研：通过阅读相关的学术论文和技术博客，了解全文检索技术的最新研究进展和应用情况。
2. 系统分析：对基于Lucene全文检索系统的需求进行分析和定位，明确系统的功能和性能要求。
3. 系统设计：根据需求分析，设计系统的架构和流程，确定系统各个模块之间的交互和约束关系。
4. 编码实现：使用Java语言编写全文检索系统，使用Lucene作为底层引擎，实现检索功能和系统界面。
5. 系统测试和优化：进行系统性能测试和故障测试，针对测试结果进行优化和改进。
基于Lucene的全文检索系统研究与实现
、 、▲
Ｌ ｉ ｓ ｔ （ ２ 字 长 词）
Ｌ ｉ ｓ ｔ （ ３ 字 长 词）
Ｌ ｉ ｓ ｔ （ ４ 字 长 洲）
● ● ● ● ● ●
图２ 字 典 数 据 结 构
３ ． １ ． ２ 基 于双 向最大 匹配 的中文分词 算法 基于 字典 的分词方 法 又叫机械 分词算 法 ， 这种算 法按 照一定 的策 略将 待分 析 的汉 字 串与一 个 “ 充
７ ８
浙 江外 国语 学院 学报
２ ０ １ ３皋
２ ． １ 文 档归 一化模 块
文 档归 一化模 块 主要 完成 对待 检索文 档 的预处理 ， 主要有 两个 功能 ： 一是 支 持将 ． ｐ ｄ ｆ ， ． ｐ ｐ ｔ ， ． ｄ ｏ ｃ等
文本解 码并 转化为 ． ｔ ｘ ｔ 文件 ； 二是 对文本 内容 进行过 滤 ， 取 出可 能存在 的非法 字符 和乱码 ． ２ ． ２ 文 本分 析模块
分 大” 的机 器词典 中的词条进 行 匹配 ， 若 在词 典 中 找到某 个 字 符 串 ， 则 匹 配成 功 ， 识 别 出一 个 词 ］ ． 文 中， 我们 提出 的匹配算 法是 正 向匹 配 与逆 向匹配 相 结 合 的算 法 ， 算 法 流程 如 下 ： （ １ ） 导 人 待 分词 的文 本， 利用 Ｓ ｏ ｕ ｇ ｏ ｕ词库构 建按 字长构 建字 典数据结 构 ． 然后 ， 将 待分 词文本 按照不 同类 型 （ 如 普通 中文 字
文 本分 析模块 主要 实现对 元文件 文档 附属信 息 的提取存 储和 通过 文本 分 析器 对 中文 内容 的分 析
与构建 倒排 索引 ． 文档相 关 附属 信 息 （ 如作 者 、 时间、 单位 、 文 件存 放 目录等 ） 直 接存 储 在数 据 库 中； 而 对于摘要 内容 和正 文 内容 信息 ， 由于 信息量 较大 ， 我们通 过文 本分析 器实 现 中文 自动 分词 ， 再 利用 Ｌ ｕ — ｃ ｅ ｎ ｅ的索引模 块实 现倒排 索引 的 自动构 建 ． Ｌ ｕ ｃ ｅ ｎ ｅ自带 有 中文 自动 分 词 系统 ， 但 性 能一 般 ， 为此 我们
基于Lucene的全文检索系统研究
—■Ｉ
基 于 Ｌ ｃｎ ｕ ｅ ｅ的全文检 索 系统 研究
薛 萍
天津 ３０ ８ ） ０ ３ ７ （ 津师 范大 学计 算机 与信 息工 程学 院 天 ［ 摘 要 ］ 息时代 的 到来， 信 使数据 不 仅在 数量 还是 多样 性 有 了很 大 变化 。而 Ｌ ｃ ｎ 全 文检 索就 是， 代信 息 检索 领域 中被 广泛 应用 的 重要 技术 之一 。所 ｕｅ ｅ 现 以本文 首先 介 绍全文 检 索及 系统 的概 念 ， 次是 Ｌ ｃ ｎ 其 ｕ ｅ ｅ的系统 结构 和 实现 机制 。最后 讨 论使 用 Ｌ ｃ ｎ ｕ ｅ ｅ工 具包 开发 系 统的 实 际应用 问题 。 ［ 关键 词］ 全文 检 索 ｌ ｃ ｎ 索 引 ｕｅｅ 中 图分类 号 ：Ｐ ９ Ｔ ３ 文 献标 识码 ： Ａ 文章编 号 ：０９ ９４ （０ ０ ３— ４ ９Ｏ １０ — １Ｘ ２ １） ３０ ｌ ｌ
２全文 检 素与 全 文检 索系 统 全文 搜索 就是 以文 本数据 为主 要处 理对 象， 基于全 文表 引， 使用 自然 语言 进 行检 索 的技术 。也就 是通 过计 算机 索 引程序 扫描 和分析 文 章 中的每 一个字 或 者词 ， 对其相 应 的建立 一个 索 引， 来指 明它 所 出现 的 次数和 位 置 当用户查 询时， 就可 以根据 建 立好 的索 引进行 查找， 并将 结果 反馈 给用 户 的方式 。 全文搜 索是 现代信 息检索技 术 的重要分支 之一， 它是处 理非 结构化数 据 的 强大工 具， 也是搜 索 引擎 的核 心技 术之 一 全文检 索 系统是 按照 全文检 索 理论建 立起 来 的用于提 供 全文检 索服 务 的 软 件系 统。 全文检 索 系统 需要具 备建 立索 引和 提供 查询 的基 本功 能外 ， 需要 还 方 便的用 户 接 口， 向万 维 网 的开发 接 口和二 次应 用 开发 接 口等等 。 面 全文 检 索系 统 的核 心 功 能具 有 建立 索 引 、处理 查 询 返 回结 果集 、增加 索 引 、优 化索 引结 构 等等 功 能 ， 围则 由各种 不 同的应 用 系 统 组成 。 外
基于Lucene的二次全文检索系统设计与实现的开题报告
基于Lucene的二次全文检索系统设计与实现的开题报告一、选题背景和意义随着信息技术的飞速发展，互联网已经成为人们获取各种信息的主要渠道。
因此，如何快速、高效地从大量的文本数据中获取所需信息，成为一个亟待解决的问题。
全文检索系统由此应运而生，它能够对文本数据进行网页搜索、信息检索、自然语言处理等操作，是信息检索领域的核心技术之一。
在实际应用中，全文检索系统被广泛应用于搜索引擎、社交媒体、电子商务等领域，为人们提供了快捷、精准的信息服务。
本文将基于Lucene全文检索引擎，设计并实现一个二次全文检索系统。
全文检索系统可以寻找到所有文本中与某个关键词相关的信息，而二次检索系统则对全文检索的结果再次进行筛选和排序，以提高所需信息的准确性和相关性，从而提高信息检索的效率。
本文旨在研究二次全文检索系统的设计和实现，探究Lucene引擎在信息检索中的应用。
二、研究内容和方法2.1 研究内容（1）了解全文检索系统和二次全文检索系统的概念、特点和应用场景；（2）基于Lucene全文检索引擎，设计并实现一个二次全文检索系统；（3）构建文本语料库，实现数据的导入和索引；（4）研究相关算法，设计二次检索策略，提高信息筛选和排序的准确性和相关性；（5）对系统进行性能测试、优化和调试，并分析检索效果。
2.2 研究方法本研究采用的研究方法主要包括如下几点：（1）文献综述：对全文检索算法、Lucene引擎技术和二次检索策略进行深入学习和研究，了解国内外相关研究现状和最新进展。
（2）系统设计：通过对全文检索系统和二次检索系统的原理和特点进行分析，设计系统结构和算法流程。
（3）数据处理：构建文本语料库，实现数据的导入、处理和索引，保证数据能够准确、高效地被检索。
（4）算法实现：研究相关算法，设计二次检索策略，提高信息的筛选和排序准确性和相关性。
（5）系统测试：对系统进行测试、优化和调试，分析系统检索效果。
三、预期结果及意义3.1 预期结果（1）设计并实现基于Lucene的二次全文检索系统；（2）构建文本语料库，实现数据的导入和索引；（3）研究相关算法，设计二次检索策略，提高信息筛选和排序的准确性和相关性；（4）对系统进行性能测试、优化和调试，并分析检索效果。
基于Lucene全文检索引擎的研究与实现
接 ｏ ｔｉ（ 来 ｓ Ｍａ 中是否 存在 这 巨大 反 响 ， 序 员不 仅 使 用 它 构 建 具 体 的 ＨＴＭ Ｌ解 析 器 输 出 的 是 文 本 内 容 ， 着 用ｃｎａｎ） 判断Ｈａｈ ｐ 程 全 文 检 索 应 用 ， 且 将 之 集 成 到 各 种 系 统 Ｌ ｃ ｎ 的分 词 器从 文 本 内 容 中 提 取 出素 引 而 ｕｅ ｅ 个 字 的 映射 ， 果 存 在 就 取得 长 度 等 于字 如
石 头一贾府 ” 行 分 析 ， 进 先分 析 器 解 析 字符 串
２全文检索引擎Ｌｃｎ ｕ ｅ ｅ
２ １ ｕｅｅ ． Ｌｃｎ简介
Ｌ ｃｎ 是ａ ａ ｈ 软件基金 ￣ｊｋ ｒａ 目 ｕ ｅｅ ｐ ｃ ｅ ａ ａｔ 项 组 的 一 个 子项 目 ， 一 个 开 放 源 代 码 的 全 是
检 索 索 引库 的 Ｔ ｅ ｐ中找 到 对 应 如 ｅ Ｍａ
首 先 ， 入 查 询 条 件 ， 如 用 户 希 望 查 的 映 射 则对 应 的 键 值 加 ｌ 输 出 的时 候 在 输 比 ，
的 基 础 上 ， 且 针 对Ｌ ｃ ｎ 中文 分 词 的 弱 询 到 含 有 词 “ 宝 玉 ？ “ 头 但 不 含 “ 并 ｕ ｅｅ 贾 和 石 贾 词 后 面 加 上 分 割 符 号 ‘ ， 后 继 续 重 复 ＼’ 然 势 扩 展 设 计 了 一 个 相 对 完 善 的 中 文 分 词 府 ” 记 录 ， 么 输 入 条 件 为 “ 宝 玉 ＋石 前 面 的 步 骤 ， 到 文 件 结 束 ， 出 ； 果 的 那 贾 直 退 如 器 ， 实 现 了一 个 基 于 Ｌ ｃ ｎ 全文 检 索 技 头 一贾 府 ” 查 询 条 件 传 入 搜 索 器 （ｕ ｅ ｅ 并 ｕｅｅ ｌ １ｃｎ ． 读者 了解 和 使用 Ｌ ｃ ｎ 全 文 检索 引擎 提 供 ｕｅ ｅ
基于Lucene的全文检索构件的研究与实现
开发工具包 ， 而不是一 个具备完整特性 的应 用程序。所 以， 用 使
０ 引 言
随着信息 时代 的来 临 ， 人们 每天都要面对海量 的数字信息 。 为 了帮助人们 在海量信息 中快速 找到有 价值 的信 息 ， 来越 多 越 的软件系统提供全 文检索功能 。 为 了给软件 系统添加全 文检 索功能 ， 件开发 人员 需要 对 软 全文检索 的工作原理 、 实现作深入 研究 ， 这是 一个费时费力 的过 程 。尤其对于 已经 开发 好 的系统 ， 添加 新 的功能会 导致 对原有 系统 的修改 ， 增加不稳定 的 因素。如果 有一 套完整 的全 文检 索
构件 ， 能够根 据用 户 的需要 实 现全 文检 索 ， 让用 户 的投 入最 而
Ｌ ｃｎ ｕｅｅ构件全文检 索需 要在它 的基础上做 二次开发 。 Ｌ ｃｎ 可 以对 任何 的 文本 数据 做 索引 和 搜索 。它不 管 数 ｕｅ ｅ 据是什么格式 ， 只要 能转 化 成文 本 ， 都能 处理 ｊ 它 。许 多项 目 都使 用 了 Ｌ ｃｎ ｕ ｅｅ作 为其 后 台的 全文 检索 引 擎 ， 比较 著名 的 有
第２ ７卷 第 ２期
２１ ０ ０年 ２月
计 算机 应 用与 软件
Ｃｏ ｕｔｒＡｐ ｉ ａｉ ｎ ｎ ｆｗａ ｅ ｍｐ ｅ ｐｌ ｔｏ ｓ ａ ｄ Ｓｏｔ ｒ ｃ
Ｖｏ． ７ Ｎｏ ２ １２ ．
Ｆｅ ２ ０ ｂ． ０１
基 于 Ｌ ｃｎ ｕ ｅ ｅ的全 文检 索构 件 的研 究 与 实现
ｓ ｓ ｏ ｈ ｒ ｈ ｔｃｕ ｅ ｏ ｕ ｅ ｅ ａ ｄ ｔ ｅ ｄ ｆｃ ｓｏ ｕ ｅ ｓ Ｓｉ ｄ ｘｎ ，ａ ｄ ｔ ｅ ａ ｅ ｏ ｈ ｔ ｌ ｔｘ ｅｒｅ ａ ｏ ｏ ｅ ｔ ｓ ｄ ｓｇ ｅ ｎ ｅ ｎ ｔ ｅ ａ ｃ ｉ ｔ ｒ ｆ ｃ ｎ ｎ ｅｅ ｔ ｆ ｃ ｎ ｅ’ ｎ ｅ ｉ ｇ ｎ ｈ ｎ ｂ ｓ ｎ ｔ ａ ｆ ｌ ｅ ｔｒｔ ｖ ｌ ｍｐ ｎ ｎ ｅ ｉ ｎ ｄ ａ ｄ ｅ Ｌ ｈ Ｌ ａｕ — ｉ ｃ ｉ
基于Lucene的全文搜索引擎的设计与实现
图 １ Ｌ ｃｎ ｕ ｅ ｅ系 统 的 结 构 组 织 图
２ Ｌｕｅ ｅ的 系统 结 构 分析 ｃｎ
２ ２ ｏｇ ａａｈ ． ｃｎ ．ｉ ｅ 索 引 包 是 整 个 系 统 核 心 ， ． ｒ ．ｐ ｃ ｅ ［ ｅ ｅ ｎ ｘ ｕ ｄ 主 要提 供 库 的读 写 接 口 ， 过 该 包 可 以创 建 库 ． 加 删 除 记 录 及 通 添 读 取 记 录等 。 全文 检索 的根 本 就 为 每 个 切 出来 的词 建 立 索 引 ， 查 询 时 只需 要遍 历 索 引 ， 不 需 要 遍 历 整 个 正 文 ， 而 极 大 地 而 从 提 高 了检 索 效率 ， 引 创 建 的 质 量 直 接 关 系 整 个 系统 的 质 量 。 索 Ｌ ｃｎ 的索 引 树 是 非 常 优 质 高 效 的 ， 这 个 包 中 ， 要 有 Ｉ ． ｕｅ ｅ 在 主 ｎ
查 询结 果 。 图 １是 Ｌ ｃｎ ｕｅ ｅ系 统 的结 构 组 织 图 。 ２． 分析 器 Ａｎ ｌｚｒ 分 析 器 主 要 用 于 切 词 ， 段 文 档 输 入 １ ａｙ ｅ 一
以后 ， 过 Ａ ａ ｚｒ 输 出 时 只剩 下 有 用 的 部 分 ， 他部 分 被 剔 经 ｎ ｌ ｅ， ｙ 其 除 。 分析 器提 供 了抽 象 的接 口 ， 因此 语 言 分 析（ ｎ ｌ ） Ａ ａ ￣ｒ 是可 以 ｙ 定 制 的 。因 为 Ｌ ｃｎ 缺 省 提 供 了 ２个 比较 通 用 的 分 析 器 Ｓ ｕｅ ｅ ｉ ｍ． ｐ Ａ ａ ｓ 和 Ｓａ ｄｒ Ａ ａ ｓｒ 这 ２个 分 析 器 缺 省 都 不 支持 中 ｌ ｅ ｌｅ ｎ ｙ ｒ ｔｎ ａｄ ｎ ｌ ｅ， ｙ 文 ， 以 要加 入 对 中 文 语 言 的 切 分 规 则 ， 要 修 改 这 ２个 分 析 所 需
基于Lucene的全文检索系统的设计与实现
2、查询处理：当用户提交搜索请求时，系统会调用Lucene的查询API对索引 进行搜索。根据用户输入的关键词，系统会在索引中查找包含这些关键词的文 档，并按照相关度进行排序。
3、结果展示：将搜索结果以网页的形式呈现给用户，并在每个搜索结果中展 示关键词的高亮显示，方便用户快速找到感兴趣的内容。
为了提高搜索性能和用户体验，我们还采取了一些优化措施。例如，对索引进 行定期更新以保持最新数据；使用多线程查询以提高并发性能；对搜索结果进 行去重和限流以避免重复和过多结果展示等。
结论
本次演示对基于Lucene的全文检索系统进行了深入研究与开发。
随着信息技术的快速发展，人们对于快速、准确、全面的信息检索需求日益增 长。Lucene全文检索引擎作为开源界的一款强大工具，为各类用户提供了高 效、灵活的信息检索服务。本次演示将从Lucene全文检索引擎的应用研究与 实现两个方面展开讨论。
2、组件选择：全文检索系统需要选用合适的文本解析器、分词器、倒排索引 生成器、查询处理器等组件。这些组件的选择将直接影响到系统的性能和准确 性。
3、数据存储和处理流程：数据存储需要考虑到文本数据的存储格式、索引的 构建与存储方式以及数据的更新与维护等问题；处理流程则包括数据的预处理、 索引构建、查询处理和结果排序等环节。
文献综述
在全文检索系统领域，已经有很多研究者和企业进行了深入的研究和开发。传 统的全文检索系统多采用基于规则和词典的方法来提取关键词和建立索引，但 这种方法对于大规模、多语种和复杂文本的处理能力有限。随着人工智能技术 的发展，尤其是自然语言处理和机器学习领域的进步，越来越多的研究者将新 型技术应用于全文检索，取得了显著的成果。然而，现有的全文检索系统在处 理长文本、识别语义信息等方面仍存在一定局限性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于Lucene全文检索系统的研究与实现[摘要] lucene是一个开放源代码的全文检索引擎工具包,利用它可以快速地开发一个全文检索系统。
利用lucene开发了一个全文检索系统,通过其特殊的索引结构,实现了传统数据库不擅长的全文索引机制,提供了对非结构化信息的检索能力。
[关键词] lucene 信息检索全文检索索引
一、引言
计算机技术及网络技术的迅速发展,使得internet成为人类有史以来资源最多、品种最全、规模最大的信息资源库。
如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成了人们关注的焦点,也成了研究领域内的一个热门课题。
这些信息基本上可以分做两类:结构化数据和非结构化数据(如文本文档、word 文档、pdf文档、html文档等)。
现有的数据库检索,是以结构化数据为检索的主要目标,实现相对简单。
但对于非结构化数据,即全文数据,由于复杂的数据事务操作以及低效的高层接口,导致检索效率低下。
随着人们对信息检索的要求也越来越高,而全文检索因为检索速度快、准确性高而日益受到广大用户的欢迎, lucene是一个用java写的全文检索引擎工具包,可以方便地嵌入到各种应用中实现针对应用的全文索引和检索功能。
这个开源项目的推出及发展,为任何应用提供了对非结构化信息的检索能力。
二、全文检索策略
通常比较厚的书籍后面常常附关键词索引表(比如,北京:12,34
页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。
而数据库索引能够大大提高查询的速度原理也是一样,由于数据库索引不是为全文索引设计的,因此,使用like “%keyword%”时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,like对性能的危害是极大的。
如果是需要对多个关键词进行模糊匹配:like“%keyword1%”and like “%keyword2%”……其效率也就可想而知了。
所以,建立一个高效检索系统的关键是建立一个类似于科技索
引一样的反向索引机制,将数据源(比如多篇文章)排序顺序存储的同时,有另外一个排好序的关键词列表,用于存储关键词==>文章映射关系,利用这样的映射关系索引:[关键词==>出现关键词的文章
编号,出现次数(甚至包括位置:起始偏移量,结束偏移量),出现频率],检索过程就是把模糊查询变成多个可以利用索引的精确查询
的逻辑组合的过程。
从而大大提高了多关键词查询的效率,所以,全文检索问题归结到最后是一个排序问题。
三、 lucene全文检索
1.lucene简介
lucene是一个高性能的、可扩展的信息检索工具包。
它提供了一套简单却十分强大的核心api,你可以把它融入到应用程序中以增加索引和搜索功能。
lucene是一个纯java实现的成熟、自由、开源的软件项目:它是备受程序员欢迎的开源项目组织apache
jakarta的成员项目,基于apache软件许可协议的授权。
2.lucene工作原理
lucene的api接口设计得比较通用,输入输出结构都很像数据库的表一记录一字段,很多传统的应用文件、数据库都可以方便地映射到lucene的存储结构和接口中。
lucene的检索本质属于索引检索,即用空间来换取时间,对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记
录检索词出现的文件路径或者某个关键词。
总体上可以认为lucene是一个支持全文索引的数据库系统。
3.lucene系统结构分析
lucene全文检索系统主要有两个功能:一是建立索引库,就是将待索引的数据源经过解析器进行解析,将其内容经切分词后索引入库;二是检索索引库,即根据用户输入的查询条件从索引库中找出
符合条件的文档,将结果通过一定的顺序进行排序返回给用户。
lucene的源码中共包括7个包,每个包完成特定的功能,见表1。
其核心类包主要有3个:
org.apache.1ucene.analysis;org.apache.lucene.index;org.ap ache.1ucene.search。
其中,org.apache.1ucene.analysis主要用于切分词,默认的语言为英文,提供德语与俄语的分析器,其他语言可以通过扩展analyzer类来实现。
4.lucene的优势
由于lucene存放的索引信息不是一般数据库,而是文件,这使得lucene访问索引的时间快,同时也使得lucene可以跨平台使用。
lucene与大部分的搜索(数据库)引擎不同,不是采用导致索引的更新会需要大量io操作的b树结构来维护索引,而是在扩展索引的时候不断创建新的索引文件,然后定期把这些新的小索引文件合并到原先的大索引中(针对不同的更新策略,批次的大小可以调整,策略可以定制)。
这样在不影响检索的效率的前提下,提高了索引的效率。
以上所述,lucene具备源代码开放、跨平台、不限定数据源、易扩展、索引效率高等优点,很适合用来构建全文检索系统。
四、系统设计与实现
本文用lucene为核心开发了全文检索系统。
本服务平台核心模块由四部分组成:解析转换器,索引器,检索器,用户界面。
1.解析转换器
分析xml,pdf,html,word等多种格式文件从中提取链接和文件各字段内容以进行索引,每一种格式文本都使用了一个第三方工具来提取文本。
其中,用sax api解析xml文档,pdfbox解析pdf, nekohtml解析html,使用poi解析word文档等。
2.索引器
从命令行读取文件名(多个),将文件分路径(path字段)和内容(body字段)2个字段进行存储,并对内容进行全文索引:索引的单位是document对象,每个document对象包含多个字段field对象,针
对不同的字段属性和数据输出的需求,对字段还可以选择不同的索引/存储字段规则。
3.用户界面
输入用户查询关键词,显示返回结果,图3是输入关键字“抗体”的实际运行结果。
五、结论
本文利用lucene开发的全文检索系统,它的响应速度较快,一般在毫秒级的时间之内,并且只需要设计相应的解析转换器就可以对任意类型数据源进行全文索引、检索。
利用它可以快速地开发一个全文检索系统。
另外,更快的检索速度、更全更准的检索效率以及最后的检索结果的分类显示,将是下一步努力的方向。