基于web的信息抽取方法研究
合集下载
基于Web页面有效信息抽取的分类方法
删，器 一
㈩
２ 网页 结 构 特 点 和表 示
王 立 建 尹 四 清
（ 中北大学 电子 与计 算机科 学技 术 学院 太原
０ ０ ５ ） 中北 大 学软件 学 院 太原 ３０１（
００ ５） ３ ０ １
【 摘 要】 随着 Ｉ ｔｒｅ ｎｅｎ ｔ的迅 猛发 展 ，Ｗｅ ｂ上 的网 页数 目呈 现指 数 级 的爆炸 性增 长趋 势 ，在 Ｗｅ ｂ上检 索及发 现 有价 值 的信 息 已成为 了一项 重 要的任 务 ，“ 噪音”的 出现 往往 会 降低基 于 页 面处 理 的各 种算 法 的效 率 。因此 ，如
１ Ｗｅ ｂ信 息抽取技术的概 念
Ｗｅ 信 息 抽 取 （ ｂ Ｉｆｒ ｔ ｎ Ｅ ｔａ ｔ ｎ： ｂ Ｗｅ ｎｏｍａｉ ｘｒｃｉ ｏ ｏ
ＷＩ Ｅ）的前 身是 文本理 解 ，最早 开 始于 ２ Ｏ世 纪 除 了标 题 、 文以及 相关 链接 外 ， 包 含大量 正 还 与主题 无 关 的页 面和信 息 。与主题 无关 的噪音信 息会 对 网页 正 文 内容 的 提取 速度 和 精 度造 成 很 大 影 响 ， 有
ＡＢＳＴＲＡＣＴ Ｗ ｉｈ ｈｅ ｎｔ ｒ ｔＳ ａ ｄ ｄｅ ｅ ｏ ｔ ｔ Ｉ ｅ ｎｅ ’ ｒ ｐｉ ｖ ｌ ｐｍ ｅ ， Ｗ ｅ ｏ ｔ ｎｕｍ ｂ ｇ ｈｏ ｉ ｇ ｈｅ ｘｐ ｏ ｉ ｅ ｘｐ ｎｔ ｂ ｎ ｈｅ ｅｒ ｏｆ ｐａ ｅｓ ｓ ｗ ｎ ｔ ｅ ｌ ｓ ｖ ｅ ｏｎｅ ｔａ ｇ ｏ ｔ ｎ ｉｌ ｒ ｗ ｈ
ｔｅ ｄ Ｉ ｈ ｅ ｒ ｎ ． ｎ ｔ ｅ Ｗ ｂ．ｓ ａ ｃ ｎ ｉｃ ｖ ｒ ｖ ｌ ａ ｌ ｎ ｏ ｍａ ｉｎ ｔ ａ ａ ｅ ｏ ｅ ａ ｍｐ ｒ ａ ｔ ｔ ｓ ． “ ｉｅ ’ｔ ｎ ｓ ｔ ｅ ｕ ｅ ｔ ｅ ｅ ｒ ｈ ａ ｄ ｄｓ ｏ ｅ ａ ｕ ｂ ｅ ｉ ｆ ｒ ｔｏ ｈ ｔ ｈ ｓ ｂ ｃ ｍ ｎ ｉ ｏ ｔ ｎ ａ ｋ Ｎｏ ｓ ’ ｅ ｄ ｏ ｒ ｄ ｃ ｈ ａ ｐ ａ ａ ｃ ｆｔ ｅ ｐ ｇ — ａ ｅ ｒ ｃ ｓ ｉ ｇ ｔ ｅｅ ｆ ｉｎ ｙ ｏ ａ ｉ ｕ ｌ ｏ ｉｈ ．Ｔｈ ｒ ｆ ｒ ，ｈ ｗ ｏ ｒ ｍｏ ｅｎ ｉｅ ｐ ｇ ｓ ｘ ｒ ｃ ａ ｅ ｐ ｅ ｒ ｎ ｅ ｏ ｈ ａ ｅ ｂ ｓ ｄ ｐ ｏ ｅ ｓｎ ｈ ｆｉ ｅ ｃ ｆｖ ｒｏ ｓ ａｇ ｒｔ ｍｓ ｃ ｅ ｅ ｏ ｅ ｏ ｔ ｅ ｖ ｏ ｓ ａ ｅ ，ｅ ｔ ａ ｔｐ ｇ ｓ ｏ ｈ ａｎ ｃ ｎ ｅ ｔ ｆ ｔ ｅ Ｗ ｅ ｎ ｎ ｎ ｔ ｅ ｉ ｏ ｔ ｎ ｓ ｕ ｓ Ｉ ｈ ｓ ｐ ｐ ｒ ｘ ｒ ｃ ａ ｅ ｆ ｔ ｅ ｖ ｒｏ ｓ ｃ ａ ｓｆ ａ ｉ ｎ ｆ ｆｔ ｅ ｍ ｉ ｏ ｔ ｎ ｓ ｏ ｈ ｂ ｍｉ ｉ ｇ ｉ ｈ ｍｐ ｒ ａ ｔ ｉｓ ｅ ． ｎ ｔ ｉ ａ ｅ ，ｅ ｔ ａ ｔ ｐ ｇ ｓ ｏ ｈ ａ ｉ ｕ ｌ ｓ ｉｉ ｔ ｓ ｏ ｃ ｏ
基于Web的信息抽取技术探讨
性较 差 、缺 乏健 壮性 仍然 是现 有信 息 抽取 技 术 所 面 临 的 问题 。性 能 较 好 的信 息 抽取 系 统 ，其规 则 的制定 需 要用 户的 大量 参 与 ， 自 动 化 程度 不高 ；而 自动化 程度 较高 的信 息抽 取 系统 ，抽取 数据 的 准确 率较 低 ，实 用性 较 差。 国 内最早 涉及 ｗｅ ｂ 信 息抽 取系 统研 究 的 文 献 资料是 ２ ０ ０ ２ 年 的硕 士论 文 “ 基于 领域 知 识 和 信息 抽 取 的个 性化 Ｗ ｅ ｂ 查 询 系统 ” ＿ ２ Ｊ 。 在 国 内期 刊 发 表 的学 术论 文 中 ，最 早 涉 及 要 从海 量 的互 联 网中得 到 用户 想要 的信 Ｗｅ ｂ 信 息抽 取 系统 研 究 的是 ２ ０ ０ ３ 年２ 月发 表 息 ，大 部 分人第 一 反应 是 通过 各种 搜索 引擎 的 “ 基于信息抽取的Ｗｅ ｂ 查询 系 统 的 设 计 工 具 ，如 知 名 度 较 高 的 有 Ｇ ｏ ｏ ｇ ｌ ｅ 、百 度 、 与实现” 一文 ， 该 文 介 绍 了综 合 利 用 信 息 Ｙ ａ ｈ ｏ ｏ 等 ，根 据 用 户的查 询 请求 ，搜 索 引擎 检 索 技 术 、数 据 库 技 术 和 机 器 学 习 技 术 的 能够 找 到相 关信 息 的 网页 ，这些 结果 动辄 成 优 点 ，设 计 并 实 现 了一 个 Ｗ ｅ ｂ 查询 系统 。 百上 千 条 ，有很 多重 复 的 内容 ，而且 各 网站 距 目前最 近 的有 关文 章是 ２ ０ １ ２ 年ｌ ２ 月 发表 的 “ 基 于 Ｗｅ ｂ 信 息 资 源数 据 挖掘 技 术研 究 ”＿ ４ 的信 息 内容互 相 独立 ，搜 索 引擎 的 “ 网络 爬 虫 ” 收 集 不 到 网上 数 据 库 里 面 的 信 息 。 因 文 ，在 该文 中 ，探 讨 了利 用 Ｗｅ ｂ 教学 信息 此 ，要想 得 到更 精确 、更 细粒 度 的信 息 ，便 资源 数据 挖掘 中间结 果进 行探 索式 的 Ｗｅ ｂ 教 要运 用￣ Ｕ Ｗｅ ｂ 信 息抽 取技 术 ，就 是本 文所 要 学信 息资 源数 据 挖掘 的解 决方 案 ，介绍 了如 探讨 的 内容 。 何从 数 据 库 中提 取 分析 与任 务 相关 的数 据 ， 以便进 行 教学 信息 资源 的 整体 筛选 。在 基于 ｂ 的信 息抽 取方 面 ，国 内比较 著 名的研 究 １ Ｗｅ ｂ 信息抽取技术概念及其在国内外 Ｗ ｅ 有 中 国科学 院 的杨 少华 、林 海略 、韩 燕波 等 的发展历程 Ｗｅ ｂ 信 息抽 取（ Ｗｅ ｂ Ｉ ｎ ｆ ０ ｒ ｍａ ｔ ｉ ０ ｎ 人 ，提 出 了一个 从模 板生 成 页面 检测 出数 据 Ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ，简称 Ｗｅ ｂ Ｉ Ｅ ） 简单 一 点来 说 就 模 板 ，并利 用 检测 出 的模板 自动 从 网页 中抽 是 从Ｗ ｅ ｂ 页面 中抽 取 出所 需要 的信 息 的一 种 取 数据 的新 方法 ；中 国人 民大学 数据 与知 识 活 动 。Ｗｅ ｂ 信 息抽 取 的主要 功 能是 把用 户期 研 究所 提 出的基 于预 定 义模 式的 包装 器 ；浙 望 得到 的信 息 点从 各种 各样 的 Ｗｅ ｂ 页面 中抽 江 大学 人工 智能 研究 所提 出的基 于本 体论 的 ｂ 信 息抽 取等 。最 近几 年 ， 国内除 了研 究 取 出来 ，并 对这 个 信息 进行 梳理 ，再 以 统一 Ｗｅ 的格 式集 成 在一 起 。Ｗｅ ｂ 信 息抽 取一 般 会形 这些 相对 完 整的 信息 抽取 系 统之 外 ，还 大 力 页 成一 个信 息抽取 系统 ，最开 始输 入信 息 系统 研究 跟信 息 抽取 相关 的一 些技 术 ，比 如 “ 主 题分 析 圈” 等技 术能 使Ｗｅ ｂ 的是 一 些关 键 词 ，通过 制定 的抽 取规 则进行 面 分块 ”和 “ 抽取 技 术适 应更 复杂 的页 面 ；页 面噪 声处 理 抽取 ，输 出的是 固定形式 的 信息 。 确 定抽 取规 则 或模 式是 Ｉ Ｅ 系统 的重要 环 技术 能有 效提 高 抽取 结果 的精 度等 。 节 ，抽取 规 则的 作用 是 确定 用 户需要 抽取 的 ２ ｗｅ ｂ 抽取信息的原理 信息 ，它是 信息 抽取 系统 的 关键 组成 部分 。 ２ ． １附加 语 义 因此 ，我 们 可以 简单 地对 Ｗｅ ｂ 信 息抽 取下 一 根据 用 户 自己需 求 ，在 查 看 互 联 网的 个定 义 ，ｗ ｅ ｂ 信 息抽 取是 指根 据 制定 的抽 取 规 则 ，从 Ｗｅ ｂ 页 面 中过滤 掉 不相 关的 信息 而 时候 ，把 与 自己需 求相 对应 的 信息块 通 过拖 抽取 出用 户 期望 得到 的信 息 ，具 体一 点是 指 动 鼠标 进 行标 记 ，再对 其进 行语 义 定义 ，这 利 用 抽取 规 则从 ｗｅ ｂ 页面 中的半 结构 或无 结 是 因为抽 取得 到 的信息 要进 行其 他数 据 处理 构 的 信息 中抽 取 出用 户期 望得 到 的数据 ，对 时 ，机 器 能够 更好 的理 解 。附加 语 义就 是把 之 进行 整 理 ，将其 转 变为 语义 更 清晰 、更 结 定 义后 的语 义 与抽 取的 信息 关联 起来 。
Web页面语义信息提取方法的研究的开题报告
Web页面语义信息提取方法的研究的开题报告一、选题背景随着互联网和万维网的迅猛发展，人们可以在网络上获取海量的信息，但是这些信息都是以网页的形式呈现的，而网页数据是以HTML代码形式存在的，这对用户的浏览和查找信息带来了很大的困难。
因此，能够从web页面中自动提取出有用的语义信息，帮助用户更快速、准确地获取所需信息，是一个非常重要的研究方向。
二、研究意义传统的信息抽取技术只能处理结构化的数据，而现在越来越多的信息以非结构化形式出现，如网页、文档等。
因此，研究web页面语义信息的提取方法，可以解决这些非结构化信息的抽取问题，提高信息的利用率和价值。
三、研究内容和方法1. 研究内容本次研究主要旨在探索一种有效的web页面语义信息提取方法，能够准确地提取出web页面中的关键信息，以帮助用户更快速、准确地获取所需信息。
具体内容包括：（1）分析web页面结构和语义标签，确定需要提取的语义信息；（2）选择合适的文本分析技术，提取出所需的关键信息；（3）建立相应的算法模型，提高语义信息提取的准确性和效率。
2. 研究方法（1）实验方法：采用现有的网站作为研究对象，进行实验，收集和分析实验数据。
（2）数据挖掘方法：运用文本分析技术和数据挖掘算法，对web页面的数据进行挖掘和分析。
（3）算法设计方法：根据实验结果，建立适合于web页面数据提取的算法模型，并进行优化和调整。
四、预期成果本研究的预期成果包括：（1）探索一种适合web页面语义信息提取的算法方法；（2）提供一个较为完整的web页面语义信息提取解决方案；（3）推进web页面数据开放和共享，促进智能化信息处理的发展。
五、研究难点本研究的难点主要包括：（1）如何从无规律的web页面中提取有用的语义信息；（2）如何在保证准确性的基础上，提高速度和效率；（3）如何处理语义标签不完整的情况。
六、研究计划本研究的计划如下：第一年：学习和掌握web页面语义信息提取的相关技术和理论。
Web信息抽取技术研究
Web信息抽取技术研究Web信息抽取技术是当前互联网发展中的一个重要研究领域。
在人工智能、大数据时代的今天，信息抽取已经成为获取和处理信息的重要手段。
在众多的信息抽取技术中，Web信息抽取技术占据了十分重要的地位。
本文将围绕这一主题展开。
I. Web信息抽取技术简介Web信息抽取技术是一种自动化信息处理技术，通过网络爬虫、HTML解析、信息提取等技术手段，将Web上的非结构化信息转换为结构化的信息，从而实现对关键信息的提取、分析和应用。
Web信息抽取技术的应用涉及各个领域，如搜索引擎、电子商务、社交网络分析等等。
Web信息抽取技术并不是一个完整的技术体系，而是由多个技术模块组成的集合体。
其中，网络爬虫模块用于获取Web页面，HTML解析模块用于解析Web页面的HTML代码，信息提取模块用于提取目标信息并对其进行分析。
这些技术模块的协同工作，最终实现对Web页面信息的抽取和分析。
II. Web信息抽取技术的应用Web信息抽取技术在各个领域都有广泛的应用。
以下是一些常见的应用场景：1. 搜索引擎搜索引擎是Web信息抽取技术最常见的应用领域之一。
搜索引擎的核心就是对Web页面的信息进行抽取和分析，从而实现搜索引擎对关键词的匹配和检索。
2. 电子商务电子商务领域对Web信息抽取技术的应用非常广泛。
通过对电商网站的产品信息进行抽取和分析，可以实现商品信息的分类、推荐等功能，从而提高电商网站的用户体验。
3. 社交网络分析社交网络分析是近年来发展迅速的一个领域，其中Web信息抽取技术也发挥了重要的作用。
通过对社交网络上用户的信息进行抽取和分析，可以实现社交网络的用户聚类、社区发现等功能。
III. Web信息抽取技术的挑战Web信息抽取技术的应用具有广泛性和复杂性，在应用过程中，面临着一些挑战：1. Web页面结构多样性Web页面的结构十分复杂，有些页面可能包含多个嵌套的表格、DIV等元素，这些元素的层级关系和结构差异非常大，因此Web信息抽取技术需要能够适应各种类型的Web页面结构。
一种基于Web的新闻抽取方法
来 比较智能 和方便 ， 在很多情 况下 并不 宾朋 ， 为有 些 全 但 因 自动化 的方法并 没有做到精确 ， 偏差非 常大 ， 并且不可控制 。
考 虑 到 目前 各 大 门 户 网 站 的 新 闻 页 面 大 都 是 由 网 站 发 布 平 台 自动 生 成 ， 制 作 新 闻 网 页 时 通 常 采 用 相 同 的 模 板 ， 在 因此 同一 网站 的新 闻 网 页 的 结 构 具 有 很 大 的 相 似 性 。 本 文
设 计 了 一种 改 进 的 Ｗｒｐ ｅ 归 纳 方 法 ． 户 可 以通 过 可 视 化 ａｐ ｒ 用
的政治舆论 ， 而且传 播 的速度往 往超 乎人 们 的想 象。 因此 ， 如何对 网络舆情信息进行监控 ． 如何在众多 的舆情信 息中提
炼 ｍ有 价 值 的 舆 情 信 息 并 及 时 有 效 的 给 政 府 部 门 提 供 参 考 就 显 得 十分 重 要 ． 些 问题 正 在 引 起 学 术 界 和 行 政 部 门 的 密 这 切关注。
由 于 不 同 网 站 的 新 闻页 面 格 式 大 不 相 同 ， 要 设 计 相 应 需
有效 的页 面解 析方 法 因此 ， 从新 闻网页中提 取新闻概要 信 息的关键 是为不同类型 的新 闻网页构 造包 装器 。手 工生 成
包 装 器 通 常需 要 ： 花 很 多 时 间 理 解 文 档 的结 构 ． 编 写 专 争家 并 用 的 代码 ， 于 Ｗｅ 由 ｂ信 息 量 巨大 、 新 频 繁 ， 且 格 式 经 常 更 而 变 动 ． 用 人 工 生 成 包 装 器 来 完 成 信 息抽 取 的 方 法 不 仅 麻 烦 采 而且 缺 乏 适 应 性 ． 护 成 本 很 高 。而 全 自动化 方 法 虽 然 看 起 维
Web信息抽取技术研究
科技 １ 吾恳
慨 ｂ信 息抽取技 术研究
戴 慧敏 。 朱艳辉 唐 杰
（ １ ． 湖南工业大学计算机与通信 学院 ２ ． 湖南工学院计算机 与信息科学学院）
［ 摘 要］ 随 着互联 网技 术的快速发展 ， Ｗｅ ｂ 信 息呈现爆 炸性增长 ， 人 们发现 用信 息检 索的方法不能及 时的得到想要 的信 息 ， 于是 出
现 了信 息抽 取 ， Ｗｅ ｂ 信 息抽取是－ ￣Ｙ ＸＷ ｅ ， ｂ 文 档 中 自动 抽 取 感 兴趣 信 息 的 过 程 。 本 文 主 要 介 绍 Ｗ ｅ ｂ 信 息 抽 取 的研 究 现 状 及 抽 取 工 具
和抽取 方法。
［ 关键词 ］Leabharlann Ｗｅ ｂ 信息抽取抽取 工具
抽取 方法
Ｗｅ ｂ 信息抽取就是从 Ｗｅ ｂ 页面所 包含的无结构或半 结构的信息 中 展性 不强。 识别 用户 感兴趣 的数 据 ， 并将 其转 化 为结 构 和语义更 为清 晰 的格 式 。 现阶段的 ｗｅ ｂ 信息抽取方法 ， 分类 的角度有 多种 。 信息抽取技 术其实是一种文本处 理技术 ， 其 目的是根 据预定义 的信息 ， 根据 Ｗｅ ｂ 信息抽 取对象划分 ， 可以分为三种类 型 。从 自由格式 的 从 自然语言文本 中抽取 出特定 的信息 ， 并将 其 以结 构化 的形式 存储在 文本 中抽取 出所需要 的信息 内容 ： 基 于 自然语 言处 理（ Ｎ Ｐ Ｌ ） 的方 式 ， 基 数据库 中供用户查 询使 用。 于规则 的方式 ， 基 于统计学 习的方式 ； 从半结 构化的文 本中 ， 抽 取出所 在 国外 ， 从２ Ｏ 世纪８ ０ 年 代开始 ， 信息抽 取研究 蓬勃 开展起 来 。随 需要的信息 内容 ； 从结构化 的文本 中抽取出所需要的信息 内容 。 着信 息抽 取技术的发展 ， 出现了一些典型 的信 息抽取系统 ， 如基 于 自然 根据 自 动化 程度可 以分为 ： 人 工方式的信息抽取 、 半 自动方式 的信 语 言处 理方 式 的信息 抽取 系统 有 Ｒ Ａ Ｐ Ｉ Ｅ Ｒ， Ｓ Ｒ Ｖ， ＷＮ Ｉ Ｓ Ｋ ； 基 于包 装 器 息抽取和全 自 动方式 的信息 抽取三大类。 （ Ｗｒ ａ ｐ ｐ ｅ ｒ ） 归纳方式的信息抽取系统有 Ｔ Ａ Ｌ Ｋ — Ｅ Ｒ， Ｓ Ｏ Ｈ Ｔ ＭＥ ＡＬ Ｙ， ＷＩ Ｅ Ｎ； 根据 抽取 工具 采用 的原理 不 同对 信息 抽取 方法进 行 的分类 主要 基于Ｈ Ｔ Ｍ Ｌ 结构的信息抽 取系统有 Ｌ Ｉ Ｘ Ｔ Ｏ等 。各种信息 抽取工具 的分 有 ： 基于 自 然语 言处理方式 的信息抽 取 ； 基于包装器归 纳方式的信息抽 类方 式并不 是一成不变 的 ， 有些 工具可 以同时 属于其 中的两种或 多种 取 ； 基于 Ｏ ｎ ｔ ｏ ｌ ｏ ｇ ｙ 方式 的信 息抽取 ； 基于 Ｗｅ ｂ 查 询的信息抽取 。 类 型。 Ｗｅ ｂ 信息抽取虽 然在不断 的向前 发展 ， 但是也存 在很 多不足 ， 并且 抽取 工具方面 ， 随着许 多新技术的发展 ， 也开发 了许多信息抽 取工 面 ｌ 临 很 多挑 战。首先 ， 现有信息 抽取 的抽取 来源大 多数都是从 半结构 具 。南加州 大学信息科 学研究 所研制开 发 了一个 信息集成 系统 ， 应 用 化 的 Ｈ Ｔ Ｍ Ｌ 文本 中抽 取 ， 那 么对那些 含有新 技术 的动态 网页 的信息抽 多 种人工智 能技术 ， 构造 了一个 智能 的动态接 口。该系统 采用带 有明 取是否 能达到很 好 的召回率和查 准率？其次 ， 信息抽 取 的 自动化程度 确 的分 隔符 以区分 不 同元 素 的元组列 表 的形式来 表 达半结构 化 的信 还没有 达到完全 自动 ， 大 多数时候还是需要用 户的参 与。还有 ， 对 中文 息； 美 国斯坦 福大 学计算 机科 学系 的 Ｈ ａ ｍ ｍ ｅ ｒ 等 人开 发 了一 个用 于从 网页的信 息抽取 也是一个难点 。 Ｗｅ ｂ 上抽取 相关信息 的工具 ， 利用 网页 的结构 特点来构造抽取 规则 ， 其 总之 ， Ｗｅ ｂ 信 息抽取是一个 十分活跃的领域 ， 虽然 现在得到 了一定 准确率较高 ， 但是针对 不同的网页结构该 工具 需要定义不 同的规则 ， 通 的发展 ， 但 也存在很多 的不 足之 处 ， 随着信息抽取 的运 用 已变得越来越 广泛 ， 需要更 多这个 领域的研究 ， 从而使抽取技术变得更 加 自动化。 用性 较差。 国内在 信息抽取 方面 的研 究起步较 晚 ， 中文信息抽 取系统 的完整 实现还 处于探 索 阶段 。Ｉ ｎ ｔ ｅ ｌ 中国研究 中心 的 Ｚ ｈ ａ ｎ ｇ Ｙ ｉ ｍ ｉ ｎ 等人在 计算 参 考文献 语 言学协 会第 ３ ８ 届 年度会议 （ Ａ Ｃ Ｌ 一 ２ ０ ０ ０ ） 上演 示 了他们 开发 的一个信 ［ １ ］ 崔春． Ｗｅ ｂ 信 息抽 取 研 究综 述 ［ Ｉ ］ ． 电脑 知 识 与技 术 ， ２ ０ １ ｌ （ ４ ） ： 息抽取 系统 ， 该 系统用于抽 取以 中文 命名 的实体及其相 互关系 。国 内 ７－ １Ｏ 比较著名 的研究 是中国人 民大学数据 与知识研究所提 出的基于预定义 ［ ２ ］ 石宇． 基 于Ｘ ＭＬ 的Ｗｅ ｂ 信 息抽 取与集 成技 术的研 究［ Ｄ］ ． 大连 ： 模式 的包装器 、 中 国科技 大学提 出的基于 多层模式 的多记 录网页信息 大连海事 大学硕士 学位论 文， ２ ０ ０ ６ 抽取 方法 、 中国科学 院软件研 究所提 出的基 于 Ｄ Ｏ Ｍ的 Ｗｅ ｂ 信 息抽取 、 ｌ ３ ｊ Ｈａ ｍｍｅ ｒ Ｊ ． Ｔｅ ｍｐ ｌ ａ ｔ ｅ — ｂ ａ ｓ ｅ ｄ ｗｒ ａ ｐ ｐ ｅ ｒ ｓ ｉ ｎ ｔ ｈ ｅ Ｔ Ｓ Ｉ ＭＭ Ｉ Ｓ ｓ ｙ ｓ ｔ ｅ ｍ． Ｉ ｎ ｏ ｃ ｅ ｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ９ ９ ７ ＡＣＭ Ｓ Ｉ ＧＭ ＯＤ ｉ ｎ ｔ ｅ ｎａ ｒ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎ 浙江大学人工智 能研究所提 出的基 于本体论 的 Ｗｅ ｂ 信息抽取等 。这些 Ｐｒ 信息 抽取技 术 的提 出对 解决 Ｗｅ ｂ 信息抽 取 中存在 的问题 有一定 的帮 Ｍ ａ ｎ ａ ｇ ｅ ｍｅ ｎｔ ｏ ｆｄ ａ ｔ ａ ， １ ９ ９ ７： ５ ３ ２ —５ ３ ５ 助， 推 动了抽 取技术 的发展 ， 但 这些 抽取方法有其局 限性。如大部分信 ［ ４ ］ 蒲 筱 哥． 基于Ｗｅ ｂ 的信息抽取技术研究综述［ Ｉ ］ ． 现 代 情 报， 息抽取 系统 采用 自定义 的语 言描述 抽取规则 ， 导致抽 取模式不统一 ， 扩 ２ ０ ０ ７ ． ２ ７ （ １ ０ ）
慨 ｂ信 息抽取技 术研究
戴 慧敏 。 朱艳辉 唐 杰
（ １ ． 湖南工业大学计算机与通信 学院 ２ ． 湖南工学院计算机 与信息科学学院）
［ 摘 要］ 随 着互联 网技 术的快速发展 ， Ｗｅ ｂ 信 息呈现爆 炸性增长 ， 人 们发现 用信 息检 索的方法不能及 时的得到想要 的信 息 ， 于是 出
现 了信 息抽 取 ， Ｗｅ ｂ 信 息抽取是－ ￣Ｙ ＸＷ ｅ ， ｂ 文 档 中 自动 抽 取 感 兴趣 信 息 的 过 程 。 本 文 主 要 介 绍 Ｗ ｅ ｂ 信 息 抽 取 的研 究 现 状 及 抽 取 工 具
和抽取 方法。
［ 关键词 ］Leabharlann Ｗｅ ｂ 信息抽取抽取 工具
抽取 方法
Ｗｅ ｂ 信息抽取就是从 Ｗｅ ｂ 页面所 包含的无结构或半 结构的信息 中 展性 不强。 识别 用户 感兴趣 的数 据 ， 并将 其转 化 为结 构 和语义更 为清 晰 的格 式 。 现阶段的 ｗｅ ｂ 信息抽取方法 ， 分类 的角度有 多种 。 信息抽取技 术其实是一种文本处 理技术 ， 其 目的是根 据预定义 的信息 ， 根据 Ｗｅ ｂ 信息抽 取对象划分 ， 可以分为三种类 型 。从 自由格式 的 从 自然语言文本 中抽取 出特定 的信息 ， 并将 其 以结 构化 的形式 存储在 文本 中抽取 出所需要 的信息 内容 ： 基 于 自然语 言处 理（ Ｎ Ｐ Ｌ ） 的方 式 ， 基 数据库 中供用户查 询使 用。 于规则 的方式 ， 基 于统计学 习的方式 ； 从半结 构化的文 本中 ， 抽 取出所 在 国外 ， 从２ Ｏ 世纪８ ０ 年 代开始 ， 信息抽 取研究 蓬勃 开展起 来 。随 需要的信息 内容 ； 从结构化 的文本 中抽取出所需要的信息 内容 。 着信 息抽 取技术的发展 ， 出现了一些典型 的信 息抽取系统 ， 如基 于 自然 根据 自 动化 程度可 以分为 ： 人 工方式的信息抽取 、 半 自动方式 的信 语 言处 理方 式 的信息 抽取 系统 有 Ｒ Ａ Ｐ Ｉ Ｅ Ｒ， Ｓ Ｒ Ｖ， ＷＮ Ｉ Ｓ Ｋ ； 基 于包 装 器 息抽取和全 自 动方式 的信息 抽取三大类。 （ Ｗｒ ａ ｐ ｐ ｅ ｒ ） 归纳方式的信息抽取系统有 Ｔ Ａ Ｌ Ｋ — Ｅ Ｒ， Ｓ Ｏ Ｈ Ｔ ＭＥ ＡＬ Ｙ， ＷＩ Ｅ Ｎ； 根据 抽取 工具 采用 的原理 不 同对 信息 抽取 方法进 行 的分类 主要 基于Ｈ Ｔ Ｍ Ｌ 结构的信息抽 取系统有 Ｌ Ｉ Ｘ Ｔ Ｏ等 。各种信息 抽取工具 的分 有 ： 基于 自 然语 言处理方式 的信息抽 取 ； 基于包装器归 纳方式的信息抽 类方 式并不 是一成不变 的 ， 有些 工具可 以同时 属于其 中的两种或 多种 取 ； 基于 Ｏ ｎ ｔ ｏ ｌ ｏ ｇ ｙ 方式 的信 息抽取 ； 基于 Ｗｅ ｂ 查 询的信息抽取 。 类 型。 Ｗｅ ｂ 信息抽取虽 然在不断 的向前 发展 ， 但是也存 在很 多不足 ， 并且 抽取 工具方面 ， 随着许 多新技术的发展 ， 也开发 了许多信息抽 取工 面 ｌ 临 很 多挑 战。首先 ， 现有信息 抽取 的抽取 来源大 多数都是从 半结构 具 。南加州 大学信息科 学研究 所研制开 发 了一个 信息集成 系统 ， 应 用 化 的 Ｈ Ｔ Ｍ Ｌ 文本 中抽 取 ， 那 么对那些 含有新 技术 的动态 网页 的信息抽 多 种人工智 能技术 ， 构造 了一个 智能 的动态接 口。该系统 采用带 有明 取是否 能达到很 好 的召回率和查 准率？其次 ， 信息抽 取 的 自动化程度 确 的分 隔符 以区分 不 同元 素 的元组列 表 的形式来 表 达半结构 化 的信 还没有 达到完全 自动 ， 大 多数时候还是需要用 户的参 与。还有 ， 对 中文 息； 美 国斯坦 福大 学计算 机科 学系 的 Ｈ ａ ｍ ｍ ｅ ｒ 等 人开 发 了一 个用 于从 网页的信 息抽取 也是一个难点 。 Ｗｅ ｂ 上抽取 相关信息 的工具 ， 利用 网页 的结构 特点来构造抽取 规则 ， 其 总之 ， Ｗｅ ｂ 信 息抽取是一个 十分活跃的领域 ， 虽然 现在得到 了一定 准确率较高 ， 但是针对 不同的网页结构该 工具 需要定义不 同的规则 ， 通 的发展 ， 但 也存在很多 的不 足之 处 ， 随着信息抽取 的运 用 已变得越来越 广泛 ， 需要更 多这个 领域的研究 ， 从而使抽取技术变得更 加 自动化。 用性 较差。 国内在 信息抽取 方面 的研 究起步较 晚 ， 中文信息抽 取系统 的完整 实现还 处于探 索 阶段 。Ｉ ｎ ｔ ｅ ｌ 中国研究 中心 的 Ｚ ｈ ａ ｎ ｇ Ｙ ｉ ｍ ｉ ｎ 等人在 计算 参 考文献 语 言学协 会第 ３ ８ 届 年度会议 （ Ａ Ｃ Ｌ 一 ２ ０ ０ ０ ） 上演 示 了他们 开发 的一个信 ［ １ ］ 崔春． Ｗｅ ｂ 信 息抽 取 研 究综 述 ［ Ｉ ］ ． 电脑 知 识 与技 术 ， ２ ０ １ ｌ （ ４ ） ： 息抽取 系统 ， 该 系统用于抽 取以 中文 命名 的实体及其相 互关系 。国 内 ７－ １Ｏ 比较著名 的研究 是中国人 民大学数据 与知识研究所提 出的基于预定义 ［ ２ ］ 石宇． 基 于Ｘ ＭＬ 的Ｗｅ ｂ 信 息抽 取与集 成技 术的研 究［ Ｄ］ ． 大连 ： 模式 的包装器 、 中 国科技 大学提 出的基于 多层模式 的多记 录网页信息 大连海事 大学硕士 学位论 文， ２ ０ ０ ６ 抽取 方法 、 中国科学 院软件研 究所提 出的基 于 Ｄ Ｏ Ｍ的 Ｗｅ ｂ 信 息抽取 、 ｌ ３ ｊ Ｈａ ｍｍｅ ｒ Ｊ ． Ｔｅ ｍｐ ｌ ａ ｔ ｅ — ｂ ａ ｓ ｅ ｄ ｗｒ ａ ｐ ｐ ｅ ｒ ｓ ｉ ｎ ｔ ｈ ｅ Ｔ Ｓ Ｉ ＭＭ Ｉ Ｓ ｓ ｙ ｓ ｔ ｅ ｍ． Ｉ ｎ ｏ ｃ ｅ ｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ９ ９ ７ ＡＣＭ Ｓ Ｉ ＧＭ ＯＤ ｉ ｎ ｔ ｅ ｎａ ｒ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎ 浙江大学人工智 能研究所提 出的基 于本体论 的 Ｗｅ ｂ 信息抽取等 。这些 Ｐｒ 信息 抽取技 术 的提 出对 解决 Ｗｅ ｂ 信息抽 取 中存在 的问题 有一定 的帮 Ｍ ａ ｎ ａ ｇ ｅ ｍｅ ｎｔ ｏ ｆｄ ａ ｔ ａ ， １ ９ ９ ７： ５ ３ ２ —５ ３ ５ 助， 推 动了抽 取技术 的发展 ， 但 这些 抽取方法有其局 限性。如大部分信 ［ ４ ］ 蒲 筱 哥． 基于Ｗｅ ｂ 的信息抽取技术研究综述［ Ｉ ］ ． 现 代 情 报， 息抽取 系统 采用 自定义 的语 言描述 抽取规则 ， 导致抽 取模式不统一 ， 扩 ２ ０ ０ ７ ． ２ ７ （ １ ０ ）
基于标签树WEB信息抽取
基于标签树的WEB信息抽取的研究摘要：探讨把相似网页转化成标签树，引入树编辑距离的概念,利用树匹配算法来量化网页结构相似度。
把该算法应用于web信息抽取，采用树的相似度匹配算法实现对网页的结构的聚类,从而获取网页标签树模板。
在标签树模板的基础上,再次引入结构相似度算法并结合基于模板网页的抽取规则实现网页的自动化抽取。
关键词：树编辑距离结构相似度树匹配算法1.引言近几年来，随着internet的飞速发展，越来越多的信息都是通过网络的途径来发布的，其中网页更是占着绝大部分的表示形式，因此web信息抽取成为相关领域的研究热点。
在web信息抽取领域,将数据从缺乏结构约束的web页面中抽取出来,转化为结构化数据的过程被称为包装(wrapping)。
包装器通常利用语义项的结构特征来定位抽取信息,采用归纳学习获得抽取规则。
在本文提出利用树的结构相似度来实现基于规则的web自动信息抽取,探讨如何构造标签树,并通过标签树匹配算法计算网页间的结构相似度,从而实现网页的自动聚类。
网页结构相似度的比较使包装器可感知页面的变化,通过自动检测模板和匹配规则,实现web信息的自动提取。
2.网页相似度网页结构相似度的量化指标为树的编辑距离,编辑距离又称levenshtein距离。
树的编辑距离的计算基于树之间的转换，将一棵树转换为另一棵树意味着在两棵树之间进行一系列的节点的插入、删除和替换,每一次操作耗费一定成本。
若两棵树的结构差异大,意味着操作成本高,操作成本低则表明树的结构差异小。
因此树的编辑距离表示的是两棵树转换所需要的最小操作成本。
这一问题可等价描述为寻求两棵树之间的最小编辑成本的映射关系。
以下给出面向树的节点映射关系的定义及树编辑距离的计算公式: 定义:若t1 转换为t2 ,树的编辑距离为两棵树转换所需编辑操作的累计损耗。
则有:，其中, 、、分别为节点替换、删除和插入操作的单位损耗,为不匹配的节点对集合的基数,是中没有出现在m 中的节点集合的基数,是中没有出现在中的节点集合的基数。
基于HMM的Web信息抽取算法的研究与应用
ｏ ｄ ｌＨ ｒ ｏ ｅ （ Ｍ Ｍ ） ｄ ｓ ｕ ｓ ｄ｝ Ｗ ｏ ｕ ｅ Ｈ Ｍ Ｍ ｎ ｏ ｔ ｒ ａ ａ ｉ ｅ ｔ ｉｆ ｒ ｔｏ ｘ ｒｃ ｉｎ ｏ ｆｒ ｄ ｓ ｖ ｒ ｌ ｔ 。 ｉｃ ｓ ｅ ｌ Ｏ ｔ ｓ ａ ｄ ｈ ｗ ｏ ｍａ ｋ ｄ ｔ ｎ ｔ ｘ ｎ ｏ ｍａ ｉｎ ｅ ｔａ ｔ ， ｆ ｅ ｅ ｅａ ｏ ｅ ｍｅｈ ｄ ｏ ｉ ｐ ｏ ｅ ｔ ｅ ｈ ｄ ｅ ａ ｋ ｖ ｍｏ ｅ ｎ ｉ ｆ ｒ ｔ ｎ ｅ ｔ ａ ｔ ｎ ｉ ｔｏ ｕ ｅ ｈ ｓ ａ ｌ ｈ ｎ ｆ ｅ ｎ ｏ ｍａ ｉ ｎ ｅ ｓ ｔ ｍ ｒ ｖ ｈ ｉ ｄ ｎ Ｍ ｒ ｏ ｄ ｌ ｎ ｏ ｍａ ｉ ｘ ｒ ｃ ｉ ，ｎ ｒ ｄ ｃ ｄ ｔ ｅ ｅ ｔ ｂ ｉ ｍｅ ｔｏ ｂ ｉ ｆ ｒ ｔ ｘ ｉ ｏ ｏ ｓ Ｗ ｏ ｔ ａ ｔ ｎ ｍｏ ｅ ａ ｅ ｎ ＨＭ Ｍ ， ｍｐ ｒ ｔ ｅｙ ａ ａｙ ｅ ｈ ｕ ｐ ｔｄ ｔ ｆｉ ｆ ｒ ａ ｉ ｎ ｅ ｔａ ｔ ｎ， ｅ ｉ ｅ ｈ ａ ｉ ｉ ｆ ｒ ｃ ｉ ｄ ｌｂ ｓ ｄ ｏ ｏ Ｃｏ ａ ａ ｉ ｌ ｎ ｌ ｓ ｄ ｔ ｅｏ ｔ ｕ ａ ａ ｏ ｏ ｍ ｔ ｘ ｒ ｃ ｉ ｖ ｒｆ ｄ ｔ ｅ ｖ ｌ ｔ ｏ ｖ ｎ ｏ ｏ ｉ ｄ ｙ ｔ ｅ ａｇ ｒ ｈ ｔ ｒ ｕ ｈ ｅ ｐ ｒｍｅ ｔ． ｈ ｌ ｏ ｉ ｍ ｈ ｏ ｇ ｘ ｅ ｉ ｎ ｓ ｔ Ｋｅ ｗｏ ｄ ＨＭ Ｍ 。ｎ ｏ ｍａ ｉ ｎ ｅ ｔａ ｔ ｎ Ｍ ａ ｈ ｎ ｅ ｒ ｉ ｇ ｙ ｒｓ Ｉ ｆ ｒ ｔ ｘ ｒ ｃ ｉ ， ｃ ｉｅ ｌａ ｎ ｎ ｏ ｏ
ＺＨ Ｕ ｅ— ｕ ＩＵ ＬＩ Ｂｉ－ ｉ Ｗ ｉ ａ Ｙｉ ｈ Ｕ ｎ ｂ ｎ
（ ｃ ｏ ｌｏ ｙ ｆｗａ ｅＥｎ ｉ ｅ ｉｇ， ｏ ｇ ｉｇ Ｕ ｎｖ ｒ ｉ Ｃｈ ｎ ｑｎ ０ ０４ Ｃｈｎ ） Ｓ ｈ ｏ ｆ？ｏ ｔ ｒ ｇｎｅ ｒｎ Ｃｈ ｎ ｑｎ ｉｅｓｔ ｙ， ｏ ｇ ｉｇ ４ ０ ４． ｉａ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用 户 。三层 结 构 图 如下 图 １ 示 。 所
用 户 浏 览 、客 户端 程 序
１ 【
ｌ部 口 解 Ｄ 树据存 Ｉ 外接层ｌ 析ｏ 数并储 ｌ Ｍ
解
。
ｌ 据Ｍ描 文 抽结 Ｉ依 Ｌ述档 取 果ｌ
３ 信 息抽 取性 能评 价
图２信息抽取模型
３ １检索数据 的有效性 ． 基于ｗ ｂ 面的变动 ，容 易造成不能够准确地从 已改变的页面提取 ｅ页 出数据。构建校验系统不间断的监视数据抽取 的质量 ，通过Ｘ Ｌ Ｉ 滤器 Ｓ１ 过 对ｘ 输 出进行检测 ，从 “ ＭＩ 好”的数据中分离 出来的 “ 坏”数据 ３２ 检索质量评价体 系 ． Ｗｅ信息抽取技术的评测依据经典的信息检索 （Ｒ）评价指标 ，即 ｂ Ｉ 回召率 （ ｅａ ）和查准率 （ ｒｃｓ ｎ Ｒ ｃｌ １ Ｐｅｉｏ ）来衡量。其计算公式为： ｉ Ｐ 抽出的正确信息点数所 有抽出的信息点数 － Ｒ 抽出的正确信息点数所 有正确 的信息点数 ＝ 以此为标准衡量信息抽取系统 的精确程度 。
图１信息集成层次模型 ＤＯＭ （ ｏ ｕ ｎ０ ｉｃＭ０ ｅ，文档对 象模型 ）是一种供 Ｈ ＭＬ Ｄ ｃ ｍｅ ｔ ｂｅ ｔ ｄ １ Ｔ 和 ＸＭＬ 文档使用 的应用程序编程接 口 （ Ｉ ＡＰ ），定义了文档 的逻辑结构 以 及访 问和操作文档 中各个 部分的标准方法 。构建ＤＯ Ｍ结构 树为 了抽取 Ｘ Ｌ Ｍ 文档信息 ，对收集 的Ｗｅ 页面进行 结构分析 ，建立相应 的根元素 ｂ （ ｏｕ ｎＥｅ ｅ ｔ Ｄ ｅｍｅ ｔｌｍ ｎ ）和节点 （ ｏ ｅ Ｎ ｄ ）。Ｎ ｅ ｄ ｏ ￣象通过继承关系形成一裸 Ｏ 树 ，它继ｆ ＯＭ ｆ ￣ Ｎ ｄ对象 的属性和操作 ，同时又有各 自特殊的属性 ｏｅ 和操作 ，通过标记识别 和定位信息 。使用此模型 ，有效地将Ｗｅ文档 中 ｂ 的数据抽取出来表示为Ｘ ＭＤ陷式的文档 ，简化信息抽取工作 ，方便地形 成ｘ 【 据源 ，为Ｄ Ｍ Ｍ数 Ｏ 等数据提供访 问接 口， 于用户访问与检索。 利
１ × 信 息集 成系 统模 型设 计 ＭＬ
将信 息集成分为标记抽取层、传输解释层 、外部接 口层三个层次。 作 为最底层 的标记 抽取层 ，为系统提取 和集 成数据信 息。传输解 释层 作 为中间层 ，主要负责将Ｄ Ｍ Ｏ 客户端Ａ Ｉ Ｐ 向系统发 出的查询 指令转 换为 ｘＭＬ 查询 ，并 分发给各个包装器。最高层的外部接 口层解释并翻译用户 查询命令 ，传递给传输解释层 ，获得并解释查 询结果树 ，将结果显示给
ｒ０：４ ５ ． ２） — ５ ５
— 羹
２０第３ ０年 １ １ 期
科 技 与 生 活
信 息 科 学
ｌ １
基 于 ｗｅ 的信 息 抽 取 方法 研 究 ｂ
王 毅
（ 山东省泰安 市中心医 院信 息中心 ，山东泰 安 ２ １ ０ ７ ０ ０）
摘 要 结合 Ｄ Ｍ方法构 造模型 ，运用ｘ 建立精确 文档信 息 ，解决半 结构化 网页动态信 息抽取 的困难 ，提 出一种新 型的基于样 本的信息检 Ｏ ＭＬ 索方法 ，将信息整 合为新数 据模型 ，提高 网络信息抽 取的效率 和准确度 。 关键 词 信息抽 取 ；Ｘ Ｌ；Ｄ Ｍ方法 Ｍ Ｏ 中 图分 类号 Ｔ ３３ 文献 标识 码 Ａ Ｐ９ 文章 编 号 １７ —６ １（ １）７— １— １ ６ ３９ ７一２ ０ １０ １０ ０ ０
随着Ｉ ｅ ｔ ｎ ｍｅ ｔ 的发展和普及 ，基于ｗｅ信息查询 的需求愈加旺盛 。信 ｂ 息抽取是指从文本中 自动抽取相关的或特定类 型的信 息，并将其形成结 构化的数 据以供 用户查询。 由于５ 成以上的 的网页 由后 台数据库 生成的 半结构化 网页 ，搜索引擎无法从此类网页中直接获取有效数据 ，精确定 义Ｗｅ 资源中的词 汇信息 ，结合Ｄ Ｍ ｂ Ｏ 方法建立精简有效的本体模型和抽
与应 用，０ ７ ３１ ４ １ ８ ２ ０ ， ：１ — ． ４ １ ［］ ４梅雪 ， 旗， 岩． 种全 自动 生成 网页信 息Ｗｒｐ ｅ的方法［】 程学 郭 一 ａｐｒ Ｊ 中文 信息 学 ．
报 ， ０ （） ２ ８１ ０ ．
［】 琼， 文建 ． 于网页结 构 树１Ｗｅ信 息抽 签方 法［． 算机工 程 ， ０ ，１ ５陈 苏 基 ￣ ｂ ３ Ｊ计 ］ ２ ５ ０ ３
参 考 文献 【］ 腾蛟， 世渭， 冬青， 云峰． １ 王 唐 杨 刘 半结 构化数 据 的局部精 确模式 提取方法 ［ ． Ｊ 第 １
十 七届全 国数据 库学术会 议（ Ｄ Ｃ ００ ， ０ ，０ ２ ２ ． Ｎ Ｂ ２ ０ ） ０ ０ １： — ８ ２ ２
信息分离 ：主要包括页面精 简和重 复模式发现 。页面精简器对 页面 进行精简处理 ，然后 由重复模式发现器在此基础上构造一个符号化 的后 缀树 ， 再使用本文提出的方法进行重复模式的查找。 页 面精 简 ：对Ｗｅ 网页修饰类信息进行精简 ，将Ｈ Ｍ 文档转换为 ｂ Ｔ Ｌ ＸＨ ＭＬ Ｔ 文档 ，将 ＨＴ 标签 和标签 间的文本作 为标 记 串，对 符号化 的 ＭＬ Ｘ Ｔ 页面实施对标记串进行数据抽取 。 Ｈ ＭＬ 重复模式发现 ：对页面精 简器构造 的符号化后缀树查找重复 的字符 串。构造后缀树 可将带有头标签的子串插入到后缀树 ，后缀树中总以一 个头标签为开始循环 ，由此减小检索规模 ，缩减遍历时间 ，提高了抽取 的效率 。结合ｗｅ中重复标记 ，并输 出到分装器数据库。 ｈ
［］ 庆 一 ， ２ｚ Ｅ 王继 成 ， 源 远 ． 信 息 块 Ｗｅ 页 面 中的 抽 取规 则 ［］ 算机 工 程 周 多 ｂ Ｊ＿ 计
ｆ． ０ ， （ ： －４ Ｊ ２ ３２ ９ ４ ４ ． １０ ９ ）２
［１ ３李永丽， 良． 张玉 பைடு நூலகம்种基于后缀树的包装器 自动生成方法研究［ ． Ｊ计算机工程 】
２ 基于 Ｗｅ 页 面 的信 息定位 与 抽取 ｂ
基 于网页结构特征分析的信息抽取 。将Ｗｅ 文档转换成反映Ｈ Ｍ ￣ ｂ Ｔ Ｌ 件层次结构的解 析树 ，通过 自动或半 自动的方式产生抽取规则。将 信息 抽取模型分为信息标记 、信 息抽取 和信息重组３ 个模块 ，通过对要抽取 信息项的概念 、类型和实例中值的描述 ，构建信息抽取核心。整个抽取
过 程 如 图２ 示 。 所
４ 结 论 本文从ⅢｍＬ 结构特点构造ｗｅ信息抽取系统 ，提出了方便 、简单 的 ｂ Ｗｅ 信息抽取框架 ，结合Ｄ Ｍ 构造模型 ，采用流程配置的策 略来构造 ｂ Ｏ 树 抽取规则 ， 提高配置ｘ Ｌ Ｍ 文档的智能化 ，实Ｆ Ｗｅ ｆ Ａ ｌ 息的抽取。 ｆ
取规 则 。
信息抽取 ：依靠抽 取路径 、左右邻标识及节点特征等进行辨别和提 取。而对 于ｗ ｂ ｅ 页面动态信 息检索采用相对路径方法结合节点内容特征 进行定位 。把文本里包含的信息进行结构化处理 ，变成表格一样的组织 形式。输入信息抽取系统的是原始文本 ，输出的是固定格式的信息点。 信息点从各种 各样的文 档中被抽取 出来 ，然后 以统一 的形式集成在一 起 ，方便检查和比较并能对数据作 自动化处理。
用 户 浏 览 、客 户端 程 序
１ 【
ｌ部 口 解 Ｄ 树据存 Ｉ 外接层ｌ 析ｏ 数并储 ｌ Ｍ
解
。
ｌ 据Ｍ描 文 抽结 Ｉ依 Ｌ述档 取 果ｌ
３ 信 息抽 取性 能评 价
图２信息抽取模型
３ １检索数据 的有效性 ． 基于ｗ ｂ 面的变动 ，容 易造成不能够准确地从 已改变的页面提取 ｅ页 出数据。构建校验系统不间断的监视数据抽取 的质量 ，通过Ｘ Ｌ Ｉ 滤器 Ｓ１ 过 对ｘ 输 出进行检测 ，从 “ ＭＩ 好”的数据中分离 出来的 “ 坏”数据 ３２ 检索质量评价体 系 ． Ｗｅ信息抽取技术的评测依据经典的信息检索 （Ｒ）评价指标 ，即 ｂ Ｉ 回召率 （ ｅａ ）和查准率 （ ｒｃｓ ｎ Ｒ ｃｌ １ Ｐｅｉｏ ）来衡量。其计算公式为： ｉ Ｐ 抽出的正确信息点数所 有抽出的信息点数 － Ｒ 抽出的正确信息点数所 有正确 的信息点数 ＝ 以此为标准衡量信息抽取系统 的精确程度 。
图１信息集成层次模型 ＤＯＭ （ ｏ ｕ ｎ０ ｉｃＭ０ ｅ，文档对 象模型 ）是一种供 Ｈ ＭＬ Ｄ ｃ ｍｅ ｔ ｂｅ ｔ ｄ １ Ｔ 和 ＸＭＬ 文档使用 的应用程序编程接 口 （ Ｉ ＡＰ ），定义了文档 的逻辑结构 以 及访 问和操作文档 中各个 部分的标准方法 。构建ＤＯ Ｍ结构 树为 了抽取 Ｘ Ｌ Ｍ 文档信息 ，对收集 的Ｗｅ 页面进行 结构分析 ，建立相应 的根元素 ｂ （ ｏｕ ｎＥｅ ｅ ｔ Ｄ ｅｍｅ ｔｌｍ ｎ ）和节点 （ ｏ ｅ Ｎ ｄ ）。Ｎ ｅ ｄ ｏ ￣象通过继承关系形成一裸 Ｏ 树 ，它继ｆ ＯＭ ｆ ￣ Ｎ ｄ对象 的属性和操作 ，同时又有各 自特殊的属性 ｏｅ 和操作 ，通过标记识别 和定位信息 。使用此模型 ，有效地将Ｗｅ文档 中 ｂ 的数据抽取出来表示为Ｘ ＭＤ陷式的文档 ，简化信息抽取工作 ，方便地形 成ｘ 【 据源 ，为Ｄ Ｍ Ｍ数 Ｏ 等数据提供访 问接 口， 于用户访问与检索。 利
１ × 信 息集 成系 统模 型设 计 ＭＬ
将信 息集成分为标记抽取层、传输解释层 、外部接 口层三个层次。 作 为最底层 的标记 抽取层 ，为系统提取 和集 成数据信 息。传输解 释层 作 为中间层 ，主要负责将Ｄ Ｍ Ｏ 客户端Ａ Ｉ Ｐ 向系统发 出的查询 指令转 换为 ｘＭＬ 查询 ，并 分发给各个包装器。最高层的外部接 口层解释并翻译用户 查询命令 ，传递给传输解释层 ，获得并解释查 询结果树 ，将结果显示给
ｒ０：４ ５ ． ２） — ５ ５
— 羹
２０第３ ０年 １ １ 期
科 技 与 生 活
信 息 科 学
ｌ １
基 于 ｗｅ 的信 息 抽 取 方法 研 究 ｂ
王 毅
（ 山东省泰安 市中心医 院信 息中心 ，山东泰 安 ２ １ ０ ７ ０ ０）
摘 要 结合 Ｄ Ｍ方法构 造模型 ，运用ｘ 建立精确 文档信 息 ，解决半 结构化 网页动态信 息抽取 的困难 ，提 出一种新 型的基于样 本的信息检 Ｏ ＭＬ 索方法 ，将信息整 合为新数 据模型 ，提高 网络信息抽 取的效率 和准确度 。 关键 词 信息抽 取 ；Ｘ Ｌ；Ｄ Ｍ方法 Ｍ Ｏ 中 图分 类号 Ｔ ３３ 文献 标识 码 Ａ Ｐ９ 文章 编 号 １７ —６ １（ １）７— １— １ ６ ３９ ７一２ ０ １０ １０ ０ ０
随着Ｉ ｅ ｔ ｎ ｍｅ ｔ 的发展和普及 ，基于ｗｅ信息查询 的需求愈加旺盛 。信 ｂ 息抽取是指从文本中 自动抽取相关的或特定类 型的信 息，并将其形成结 构化的数 据以供 用户查询。 由于５ 成以上的 的网页 由后 台数据库 生成的 半结构化 网页 ，搜索引擎无法从此类网页中直接获取有效数据 ，精确定 义Ｗｅ 资源中的词 汇信息 ，结合Ｄ Ｍ ｂ Ｏ 方法建立精简有效的本体模型和抽
与应 用，０ ７ ３１ ４ １ ８ ２ ０ ， ：１ — ． ４ １ ［］ ４梅雪 ， 旗， 岩． 种全 自动 生成 网页信 息Ｗｒｐ ｅ的方法［】 程学 郭 一 ａｐｒ Ｊ 中文 信息 学 ．
报 ， ０ （） ２ ８１ ０ ．
［】 琼， 文建 ． 于网页结 构 树１Ｗｅ信 息抽 签方 法［． 算机工 程 ， ０ ，１ ５陈 苏 基 ￣ ｂ ３ Ｊ计 ］ ２ ５ ０ ３
参 考 文献 【］ 腾蛟， 世渭， 冬青， 云峰． １ 王 唐 杨 刘 半结 构化数 据 的局部精 确模式 提取方法 ［ ． Ｊ 第 １
十 七届全 国数据 库学术会 议（ Ｄ Ｃ ００ ， ０ ，０ ２ ２ ． Ｎ Ｂ ２ ０ ） ０ ０ １： — ８ ２ ２
信息分离 ：主要包括页面精 简和重 复模式发现 。页面精简器对 页面 进行精简处理 ，然后 由重复模式发现器在此基础上构造一个符号化 的后 缀树 ， 再使用本文提出的方法进行重复模式的查找。 页 面精 简 ：对Ｗｅ 网页修饰类信息进行精简 ，将Ｈ Ｍ 文档转换为 ｂ Ｔ Ｌ ＸＨ ＭＬ Ｔ 文档 ，将 ＨＴ 标签 和标签 间的文本作 为标 记 串，对 符号化 的 ＭＬ Ｘ Ｔ 页面实施对标记串进行数据抽取 。 Ｈ ＭＬ 重复模式发现 ：对页面精 简器构造 的符号化后缀树查找重复 的字符 串。构造后缀树 可将带有头标签的子串插入到后缀树 ，后缀树中总以一 个头标签为开始循环 ，由此减小检索规模 ，缩减遍历时间 ，提高了抽取 的效率 。结合ｗｅ中重复标记 ，并输 出到分装器数据库。 ｈ
［］ 庆 一 ， ２ｚ Ｅ 王继 成 ， 源 远 ． 信 息 块 Ｗｅ 页 面 中的 抽 取规 则 ［］ 算机 工 程 周 多 ｂ Ｊ＿ 计
ｆ． ０ ， （ ： －４ Ｊ ２ ３２ ９ ４ ４ ． １０ ９ ）２
［１ ３李永丽， 良． 张玉 பைடு நூலகம்种基于后缀树的包装器 自动生成方法研究［ ． Ｊ计算机工程 】
２ 基于 Ｗｅ 页 面 的信 息定位 与 抽取 ｂ
基 于网页结构特征分析的信息抽取 。将Ｗｅ 文档转换成反映Ｈ Ｍ ￣ ｂ Ｔ Ｌ 件层次结构的解 析树 ，通过 自动或半 自动的方式产生抽取规则。将 信息 抽取模型分为信息标记 、信 息抽取 和信息重组３ 个模块 ，通过对要抽取 信息项的概念 、类型和实例中值的描述 ，构建信息抽取核心。整个抽取
过 程 如 图２ 示 。 所
４ 结 论 本文从ⅢｍＬ 结构特点构造ｗｅ信息抽取系统 ，提出了方便 、简单 的 ｂ Ｗｅ 信息抽取框架 ，结合Ｄ Ｍ 构造模型 ，采用流程配置的策 略来构造 ｂ Ｏ 树 抽取规则 ， 提高配置ｘ Ｌ Ｍ 文档的智能化 ，实Ｆ Ｗｅ ｆ Ａ ｌ 息的抽取。 ｆ
取规 则 。
信息抽取 ：依靠抽 取路径 、左右邻标识及节点特征等进行辨别和提 取。而对 于ｗ ｂ ｅ 页面动态信 息检索采用相对路径方法结合节点内容特征 进行定位 。把文本里包含的信息进行结构化处理 ，变成表格一样的组织 形式。输入信息抽取系统的是原始文本 ，输出的是固定格式的信息点。 信息点从各种 各样的文 档中被抽取 出来 ，然后 以统一 的形式集成在一 起 ，方便检查和比较并能对数据作 自动化处理。