浅谈web信息抽取
合集下载
基于Web的信息抽取技术探讨
性较 差 、缺 乏健 壮性 仍然 是现 有信 息 抽取 技 术 所 面 临 的 问题 。性 能 较 好 的信 息 抽取 系 统 ，其规 则 的制定 需 要用 户的 大量 参 与 ， 自 动 化 程度 不高 ；而 自动化 程度 较高 的信 息抽 取 系统 ，抽取 数据 的 准确 率较 低 ，实 用性 较 差。 国 内最早 涉及 ｗｅ ｂ 信 息抽 取系 统研 究 的 文 献 资料是 ２ ０ ０ ２ 年 的硕 士论 文 “ 基于 领域 知 识 和 信息 抽 取 的个 性化 Ｗ ｅ ｂ 查 询 系统 ” ＿ ２ Ｊ 。 在 国 内期 刊 发 表 的学 术论 文 中 ，最 早 涉 及 要 从海 量 的互 联 网中得 到 用户 想要 的信 Ｗｅ ｂ 信 息抽 取 系统 研 究 的是 ２ ０ ０ ３ 年２ 月发 表 息 ，大 部 分人第 一 反应 是 通过 各种 搜索 引擎 的 “ 基于信息抽取的Ｗｅ ｂ 查询 系 统 的 设 计 工 具 ，如 知 名 度 较 高 的 有 Ｇ ｏ ｏ ｇ ｌ ｅ 、百 度 、 与实现” 一文 ， 该 文 介 绍 了综 合 利 用 信 息 Ｙ ａ ｈ ｏ ｏ 等 ，根 据 用 户的查 询 请求 ，搜 索 引擎 检 索 技 术 、数 据 库 技 术 和 机 器 学 习 技 术 的 能够 找 到相 关信 息 的 网页 ，这些 结果 动辄 成 优 点 ，设 计 并 实 现 了一 个 Ｗ ｅ ｂ 查询 系统 。 百上 千 条 ，有很 多重 复 的 内容 ，而且 各 网站 距 目前最 近 的有 关文 章是 ２ ０ １ ２ 年ｌ ２ 月 发表 的 “ 基 于 Ｗｅ ｂ 信 息 资 源数 据 挖掘 技 术研 究 ”＿ ４ 的信 息 内容互 相 独立 ，搜 索 引擎 的 “ 网络 爬 虫 ” 收 集 不 到 网上 数 据 库 里 面 的 信 息 。 因 文 ，在 该文 中 ，探 讨 了利 用 Ｗｅ ｂ 教学 信息 此 ，要想 得 到更 精确 、更 细粒 度 的信 息 ，便 资源 数据 挖掘 中间结 果进 行探 索式 的 Ｗｅ ｂ 教 要运 用￣ Ｕ Ｗｅ ｂ 信 息抽 取技 术 ，就 是本 文所 要 学信 息资 源数 据 挖掘 的解 决方 案 ，介绍 了如 探讨 的 内容 。 何从 数 据 库 中提 取 分析 与任 务 相关 的数 据 ， 以便进 行 教学 信息 资源 的 整体 筛选 。在 基于 ｂ 的信 息抽 取方 面 ，国 内比较 著 名的研 究 １ Ｗｅ ｂ 信息抽取技术概念及其在国内外 Ｗ ｅ 有 中 国科学 院 的杨 少华 、林 海略 、韩 燕波 等 的发展历程 Ｗｅ ｂ 信 息抽 取（ Ｗｅ ｂ Ｉ ｎ ｆ ０ ｒ ｍａ ｔ ｉ ０ ｎ 人 ，提 出 了一个 从模 板生 成 页面 检测 出数 据 Ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ，简称 Ｗｅ ｂ Ｉ Ｅ ） 简单 一 点来 说 就 模 板 ，并利 用 检测 出 的模板 自动 从 网页 中抽 是 从Ｗ ｅ ｂ 页面 中抽 取 出所 需要 的信 息 的一 种 取 数据 的新 方法 ；中 国人 民大学 数据 与知 识 活 动 。Ｗｅ ｂ 信 息抽 取 的主要 功 能是 把用 户期 研 究所 提 出的基 于预 定 义模 式的 包装 器 ；浙 望 得到 的信 息 点从 各种 各样 的 Ｗｅ ｂ 页面 中抽 江 大学 人工 智能 研究 所提 出的基 于本 体论 的 ｂ 信 息抽 取等 。最 近几 年 ， 国内除 了研 究 取 出来 ，并 对这 个 信息 进行 梳理 ，再 以 统一 Ｗｅ 的格 式集 成 在一 起 。Ｗｅ ｂ 信 息抽 取一 般 会形 这些 相对 完 整的 信息 抽取 系 统之 外 ，还 大 力 页 成一 个信 息抽取 系统 ，最开 始输 入信 息 系统 研究 跟信 息 抽取 相关 的一 些技 术 ，比 如 “ 主 题分 析 圈” 等技 术能 使Ｗｅ ｂ 的是 一 些关 键 词 ，通过 制定 的抽 取规 则进行 面 分块 ”和 “ 抽取 技 术适 应更 复杂 的页 面 ；页 面噪 声处 理 抽取 ，输 出的是 固定形式 的 信息 。 确 定抽 取规 则 或模 式是 Ｉ Ｅ 系统 的重要 环 技术 能有 效提 高 抽取 结果 的精 度等 。 节 ，抽取 规 则的 作用 是 确定 用 户需要 抽取 的 ２ ｗｅ ｂ 抽取信息的原理 信息 ，它是 信息 抽取 系统 的 关键 组成 部分 。 ２ ． １附加 语 义 因此 ，我 们 可以 简单 地对 Ｗｅ ｂ 信 息抽 取下 一 根据 用 户 自己需 求 ，在 查 看 互 联 网的 个定 义 ，ｗ ｅ ｂ 信 息抽 取是 指根 据 制定 的抽 取 规 则 ，从 Ｗｅ ｂ 页 面 中过滤 掉 不相 关的 信息 而 时候 ，把 与 自己需 求相 对应 的 信息块 通 过拖 抽取 出用 户 期望 得到 的信 息 ，具 体一 点是 指 动 鼠标 进 行标 记 ，再对 其进 行语 义 定义 ，这 利 用 抽取 规 则从 ｗｅ ｂ 页面 中的半 结构 或无 结 是 因为抽 取得 到 的信息 要进 行其 他数 据 处理 构 的 信息 中抽 取 出用 户期 望得 到 的数据 ，对 时 ，机 器 能够 更好 的理 解 。附加 语 义就 是把 之 进行 整 理 ，将其 转 变为 语义 更 清晰 、更 结 定 义后 的语 义 与抽 取的 信息 关联 起来 。
Web信息抽取技术研究
Web信息抽取技术研究Web信息抽取技术是当前互联网发展中的一个重要研究领域。
在人工智能、大数据时代的今天，信息抽取已经成为获取和处理信息的重要手段。
在众多的信息抽取技术中，Web信息抽取技术占据了十分重要的地位。
本文将围绕这一主题展开。
I. Web信息抽取技术简介Web信息抽取技术是一种自动化信息处理技术，通过网络爬虫、HTML解析、信息提取等技术手段，将Web上的非结构化信息转换为结构化的信息，从而实现对关键信息的提取、分析和应用。
Web信息抽取技术的应用涉及各个领域，如搜索引擎、电子商务、社交网络分析等等。
Web信息抽取技术并不是一个完整的技术体系，而是由多个技术模块组成的集合体。
其中，网络爬虫模块用于获取Web页面，HTML解析模块用于解析Web页面的HTML代码，信息提取模块用于提取目标信息并对其进行分析。
这些技术模块的协同工作，最终实现对Web页面信息的抽取和分析。
II. Web信息抽取技术的应用Web信息抽取技术在各个领域都有广泛的应用。
以下是一些常见的应用场景：1. 搜索引擎搜索引擎是Web信息抽取技术最常见的应用领域之一。
搜索引擎的核心就是对Web页面的信息进行抽取和分析，从而实现搜索引擎对关键词的匹配和检索。
2. 电子商务电子商务领域对Web信息抽取技术的应用非常广泛。
通过对电商网站的产品信息进行抽取和分析，可以实现商品信息的分类、推荐等功能，从而提高电商网站的用户体验。
3. 社交网络分析社交网络分析是近年来发展迅速的一个领域，其中Web信息抽取技术也发挥了重要的作用。
通过对社交网络上用户的信息进行抽取和分析，可以实现社交网络的用户聚类、社区发现等功能。
III. Web信息抽取技术的挑战Web信息抽取技术的应用具有广泛性和复杂性，在应用过程中，面临着一些挑战：1. Web页面结构多样性Web页面的结构十分复杂，有些页面可能包含多个嵌套的表格、DIV等元素，这些元素的层级关系和结构差异非常大，因此Web信息抽取技术需要能够适应各种类型的Web页面结构。
web挖掘的基本任务
web挖掘的基本任务
Web挖掘的基本任务是指从Web中提取有价值的信息或模式，其主要包括以下几种类型：
1.内容挖掘：指从Web页面中提取出有用的信息。
由于Web页面经常是半
结构化或非结构化的，因此内容挖掘需要处理HTML和XML文档，解析并提取出文本、图片、音频、视频等多媒体内容。
2.结构挖掘：指对Web页面的超链接关系进行挖掘，找出重要的页面，理解
网站的结构和组织方式，以及发现页面之间的关系。
3.使用挖掘：主要通过挖掘服务器日志文件，获取有关用户访问行为的信息，
例如用户访问路径、访问频率、停留时间等，从而理解用户的访问模式和偏好。
4.用户行为挖掘：结合内容挖掘和用户日志挖掘，深入理解用户在Web上的
活动，包括浏览、搜索、点击、购买等行为，用于精准推荐、个性化广告等应用。
5.社区发现：通过分析用户在社交媒体或论坛上的互动，发现用户之间的社
交关系和社区结构。
综上，Web挖掘的基本任务是从Web中提取有价值的信息或模式，这些信息或模式可能是内容、结构、使用情况、用户行为或社区关系。
Web信息抽取技术研究
科技 １ 吾恳
慨 ｂ信 息抽取技 术研究
戴 慧敏 。 朱艳辉 唐 杰
（ １ ． 湖南工业大学计算机与通信 学院 ２ ． 湖南工学院计算机 与信息科学学院）
［ 摘 要］ 随 着互联 网技 术的快速发展 ， Ｗｅ ｂ 信 息呈现爆 炸性增长 ， 人 们发现 用信 息检 索的方法不能及 时的得到想要 的信 息 ， 于是 出
现 了信 息抽 取 ， Ｗｅ ｂ 信 息抽取是－ ￣Ｙ ＸＷ ｅ ， ｂ 文 档 中 自动 抽 取 感 兴趣 信 息 的 过 程 。 本 文 主 要 介 绍 Ｗ ｅ ｂ 信 息 抽 取 的研 究 现 状 及 抽 取 工 具
和抽取 方法。
［ 关键词 ］Leabharlann Ｗｅ ｂ 信息抽取抽取 工具
抽取 方法
Ｗｅ ｂ 信息抽取就是从 Ｗｅ ｂ 页面所 包含的无结构或半 结构的信息 中 展性 不强。 识别 用户 感兴趣 的数 据 ， 并将 其转 化 为结 构 和语义更 为清 晰 的格 式 。 现阶段的 ｗｅ ｂ 信息抽取方法 ， 分类 的角度有 多种 。 信息抽取技 术其实是一种文本处 理技术 ， 其 目的是根 据预定义 的信息 ， 根据 Ｗｅ ｂ 信息抽 取对象划分 ， 可以分为三种类 型 。从 自由格式 的 从 自然语言文本 中抽取 出特定 的信息 ， 并将 其 以结 构化 的形式 存储在 文本 中抽取 出所需要 的信息 内容 ： 基 于 自然语 言处 理（ Ｎ Ｐ Ｌ ） 的方 式 ， 基 数据库 中供用户查 询使 用。 于规则 的方式 ， 基 于统计学 习的方式 ； 从半结 构化的文 本中 ， 抽 取出所 在 国外 ， 从２ Ｏ 世纪８ ０ 年 代开始 ， 信息抽 取研究 蓬勃 开展起 来 。随 需要的信息 内容 ； 从结构化 的文本 中抽取出所需要的信息 内容 。 着信 息抽 取技术的发展 ， 出现了一些典型 的信 息抽取系统 ， 如基 于 自然 根据 自 动化 程度可 以分为 ： 人 工方式的信息抽取 、 半 自动方式 的信 语 言处 理方 式 的信息 抽取 系统 有 Ｒ Ａ Ｐ Ｉ Ｅ Ｒ， Ｓ Ｒ Ｖ， ＷＮ Ｉ Ｓ Ｋ ； 基 于包 装 器 息抽取和全 自 动方式 的信息 抽取三大类。 （ Ｗｒ ａ ｐ ｐ ｅ ｒ ） 归纳方式的信息抽取系统有 Ｔ Ａ Ｌ Ｋ — Ｅ Ｒ， Ｓ Ｏ Ｈ Ｔ ＭＥ ＡＬ Ｙ， ＷＩ Ｅ Ｎ； 根据 抽取 工具 采用 的原理 不 同对 信息 抽取 方法进 行 的分类 主要 基于Ｈ Ｔ Ｍ Ｌ 结构的信息抽 取系统有 Ｌ Ｉ Ｘ Ｔ Ｏ等 。各种信息 抽取工具 的分 有 ： 基于 自 然语 言处理方式 的信息抽 取 ； 基于包装器归 纳方式的信息抽 类方 式并不 是一成不变 的 ， 有些 工具可 以同时 属于其 中的两种或 多种 取 ； 基于 Ｏ ｎ ｔ ｏ ｌ ｏ ｇ ｙ 方式 的信 息抽取 ； 基于 Ｗｅ ｂ 查 询的信息抽取 。 类 型。 Ｗｅ ｂ 信息抽取虽 然在不断 的向前 发展 ， 但是也存 在很 多不足 ， 并且 抽取 工具方面 ， 随着许 多新技术的发展 ， 也开发 了许多信息抽 取工 面 ｌ 临 很 多挑 战。首先 ， 现有信息 抽取 的抽取 来源大 多数都是从 半结构 具 。南加州 大学信息科 学研究 所研制开 发 了一个 信息集成 系统 ， 应 用 化 的 Ｈ Ｔ Ｍ Ｌ 文本 中抽 取 ， 那 么对那些 含有新 技术 的动态 网页 的信息抽 多 种人工智 能技术 ， 构造 了一个 智能 的动态接 口。该系统 采用带 有明 取是否 能达到很 好 的召回率和查 准率？其次 ， 信息抽 取 的 自动化程度 确 的分 隔符 以区分 不 同元 素 的元组列 表 的形式来 表 达半结构 化 的信 还没有 达到完全 自动 ， 大 多数时候还是需要用 户的参 与。还有 ， 对 中文 息； 美 国斯坦 福大 学计算 机科 学系 的 Ｈ ａ ｍ ｍ ｅ ｒ 等 人开 发 了一 个用 于从 网页的信 息抽取 也是一个难点 。 Ｗｅ ｂ 上抽取 相关信息 的工具 ， 利用 网页 的结构 特点来构造抽取 规则 ， 其 总之 ， Ｗｅ ｂ 信 息抽取是一个 十分活跃的领域 ， 虽然 现在得到 了一定 准确率较高 ， 但是针对 不同的网页结构该 工具 需要定义不 同的规则 ， 通 的发展 ， 但 也存在很多 的不 足之 处 ， 随着信息抽取 的运 用 已变得越来越 广泛 ， 需要更 多这个 领域的研究 ， 从而使抽取技术变得更 加 自动化。 用性 较差。 国内在 信息抽取 方面 的研 究起步较 晚 ， 中文信息抽 取系统 的完整 实现还 处于探 索 阶段 。Ｉ ｎ ｔ ｅ ｌ 中国研究 中心 的 Ｚ ｈ ａ ｎ ｇ Ｙ ｉ ｍ ｉ ｎ 等人在 计算 参 考文献 语 言学协 会第 ３ ８ 届 年度会议 （ Ａ Ｃ Ｌ 一 ２ ０ ０ ０ ） 上演 示 了他们 开发 的一个信 ［ １ ］ 崔春． Ｗｅ ｂ 信 息抽 取 研 究综 述 ［ Ｉ ］ ． 电脑 知 识 与技 术 ， ２ ０ １ ｌ （ ４ ） ： 息抽取 系统 ， 该 系统用于抽 取以 中文 命名 的实体及其相 互关系 。国 内 ７－ １Ｏ 比较著名 的研究 是中国人 民大学数据 与知识研究所提 出的基于预定义 ［ ２ ］ 石宇． 基 于Ｘ ＭＬ 的Ｗｅ ｂ 信 息抽 取与集 成技 术的研 究［ Ｄ］ ． 大连 ： 模式 的包装器 、 中 国科技 大学提 出的基于 多层模式 的多记 录网页信息 大连海事 大学硕士 学位论 文， ２ ０ ０ ６ 抽取 方法 、 中国科学 院软件研 究所提 出的基 于 Ｄ Ｏ Ｍ的 Ｗｅ ｂ 信 息抽取 、 ｌ ３ ｊ Ｈａ ｍｍｅ ｒ Ｊ ． Ｔｅ ｍｐ ｌ ａ ｔ ｅ — ｂ ａ ｓ ｅ ｄ ｗｒ ａ ｐ ｐ ｅ ｒ ｓ ｉ ｎ ｔ ｈ ｅ Ｔ Ｓ Ｉ ＭＭ Ｉ Ｓ ｓ ｙ ｓ ｔ ｅ ｍ． Ｉ ｎ ｏ ｃ ｅ ｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ９ ９ ７ ＡＣＭ Ｓ Ｉ ＧＭ ＯＤ ｉ ｎ ｔ ｅ ｎａ ｒ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎ 浙江大学人工智 能研究所提 出的基 于本体论 的 Ｗｅ ｂ 信息抽取等 。这些 Ｐｒ 信息 抽取技 术 的提 出对 解决 Ｗｅ ｂ 信息抽 取 中存在 的问题 有一定 的帮 Ｍ ａ ｎ ａ ｇ ｅ ｍｅ ｎｔ ｏ ｆｄ ａ ｔ ａ ， １ ９ ９ ７： ５ ３ ２ —５ ３ ５ 助， 推 动了抽 取技术 的发展 ， 但 这些 抽取方法有其局 限性。如大部分信 ［ ４ ］ 蒲 筱 哥． 基于Ｗｅ ｂ 的信息抽取技术研究综述［ Ｉ ］ ． 现 代 情 报， 息抽取 系统 采用 自定义 的语 言描述 抽取规则 ， 导致抽 取模式不统一 ， 扩 ２ ０ ０ ７ ． ２ ７ （ １ ０ ）
慨 ｂ信 息抽取技 术研究
戴 慧敏 。 朱艳辉 唐 杰
（ １ ． 湖南工业大学计算机与通信 学院 ２ ． 湖南工学院计算机 与信息科学学院）
［ 摘 要］ 随 着互联 网技 术的快速发展 ， Ｗｅ ｂ 信 息呈现爆 炸性增长 ， 人 们发现 用信 息检 索的方法不能及 时的得到想要 的信 息 ， 于是 出
现 了信 息抽 取 ， Ｗｅ ｂ 信 息抽取是－ ￣Ｙ ＸＷ ｅ ， ｂ 文 档 中 自动 抽 取 感 兴趣 信 息 的 过 程 。 本 文 主 要 介 绍 Ｗ ｅ ｂ 信 息 抽 取 的研 究 现 状 及 抽 取 工 具
和抽取 方法。
［ 关键词 ］Leabharlann Ｗｅ ｂ 信息抽取抽取 工具
抽取 方法
Ｗｅ ｂ 信息抽取就是从 Ｗｅ ｂ 页面所 包含的无结构或半 结构的信息 中 展性 不强。 识别 用户 感兴趣 的数 据 ， 并将 其转 化 为结 构 和语义更 为清 晰 的格 式 。 现阶段的 ｗｅ ｂ 信息抽取方法 ， 分类 的角度有 多种 。 信息抽取技 术其实是一种文本处 理技术 ， 其 目的是根 据预定义 的信息 ， 根据 Ｗｅ ｂ 信息抽 取对象划分 ， 可以分为三种类 型 。从 自由格式 的 从 自然语言文本 中抽取 出特定 的信息 ， 并将 其 以结 构化 的形式 存储在 文本 中抽取 出所需要 的信息 内容 ： 基 于 自然语 言处 理（ Ｎ Ｐ Ｌ ） 的方 式 ， 基 数据库 中供用户查 询使 用。 于规则 的方式 ， 基 于统计学 习的方式 ； 从半结 构化的文 本中 ， 抽 取出所 在 国外 ， 从２ Ｏ 世纪８ ０ 年 代开始 ， 信息抽 取研究 蓬勃 开展起 来 。随 需要的信息 内容 ； 从结构化 的文本 中抽取出所需要的信息 内容 。 着信 息抽 取技术的发展 ， 出现了一些典型 的信 息抽取系统 ， 如基 于 自然 根据 自 动化 程度可 以分为 ： 人 工方式的信息抽取 、 半 自动方式 的信 语 言处 理方 式 的信息 抽取 系统 有 Ｒ Ａ Ｐ Ｉ Ｅ Ｒ， Ｓ Ｒ Ｖ， ＷＮ Ｉ Ｓ Ｋ ； 基 于包 装 器 息抽取和全 自 动方式 的信息 抽取三大类。 （ Ｗｒ ａ ｐ ｐ ｅ ｒ ） 归纳方式的信息抽取系统有 Ｔ Ａ Ｌ Ｋ — Ｅ Ｒ， Ｓ Ｏ Ｈ Ｔ ＭＥ ＡＬ Ｙ， ＷＩ Ｅ Ｎ； 根据 抽取 工具 采用 的原理 不 同对 信息 抽取 方法进 行 的分类 主要 基于Ｈ Ｔ Ｍ Ｌ 结构的信息抽 取系统有 Ｌ Ｉ Ｘ Ｔ Ｏ等 。各种信息 抽取工具 的分 有 ： 基于 自 然语 言处理方式 的信息抽 取 ； 基于包装器归 纳方式的信息抽 类方 式并不 是一成不变 的 ， 有些 工具可 以同时 属于其 中的两种或 多种 取 ； 基于 Ｏ ｎ ｔ ｏ ｌ ｏ ｇ ｙ 方式 的信 息抽取 ； 基于 Ｗｅ ｂ 查 询的信息抽取 。 类 型。 Ｗｅ ｂ 信息抽取虽 然在不断 的向前 发展 ， 但是也存 在很 多不足 ， 并且 抽取 工具方面 ， 随着许 多新技术的发展 ， 也开发 了许多信息抽 取工 面 ｌ 临 很 多挑 战。首先 ， 现有信息 抽取 的抽取 来源大 多数都是从 半结构 具 。南加州 大学信息科 学研究 所研制开 发 了一个 信息集成 系统 ， 应 用 化 的 Ｈ Ｔ Ｍ Ｌ 文本 中抽 取 ， 那 么对那些 含有新 技术 的动态 网页 的信息抽 多 种人工智 能技术 ， 构造 了一个 智能 的动态接 口。该系统 采用带 有明 取是否 能达到很 好 的召回率和查 准率？其次 ， 信息抽 取 的 自动化程度 确 的分 隔符 以区分 不 同元 素 的元组列 表 的形式来 表 达半结构 化 的信 还没有 达到完全 自动 ， 大 多数时候还是需要用 户的参 与。还有 ， 对 中文 息； 美 国斯坦 福大 学计算 机科 学系 的 Ｈ ａ ｍ ｍ ｅ ｒ 等 人开 发 了一 个用 于从 网页的信 息抽取 也是一个难点 。 Ｗｅ ｂ 上抽取 相关信息 的工具 ， 利用 网页 的结构 特点来构造抽取 规则 ， 其 总之 ， Ｗｅ ｂ 信 息抽取是一个 十分活跃的领域 ， 虽然 现在得到 了一定 准确率较高 ， 但是针对 不同的网页结构该 工具 需要定义不 同的规则 ， 通 的发展 ， 但 也存在很多 的不 足之 处 ， 随着信息抽取 的运 用 已变得越来越 广泛 ， 需要更 多这个 领域的研究 ， 从而使抽取技术变得更 加 自动化。 用性 较差。 国内在 信息抽取 方面 的研 究起步较 晚 ， 中文信息抽 取系统 的完整 实现还 处于探 索 阶段 。Ｉ ｎ ｔ ｅ ｌ 中国研究 中心 的 Ｚ ｈ ａ ｎ ｇ Ｙ ｉ ｍ ｉ ｎ 等人在 计算 参 考文献 语 言学协 会第 ３ ８ 届 年度会议 （ Ａ Ｃ Ｌ 一 ２ ０ ０ ０ ） 上演 示 了他们 开发 的一个信 ［ １ ］ 崔春． Ｗｅ ｂ 信 息抽 取 研 究综 述 ［ Ｉ ］ ． 电脑 知 识 与技 术 ， ２ ０ １ ｌ （ ４ ） ： 息抽取 系统 ， 该 系统用于抽 取以 中文 命名 的实体及其相 互关系 。国 内 ７－ １Ｏ 比较著名 的研究 是中国人 民大学数据 与知识研究所提 出的基于预定义 ［ ２ ］ 石宇． 基 于Ｘ ＭＬ 的Ｗｅ ｂ 信 息抽 取与集 成技 术的研 究［ Ｄ］ ． 大连 ： 模式 的包装器 、 中 国科技 大学提 出的基于 多层模式 的多记 录网页信息 大连海事 大学硕士 学位论 文， ２ ０ ０ ６ 抽取 方法 、 中国科学 院软件研 究所提 出的基 于 Ｄ Ｏ Ｍ的 Ｗｅ ｂ 信 息抽取 、 ｌ ３ ｊ Ｈａ ｍｍｅ ｒ Ｊ ． Ｔｅ ｍｐ ｌ ａ ｔ ｅ — ｂ ａ ｓ ｅ ｄ ｗｒ ａ ｐ ｐ ｅ ｒ ｓ ｉ ｎ ｔ ｈ ｅ Ｔ Ｓ Ｉ ＭＭ Ｉ Ｓ ｓ ｙ ｓ ｔ ｅ ｍ． Ｉ ｎ ｏ ｃ ｅ ｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ９ ９ ７ ＡＣＭ Ｓ Ｉ ＧＭ ＯＤ ｉ ｎ ｔ ｅ ｎａ ｒ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎ 浙江大学人工智 能研究所提 出的基 于本体论 的 Ｗｅ ｂ 信息抽取等 。这些 Ｐｒ 信息 抽取技 术 的提 出对 解决 Ｗｅ ｂ 信息抽 取 中存在 的问题 有一定 的帮 Ｍ ａ ｎ ａ ｇ ｅ ｍｅ ｎｔ ｏ ｆｄ ａ ｔ ａ ， １ ９ ９ ７： ５ ３ ２ —５ ３ ５ 助， 推 动了抽 取技术 的发展 ， 但 这些 抽取方法有其局 限性。如大部分信 ［ ４ ］ 蒲 筱 哥． 基于Ｗｅ ｂ 的信息抽取技术研究综述［ Ｉ ］ ． 现 代 情 报， 息抽取 系统 采用 自定义 的语 言描述 抽取规则 ， 导致抽 取模式不统一 ， 扩 ２ ０ ０ ７ ． ２ ７ （ １ ０ ）
Web信息抽取系统研究综述
规 结构 描 述 中抽 取 一 些 简单 信 息填 入 一 个
具 有 固 定记 录 格 式 数 据 库 中１。 ４ １ 近 年 来 ， ｂ 息抽 取 系统 的研 究成果 Ｗｅ 信
何 准 确 的从 Ｗ ｅ 页 面 中抽 取 所需 要 内容 的 的无 结 构 或半 结构 的 信 息 中识 别用 户感 兴 不 断 出现 。 同的研 究人 员在研 究Ｗｅ ｂ 不 ｂ信息 所 技术 ， Ｗｅ 信 息抽取 系统贝 是利 用Ｗ ｅ 信 趣 的 数据 ， 而 ｂ ０ ｂ 并将 其 转 化 为 结 构 和 语 义 更 为 抽 取 的实 现 时 ， 侧 重 的 角度 也 不 尽相 同 ， 息 抽 取 技 术 实 现 的 应 用 软 件 系 统 ， 研 发 清晰 的格 式 （ 其 ＸＭＬ、 系 数 据 面 向 对 象 的 有 基 于语 义 的 、 关 领域 知 识 的 、 网站 语 义结 构
１引言
随 着Ｉ ｔ ｒ ｅ 上信 息 的 爆 炸式 增 长 ， ｎｅ ｎ ｔ 万 大 的 、 重 要 的 信 息 资 源 库 。 万 维 网上 ， 最 在
信息 抽 取 与 信 息 检 素 和 数 据 挖 掘 是 不 统和ＡＴＲＡＮＳ 系统等 。 ｉｇ ｉｔｃ ｔ ｎ 的 Ｌ ｎ ｕ ｓｉ Ｓ ｒ ｇ ｉ
该 方报 告 ， 它们 已经 在Ｉ ｔｒ ｅ 上发现 超过 １ ｎｅｎ ｔ 万 识 和 模式 。 流 程 来看 ， 息 检索 可 以 作 为 事 脚 本 理 论 建 立的 一 个 信 息 抽 取 系 统 。 从 信
亿个Ｗｅ 文档 ， ｂ 而且 这 个 数 字 还 在 以每 天 信 息 抽 取 的 前 期 工 作 ， 过 信 息 检 索 获 得 系 统 从 新 闻报 道 中 抽 取 信 息 ， 通 内容 涉 及 地 几 十亿 的 速 度持 续 增长 ｆ。 万维 网上 每时 相关 的 文档 集 ， 此基 础 上 进行 信 息 抽 取 。 ｌ在 １ 在
基于web的信息抽取方法研究
用 户 。三层 结 构 图 如下 图 １ 示 。 所
用 户 浏 览 、客 户端 程 序
１ 【
ｌ部 口 解 Ｄ 树据存 Ｉ 外接层ｌ 析ｏ 数并储 ｌ Ｍ
解
。
ｌ 据Ｍ描 文 抽结 Ｉ依 Ｌ述档 取 果ｌ
３ 信 息抽 取性 能评 价
图２信息抽取模型
３ １检索数据 的有效性 ． 基于ｗ ｂ 面的变动 ，容 易造成不能够准确地从 已改变的页面提取 ｅ页 出数据。构建校验系统不间断的监视数据抽取 的质量 ，通过Ｘ Ｌ Ｉ 滤器 Ｓ１ 过 对ｘ 输 出进行检测 ，从 “ ＭＩ 好”的数据中分离 出来的 “ 坏”数据 ３２ 检索质量评价体 系 ． Ｗｅ信息抽取技术的评测依据经典的信息检索 （Ｒ）评价指标 ，即 ｂ Ｉ 回召率 （ ｅａ ）和查准率 （ ｒｃｓ ｎ Ｒ ｃｌ １ Ｐｅｉｏ ）来衡量。其计算公式为： ｉ Ｐ 抽出的正确信息点数所 有抽出的信息点数 － Ｒ 抽出的正确信息点数所 有正确 的信息点数 ＝ 以此为标准衡量信息抽取系统 的精确程度 。
图１信息集成层次模型 ＤＯＭ （ ｏ ｕ ｎ０ ｉｃＭ０ ｅ，文档对 象模型 ）是一种供 Ｈ ＭＬ Ｄ ｃ ｍｅ ｔ ｂｅ ｔ ｄ １ Ｔ 和 ＸＭＬ 文档使用 的应用程序编程接 口 （ Ｉ ＡＰ ），定义了文档 的逻辑结构 以 及访 问和操作文档 中各个 部分的标准方法 。构建ＤＯ Ｍ结构 树为 了抽取 Ｘ Ｌ Ｍ 文档信息 ，对收集 的Ｗｅ 页面进行 结构分析 ，建立相应 的根元素 ｂ （ ｏｕ ｎＥｅ ｅ ｔ Ｄ ｅｍｅ ｔｌｍ ｎ ）和节点 （ ｏ ｅ Ｎ ｄ ）。Ｎ ｅ ｄ ｏ ￣象通过继承关系形成一裸 Ｏ 树 ，它继ｆ ＯＭ ｆ ￣ Ｎ ｄ对象 的属性和操作 ，同时又有各 自特殊的属性 ｏｅ 和操作 ，通过标记识别 和定位信息 。使用此模型 ，有效地将Ｗｅ文档 中 ｂ 的数据抽取出来表示为Ｘ ＭＤ陷式的文档 ，简化信息抽取工作 ，方便地形 成ｘ 【 据源 ，为Ｄ Ｍ Ｍ数 Ｏ 等数据提供访 问接 口， 于用户访问与检索。 利
用 户 浏 览 、客 户端 程 序
１ 【
ｌ部 口 解 Ｄ 树据存 Ｉ 外接层ｌ 析ｏ 数并储 ｌ Ｍ
解
。
ｌ 据Ｍ描 文 抽结 Ｉ依 Ｌ述档 取 果ｌ
３ 信 息抽 取性 能评 价
图２信息抽取模型
３ １检索数据 的有效性 ． 基于ｗ ｂ 面的变动 ，容 易造成不能够准确地从 已改变的页面提取 ｅ页 出数据。构建校验系统不间断的监视数据抽取 的质量 ，通过Ｘ Ｌ Ｉ 滤器 Ｓ１ 过 对ｘ 输 出进行检测 ，从 “ ＭＩ 好”的数据中分离 出来的 “ 坏”数据 ３２ 检索质量评价体 系 ． Ｗｅ信息抽取技术的评测依据经典的信息检索 （Ｒ）评价指标 ，即 ｂ Ｉ 回召率 （ ｅａ ）和查准率 （ ｒｃｓ ｎ Ｒ ｃｌ １ Ｐｅｉｏ ）来衡量。其计算公式为： ｉ Ｐ 抽出的正确信息点数所 有抽出的信息点数 － Ｒ 抽出的正确信息点数所 有正确 的信息点数 ＝ 以此为标准衡量信息抽取系统 的精确程度 。
图１信息集成层次模型 ＤＯＭ （ ｏ ｕ ｎ０ ｉｃＭ０ ｅ，文档对 象模型 ）是一种供 Ｈ ＭＬ Ｄ ｃ ｍｅ ｔ ｂｅ ｔ ｄ １ Ｔ 和 ＸＭＬ 文档使用 的应用程序编程接 口 （ Ｉ ＡＰ ），定义了文档 的逻辑结构 以 及访 问和操作文档 中各个 部分的标准方法 。构建ＤＯ Ｍ结构 树为 了抽取 Ｘ Ｌ Ｍ 文档信息 ，对收集 的Ｗｅ 页面进行 结构分析 ，建立相应 的根元素 ｂ （ ｏｕ ｎＥｅ ｅ ｔ Ｄ ｅｍｅ ｔｌｍ ｎ ）和节点 （ ｏ ｅ Ｎ ｄ ）。Ｎ ｅ ｄ ｏ ￣象通过继承关系形成一裸 Ｏ 树 ，它继ｆ ＯＭ ｆ ￣ Ｎ ｄ对象 的属性和操作 ，同时又有各 自特殊的属性 ｏｅ 和操作 ，通过标记识别 和定位信息 。使用此模型 ，有效地将Ｗｅ文档 中 ｂ 的数据抽取出来表示为Ｘ ＭＤ陷式的文档 ，简化信息抽取工作 ，方便地形 成ｘ 【 据源 ，为Ｄ Ｍ Ｍ数 Ｏ 等数据提供访 问接 口， 于用户访问与检索。 利
Web页面主题信息抽取研究与实现
Ａｂ ｔ ａ ｔ Ｔ ｅ ｓ ｒ ｃ ： ｈ ｍａｎ ｎ ｏ ｍａ ｉｎ ｎ ｗｅ ｐ ｇ ｉ ｌ ａ ｓ ｉ ｄ ｄ ｍｏ ｇ ｎｍｐ ｒａ ｔ ｅ ｔ ｒ ｓ ｕ ｈ ｓ ｎ ｅ ｅ ｓ ｒ ｉ ｉｆ ｒ ｔ ｉ ａ ｏ ｂ ａ ｅ ｓ ｗ ｙ ｈｄ ｅ ａ ｎ ｕ ｉ ｏｔ ｎ ｆ ａｕ ｅ ｓ ｃ ａ ｕ ｎ ｃ ｓ ａｙ ａ ｉ ｇ ｓ ｎ ｉ ｅｅ ａ ｔ ｌ ｋ ， ｉ ｍａ ｅ ａ ｄ ｒ ｌｖ ｎ ｉ ｓ ｔ ｓ ｒ ｎ ｈ ｍａ ｅ ｉ ｉ ｉｕ ｔ ｏ ｔ ｅ ｓ ｒ ｔ ａ ｑ ｉ ｔ ｅ ｏ ｉａ ｉ ｏ ａｉｎ， ｎ ｔ ａ ｌ ｔ ｔ ｋ ｓ ｔ ｆ ｃ ｌ ｒ ｈ ｕ ｅ ｓ ｏ ｃ ｕ ｒ ｈ ｔｐ ｃ ｌ ｎ ｒ ｔ ｄ ｆ ｅ ｆ ｍ ｏ ａｄ ｈｔ ｉ ｓ ｓ ｍｉ ｉ ａ ａｌｂ ｌ ｙ Ｉ ｈ ｓ ｐ ｐ ｒ ｗｅ ｐ ｏ ｏ ｅ ｏ ｅ ａ ｐ ｏ ｃ ｏ ｅ ｔａ ｔ ｔ ｐ ｃ ｌ ｉ ｏ ａｉ ｎ ｒ ｍ ｗ ｂ ｐ ｇ ｓ ｎ ｐ ｅ ｅ ｔ ｔ ｅ ｖ ｉ ｉ ｔ ． ｔ ｉ ａ ｅ ， ｒ ｐ ｓ ａ ｎ ｖ ｌ ｐ ｒ ａ ｈ ｔ ｘｒ ｃ ｏ ｉ ａ ｎ ｒ ｔ ｆ ａ ｉ ｎ ｆ ｍ ｏ ｏ ｅ ａ ｅ ａ ｄ ｒ ｓ ｎ ｈ ｃ ｒ ｓ ｏ ｄ ｎ ｌ ｏ ｉ ｍｓＥ ｐ ｒ ｎ ｓ ｎ ｓ ｔ ｆ ５， ０ ｂ ａ ｅ ｆ ｍ １ ０ ｉ ｅ ｅ ｔ ｉ ｓ ｈ ｗ ｈ ｔ ｈ ｍｅｈ ｄ ｓ ｏｒ ｐ ｎ ｉ ｇ ａ ｇ ｒ ｅ ｈ ｔ ． ｘ ｅ ｍｅ ｔ ｉ ｏ ａ ｅ ｏ ０ ０ ｗｅ ｐ ｇ ｓ ｒ ｏ ｄ ｆ ｒ ｎ ｓｔ ｓ ｏ ｔ ａ ｔ ｅ ２ ｅ ｔｏ ｉ
１０个 网站 的 ５００个 网页 进行 了测 试 和 评 估 。 实 验 结 果表 明该 方 法 切 实 可 行 ， 达 到 ９．５ ２ ０ 可 １ ％０ 准 确 率 。 ３
１０个 网站 的 ５００个 网页 进行 了测 试 和 评 估 。 实 验 结 果表 明该 方 法 切 实 可 行 ， 达 到 ９．５ ２ ０ 可 １ ％０ 准 确 率 。 ３
WEB文档信息抽取方法研究
经过 以上 清 洗 过 程 ． 以得 到 格 式 良好 、 除 无 用 标 记 和 属 可 去
阿准 确有 效 的抽 取 这 些 有 用 的 信 息 需 求 变 得 非 常迫 切 ．针 对 这 性 的 Ｘ Ｔ Ｈ ＭＬ文 档 种 需求 垂 直 搜 索 发 展 起来 。 与普 通搜 索 引 擎抽 取 技 术 不 同 ， 直 ３ 垂 ， 据 加 载 ２数 Ｄ ２ （ 本 ９ 提 供 了 基 于 Ｎ ｔｅＸＭＬ存 储 Ｘ Ｂ 版 ） ａｖ ｉ ＭＬ格 式 文 档 它 ＭＬ信 息 ． 文 中我 们 利用 本 各 异 的半 结 构 化 信 息 中抽 取 出 特 定 的结 构 化 信 息 ．重 新 形 成 结 的 新 特 性 ． 能 够 快 速 存 储 和 检 索 Ｘ 构 良好 的 ． 于 检索 和表 示 的数 据 。 便 这 个 特 性 。数 据 加 载第 一 步 是 将 清 洗 后 的 Ｘ Ｔ Ｌ数据 ． Ｈ Ｍ 以及抓 传 统 上 垂 直搜 索 采 用 一 种 称 为 封 装 器 的 程 序 来 提 取 互 联 网 取 文 档 时 生 成 的相 关 信 息 两 者 共 组 成 文 档 摘 要 ．摘 要 是 抓取
与 信 息 无关 标 记 和 属 性 的 结 构 化 ＸＨ Ｉ 档 ．同 时 生 成 包 含 表 的 普 通 字 段 方式 存 储 ， Ｌ文 内容 段 的 数 据 以 Ｘ ＭＬ方 式 存 储 。 图 ２ 清 洗 后 Ｘ Ｔ Ｌ信 息 的 文档 摘 要 ． 后 将 包 含 清 洗 后 的 Ｘ Ｔ Ｌ 为摘 要 的存 储 结 构 ． 要 的每 － ＋ 段 对 应 关 系 表 的 一 个 字 段 ， Ｈ Ｍ 然 Ｈ Ｍ 摘 其 文 档 的 文档 摘 要 按 不 同 方 式存 储 到 Ｄ ２ 版 本 ９ ｎ ｔｅｘ ｌ 据 中 抓 取 时 问 、 章 主 题 、 Ｂ（ ）ａｖ ｍ 数 ｉ 文 网页 指 纹 等段 均存 储 为 普 通 格 式 ． 内容 库中． 最后 通过 定 义 基 于 Ｓ ＬＸ Ｑ ／ ＭＬ查 询 语 言 的 抽 取 规 则 进 行 数 段存 储 为 Ｘ ＭＬ格 式 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息抽取 的方法主要 可以分为以下两类：一类是基于层 次结构 的信息抽取归纳 方法 ，另一类是基于概念模型的多记 录信息抽取方法 。 Ｗ ｂ信息抽取工作主要包装器 （ｒ ｐ ｅ ） ｅ Ｗ ａ ｐ ｒ 来完成 …。包装
２根据 自 ． 动化程度可 以分为
人工方式的信息抽取 、半 自动方式的信息抽取和全 自动 方式的信息抽取三大类 。 ３ 根据现有 Ｗ ｂ信息抽取系统和模 型实现原理 的不 同， ． ｅ 分为 以下几类 ： （ ）基于 归纳学 习的信息抽取 。通过对若干个待抽取 １ 实例网页进行结构特征学 习，归纳 出抽取规则 ，然后使用抽
２１ ０ ０年第 ４期
大 众 科 技
ＤＡ ＺＨＯＮＧ Ｊ ＫＥ
Ｎｏ．ｙＮ ．２ ） Ｃ ｍｕ ｉ ｌ ｏ１ ８ ａｖ
浅谈 ｗ ｂ信 息抽取 ｅ
李 斌
（ 中国医科 大学附属第一 医院 ，辽 宁 沈 阳 １０ ０ ） １０ １
【 文章编号 】１ ０ — １ １ ０００ — ０ ８ ０ ０ ８ １５ （ １）４ ０４ — ２ ２
统进行查询 分析 。
随着 Ｉ ｔｒ ｅ ｎ ｅ ｎ ｔ的迅猛发展 ， ｅ Ｗ ｂ已经成 为一个 巨大的信
息源 。曾几何时 ，人们开始 习惯于使用 网络搜 索引擎来查找 自己所 需要 的有用信息，但随着 Ｗ ｂ信息数量 的快速增长， ｅ 各网络搜索引擎所能覆盖的范 围比例却逐渐减 小，因此如何
器是一种软件过程 ，这个过程使用 已经 定义好的信息抽取规 则 ，将网络中 Ｗ ｂ页面 的信息数据抽取出来，转换为用特定 ｅ 的格式描述 的信息 。一个包装器 一般针 对某一种数据源 中的 类页面 。包装器运用规则执行程序对 实际要抽取的数据源
一
进行抽取。
２ 抽取过程一般包括 以下几个 步骤 ： ．
是最近几年应用最广泛 的抽取 知识表达 模型 。它是一种随机 的有 限状态 自动机 ，由于 Ｈ 有成熟的学习算法和坚实的统 删 计基础 ，所 以在信息抽取 中是一种成功的模 型。 （ ）基于特征模式匹配的信 息抽 取 。通过大量学习实 ３ 例 ，归纳学习出待抽取信息 的语法 结构模式 ，并根据这些模
式从待抽取网页 中抽取 出相 匹配 的信 息，适用于复杂结构信
息 的抽 取 。
（ ）使用模 式 匹配 方法识 别指定 的信 息模 式的各个 部 ４
分。
（ ）进行上下文分析和推理 ，确定信息的最终形式。 ５ （ ）将结果输 出成结构化的描述型式 以便由网络集成系 ６
（ ）什 么是 ｗ ｂ信息 抽取 一 ｅ
Ｗ ｂ信息抽取是指 从 Ｗ ｂ页面所包含 的无结构、 ｅ ｅ 半结构或
者 结构化的信息中识别用户感兴趣的数据 ，并将其转化 为结 构和语义更为清晰的格式 的 Ｗ ｂ页面信息抽取的过程 。 ｅ
（ ）Ｗｂ信 息抽 取技术 涉及 的 内容 二 ｅ
因特 网提供 了一个 巨大的信息源 。这种信息源往往 是半
取规则 自动分析待抽取信 息在 网页中的结构特征并实现信息 抽取。采 用这种原理 的典型 的系统有 ＳＡ Ｋ Ｒ Ｏ Ｔ Ｅ Ｌ ， Ｔ Ｌ Ｅ ，ＳＨ ＭＡ Ｙ
ＷＥ 。 Ｉ Ｎ
（ ）基于 Ｈ Ｍ（ｉｄ ｎ Ｍ ｒ ｏ ｏ ｅ ） ２ Ｍ Ｈ ｄ ｅ ａ ｋ ｖ Ｍ ｄ １的信息抽取。 “。
结构化 的，并且 中间夹杂着结构化和 自由文本 。网上 的信息 还是动态 的，包含超链接 ，都 以不 同的形式 出现 。 １Ｗ ｂ信 息抽取 的内容一般可 以分为几个方面： ．ｅ 命名实体 的抽取 、与模板 有关的 内容信息抽取 、各个实 体之间关系的抽取和预 置事件 的信息抽取 。
（ ）将 Ｗ ｂ网页进行预 处理 。预处理 的 目的是将半结构 １ ｅ 化 ＨＭ Ｔ Ｌ页面去掉无用的信息以及对 不规则的 ＨＭ Ｔ Ｌ标识进行 修 正，为下一步标记信息做准 备。 （ ）用一组信 息模式描述所需要抽取的信息。通常可以 ２ 针对某 一领域 的信息特征预定义好一系列 的信息模式 ，存放 在模式库 中供用户选用 。 （ ）对文本进行合理 的词法 、句法及语义分析 ，通常包 ３ 括识别特定的名词短语和动词短语 。
【 摘 要】文章 阐述 了 ｗｅ 息抽取的定义、抽取过程 、Ｗｅ 息抽取 方法的分类 ，并指明 了 ｗ 信息抽取的应用领域 和 ｂ信 ｂ信 ｂ ｅ
发展方向。 【 关键 词】ｗｅ 息抽取 ； 自然语言 ；包装器；ｗｅ ｂ信 ｂ查询；抽取对 象
【 中图分类号 】Ｔ ３３０ Ｐ ９ ．２
【 文献标识码 】Ａ
从 Ｗ ｂ中抽取 出所需要的信息，就成 为了互联 网信息搜索研 ｅ 究领域 中一个重要的研究课题 。
，
（ ）Ｗｂ信 息抽 取方 法的分 类 三 ｅ
把 所有 网页都归入半结构化文本 是不恰 当的 。若能通过 识别分隔符或信息 点顺序等 固定的格式信息正确抽取 出来 ， 那 么该网页是结构化 的。半结 构化 的网页则可能包含缺失的 属 性，或一个属性有多个值 ，或一个属 性有多个变体等例外 的情况 。若需要用语言学 知识才 能正确 抽取属性 ，则该网页 是非结构化 的。 网页的结构 化程度总是取决于用户想要抽取 的属性是什 么。通 常机器产生的 网页是非常结 构化 的，手工编写的则结 构化程度差些 ，当然有很多例外。 按照 Ｗ ｂ信息抽取对象的结构化程度 ，大体上可 以分为 ｅ 三种类型 ：结构化文本： 自由文本；半结构化文本 。 １ 根据 Ｗ ｂ信息抽取对象划 分，可以分为三种类型 ： ． ｅ （ ）从 自由格式 的文本 中抽取 出所需要的信息内容。自 ｉ 由文本 的抽取技术可分为三类 ：基于 自然语言处理 （Ｐ ）的 ＮＬ 方式 ；基于规则的方式：基 于统计学 习的方式 。 （ ）从 半结构化的文本 中，抽取出所 需要的信息 内容。 ２ （ ）从结构化 的文本中抽取 出所需要的信 息内容 。 ３
２根据 自 ． 动化程度可 以分为
人工方式的信息抽取 、半 自动方式的信息抽取和全 自动 方式的信息抽取三大类 。 ３ 根据现有 Ｗ ｂ信息抽取系统和模 型实现原理 的不 同， ． ｅ 分为 以下几类 ： （ ）基于 归纳学 习的信息抽取 。通过对若干个待抽取 １ 实例网页进行结构特征学 习，归纳 出抽取规则 ，然后使用抽
２１ ０ ０年第 ４期
大 众 科 技
ＤＡ ＺＨＯＮＧ Ｊ ＫＥ
Ｎｏ．ｙＮ ．２ ） Ｃ ｍｕ ｉ ｌ ｏ１ ８ ａｖ
浅谈 ｗ ｂ信 息抽取 ｅ
李 斌
（ 中国医科 大学附属第一 医院 ，辽 宁 沈 阳 １０ ０ ） １０ １
【 文章编号 】１ ０ — １ １ ０００ — ０ ８ ０ ０ ８ １５ （ １）４ ０４ — ２ ２
统进行查询 分析 。
随着 Ｉ ｔｒ ｅ ｎ ｅ ｎ ｔ的迅猛发展 ， ｅ Ｗ ｂ已经成 为一个 巨大的信
息源 。曾几何时 ，人们开始 习惯于使用 网络搜 索引擎来查找 自己所 需要 的有用信息，但随着 Ｗ ｂ信息数量 的快速增长， ｅ 各网络搜索引擎所能覆盖的范 围比例却逐渐减 小，因此如何
器是一种软件过程 ，这个过程使用 已经 定义好的信息抽取规 则 ，将网络中 Ｗ ｂ页面 的信息数据抽取出来，转换为用特定 ｅ 的格式描述 的信息 。一个包装器 一般针 对某一种数据源 中的 类页面 。包装器运用规则执行程序对 实际要抽取的数据源
一
进行抽取。
２ 抽取过程一般包括 以下几个 步骤 ： ．
是最近几年应用最广泛 的抽取 知识表达 模型 。它是一种随机 的有 限状态 自动机 ，由于 Ｈ 有成熟的学习算法和坚实的统 删 计基础 ，所 以在信息抽取 中是一种成功的模 型。 （ ）基于特征模式匹配的信 息抽 取 。通过大量学习实 ３ 例 ，归纳学习出待抽取信息 的语法 结构模式 ，并根据这些模
式从待抽取网页 中抽取 出相 匹配 的信 息，适用于复杂结构信
息 的抽 取 。
（ ）使用模 式 匹配 方法识 别指定 的信 息模 式的各个 部 ４
分。
（ ）进行上下文分析和推理 ，确定信息的最终形式。 ５ （ ）将结果输 出成结构化的描述型式 以便由网络集成系 ６
（ ）什 么是 ｗ ｂ信息 抽取 一 ｅ
Ｗ ｂ信息抽取是指 从 Ｗ ｂ页面所包含 的无结构、 ｅ ｅ 半结构或
者 结构化的信息中识别用户感兴趣的数据 ，并将其转化 为结 构和语义更为清晰的格式 的 Ｗ ｂ页面信息抽取的过程 。 ｅ
（ ）Ｗｂ信 息抽 取技术 涉及 的 内容 二 ｅ
因特 网提供 了一个 巨大的信息源 。这种信息源往往 是半
取规则 自动分析待抽取信 息在 网页中的结构特征并实现信息 抽取。采 用这种原理 的典型 的系统有 ＳＡ Ｋ Ｒ Ｏ Ｔ Ｅ Ｌ ， Ｔ Ｌ Ｅ ，ＳＨ ＭＡ Ｙ
ＷＥ 。 Ｉ Ｎ
（ ）基于 Ｈ Ｍ（ｉｄ ｎ Ｍ ｒ ｏ ｏ ｅ ） ２ Ｍ Ｈ ｄ ｅ ａ ｋ ｖ Ｍ ｄ １的信息抽取。 “。
结构化 的，并且 中间夹杂着结构化和 自由文本 。网上 的信息 还是动态 的，包含超链接 ，都 以不 同的形式 出现 。 １Ｗ ｂ信 息抽取 的内容一般可 以分为几个方面： ．ｅ 命名实体 的抽取 、与模板 有关的 内容信息抽取 、各个实 体之间关系的抽取和预 置事件 的信息抽取 。
（ ）将 Ｗ ｂ网页进行预 处理 。预处理 的 目的是将半结构 １ ｅ 化 ＨＭ Ｔ Ｌ页面去掉无用的信息以及对 不规则的 ＨＭ Ｔ Ｌ标识进行 修 正，为下一步标记信息做准 备。 （ ）用一组信 息模式描述所需要抽取的信息。通常可以 ２ 针对某 一领域 的信息特征预定义好一系列 的信息模式 ，存放 在模式库 中供用户选用 。 （ ）对文本进行合理 的词法 、句法及语义分析 ，通常包 ３ 括识别特定的名词短语和动词短语 。
【 摘 要】文章 阐述 了 ｗｅ 息抽取的定义、抽取过程 、Ｗｅ 息抽取 方法的分类 ，并指明 了 ｗ 信息抽取的应用领域 和 ｂ信 ｂ信 ｂ ｅ
发展方向。 【 关键 词】ｗｅ 息抽取 ； 自然语言 ；包装器；ｗｅ ｂ信 ｂ查询；抽取对 象
【 中图分类号 】Ｔ ３３０ Ｐ ９ ．２
【 文献标识码 】Ａ
从 Ｗ ｂ中抽取 出所需要的信息，就成 为了互联 网信息搜索研 ｅ 究领域 中一个重要的研究课题 。
，
（ ）Ｗｂ信 息抽 取方 法的分 类 三 ｅ
把 所有 网页都归入半结构化文本 是不恰 当的 。若能通过 识别分隔符或信息 点顺序等 固定的格式信息正确抽取 出来 ， 那 么该网页是结构化 的。半结 构化 的网页则可能包含缺失的 属 性，或一个属性有多个值 ，或一个属 性有多个变体等例外 的情况 。若需要用语言学 知识才 能正确 抽取属性 ，则该网页 是非结构化 的。 网页的结构 化程度总是取决于用户想要抽取 的属性是什 么。通 常机器产生的 网页是非常结 构化 的，手工编写的则结 构化程度差些 ，当然有很多例外。 按照 Ｗ ｂ信息抽取对象的结构化程度 ，大体上可 以分为 ｅ 三种类型 ：结构化文本： 自由文本；半结构化文本 。 １ 根据 Ｗ ｂ信息抽取对象划 分，可以分为三种类型 ： ． ｅ （ ）从 自由格式 的文本 中抽取 出所需要的信息内容。自 ｉ 由文本 的抽取技术可分为三类 ：基于 自然语言处理 （Ｐ ）的 ＮＬ 方式 ；基于规则的方式：基 于统计学 习的方式 。 （ ）从 半结构化的文本 中，抽取出所 需要的信息 内容。 ２ （ ）从结构化 的文本中抽取 出所需要的信 息内容 。 ３