基于Web的信息提取技术研究
基于web数据挖掘技术——-web内容挖掘设计与实现
摘要ＷＷＷ＂是个丌放的全球性资源，它是世界上最丰富和最密集的信息来源。
随着ＷＷＷ上信息的爆炸性增长，在如此海量的数据中发现有用的信息变得越来越困难。
数据挖掘就是从大量的数据中发现隐含的规律性的内容，解决数据的应用质量问题。
充分利用有用的数据，废弃虚伪无用的数据，是数据挖掘技术撮重要的应用。
因此，采用数据挖掘技术从ＷＷＷ上提取隐含的、未知的、非平凡的及有潜存心用价值的信启、，具有十分重要的现实意义和广泛的应用前景。
本文首先简要论述了ＷＷＷ发展的基本现状以及当前存在的一些问题。
随后，简要介绍了数据挖掘技术的基本概念、原理，接着，概要的介绍了本文对于Ｗｅｂ数据挖掘所用到的技术一Ｊａｖａ和ＸＭＬ技术，在此基础上研究了数据挖掘技术在ＷＷＷＬ的应用，针对Ｗｅｂ数据内容挖掘进行了详细地论述。
文中通过一个具体的案例详细论述了实现Ｗｅｂ数据内容挖掘的一种方法以及对该方法的分析。
最后，对全文进行了总结。
关键词：ＷＷＷ，Ｗｅｂ数据挖掘，ＸＭＬＡｂｓｔｒａｃｔＴｈｅＷｏｒｌｄＷｉｄｅＷｅｂｉｓａｄｉｓｔｒｉｂｕｔｅｄｇｌｏｂａｌｉｎｆｏｒｍａｔｉｏｎｒｅｓｏｕｒｃｅｃｏｎｔａｉｎｉｎｇａｌａｒｇｅａｍｏｕｎｔｏｆｄａｔａｒｅｌｅｖａｎｔｔｏｅｓｓｅｎｔｉａｌｌｙａｌｌｄｏｍａｉｎｓｏｆｈｕｍａｎａｃｔｉｖｉｔｙ．ＧｉｖｅｎｔｈｅｈｊｇｈｒａｔｅｏｆｔｈｅｖｏｌｕｍｅｏｆｄａｔａａｖａｉｌａｂｌｅｏｎｔｈｅＷＷⅥｉｆｉｎｄｉｎｇｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎｉｎｓｕｃｈａｌａｒｇｅａｍｏｕｎｔｏｆｄａｔａｂｅｃｏｍｅｓａｍｏｒｅｄｉｆｆｉｃｕｌｔｐｒｏｃｅｓｓｅｖｅｒｙｄａｙ．ＤａｔａＭｉｎｉｎｇｉｓｔｈｅｔｅｒｍｇｉｖｅｎｔＯｔｈｅａｕｔｏｍａｔｅｄｄｉｓｃｏｖｅｒｙｏｆｎｏｎ—ｏｂｖｉｏｕｓ，ｐｏｔｅｎｔｉａｌｌｙｕｓｅｆｕｌａｎｄｐｒｅｖｉｏｕｓｌｙｕｎｋｎｏｗｎｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｌａｒｇｅｄａｔａｓｏｕｒｃｅｓ．ＳｏｏｂｔａｉｎｉｎｇｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎｂｙＤａｔａＭｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｉｎｔｅｌｌｉｇｅｎｔｌｙａｎｄａｕｔｏｍａｔｉｃａｌｌｙ，ｉｍｐｒｏｖｉｎｇｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅＷＷＷｈａｓｔｒｅｍｅｎｄｏｕｓａｐｐｌｉｃａｔｉｏｎｖａｌｕｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｆｉｒｓｔｇｅｎｅｒａｌｌｙｉｎｔｒｏｄｕｃｅｔｈｅｉｍｐｒｏｖｅｍｅｎｔｏｆＷＷＷａｎｄｓｏｍｅｐｒｏｂｌｅｍｓｕｎｓｏｌｖｅｄ．Ａｎｄｔｈｅｎｗｅｄｅｓｃｒｉｂｅｔｈｅｂａｓｉｃｃｏｎｃｅｐｔｓａｎｄｔｈｅｏｒｉｅｓｏｆｄａｔａｍｉｎｉｎｇ．ＴｈｅｆｏｌｌｏｗｉｎｇｉｓｄｉｓｓｅｒｔａｔｅｄｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｄａｔａｍｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｔｏｔｈｅＷｏｉ’ｌｄＷｉｄｅＷｅｂ，ａｎｄｄｉｓｃｕｓｓｉｎｄｅｔａｉｌｔｈｅｃｏｎｔｅｎｔ、ｃｈａｒａｃｔｅｒｉｓｔｉｃ、ｐｒｏｂｌｅｍｓｕｎｓｏｌｖｅｄｏｔｌｗｅｂｃｏｎｔｅＮｍｉｎｉｎｇａｎｄｗｅｂｕｓａｇｅｍｉｎｉｎｇ．Ａｎｄｔｈｅｎ，ｗｅｇｅｎｅｒａｌｌｙｉｎｔｒｏｄｕｃｅｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｕｓｅｆｏｒＤａｔａＭｉｎｉｎｇｉｎｔｈｅｐａｐｅｒ勺ａＶａａｎｄｘｍｌ．Ｔｈｒｏｕｇｈａｃｏｎｃｒｅｔｅｓａｍｐｌｅ，ｗｅｄｅｓｃｒｉｂｅｉｎｄｅｔａｉｌｏｎｅｏｆｔｈｅｍｅｔｈｏｄｔｈａｔｒｅａｌｉｚｅＷｅｂＤａｔａＭｉｎｉｎｇ．Ｆｉｎａｌｌｙｗｅｍａｋｅａｃｏｎｃｌｕｓｉｏｎｏｆｔｈｅｐａｐｅｒ．Ｋｅｙｗｏｒｄｓ：∥烀？彤ＷｅｂＤａｔａＭｉｎｉｎｇ，ＸＭＬ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。
基于Web信息抽取的技术成果信息采集系统
《 成组技术与生产现代化）２ ０ ０ ７年第 ２ ４卷第 ４ 期
维普资讯
上述 特点 为开发 计算 机 自动 采集 程序 提供 了可 能， 即程序 可 以先 读取索 引页 ， 过提 取索 引页 中的 通 链 接 ， 导航 到 细节 页 ； 来 然后 依据 事先设 计 好 的抽 取 规 则 ， 细节页 中抽 取有 用的信 息． 从 信 息抽 取 的算 法 分 两部 分 组成 ， 一 部 分是 细 第
摘
要 ： 通 过 对 技 术 转 移 中 心技 术 成 果 信 息 收 集 的
分 析 ， 出采 用 基 于 ｗ ｅ 提 ｂ格 式 分 析 的技 术 成 果 信 息批 量 自 动 采 集 方案 ． Ｗ ｅ 对 ｂ信 息 抽 取 的 原理 及 实现 进 行 了分 析 ， 并 给 出 了技 术 成果 信 息采 集 的 程 序 实例 ． 关 键 词 ： Ｗｅ ； 息 抽 取 ； 术 转 移 ； 术 成 果 ｂ信 技 技
１ Ｗｅ ｂ信 息 抽 取
Ｗ ｅ 息抽取 是指 通过 对 网页 数 据 的分析 ， ｂ信 滤
除 网页 中的广告 、 格式控 制等 “ 噪音 ” 数据 ， 抽取有 用 的关键 信息 ， 并进 行分类 、 排序 等 的一 系列 过程［ ． ４ ］
１ １ Ｗｅ ． ｂ网页信 息
中 图分 类 号 ： ＴＰ ９ ３１
本 文 研究 对 网 页结 构进 行 分 析 ， 取 指定 信 息 抽
的方法 ， 以实 现技术 成果信 息 自动下 载 ， 分类 保存 ．
收 稿 日期 ： ０ ７ ９ １ ２ ０ —０ — ７ 基金项 目： 宁波 市 软 科 学 项 目（ ０ ６ ０ ０ ５ ２ ０ Ａ１ ０ １ ） 。
基于Web的数据挖掘技术研究综述
说 Ｗｅ ｂ挖掘 的对象可分 为 内容挖 掘 、访 问信息挖掘 和结 构挖
掘。
页 ，权威 网页往往对于某一主题包含 比较多 的用户所需要 的信
息 ， 常 有 许 多 指 向 它 的链 接 。 导 网页 虽 然 不 一 定 包 含 很 多某 常 引
Ｋｅ ｙ ｗ ｏ ｄｓｏ ｅ ｖｅ ； ａ ｅ ｉ ｎ ｔｃ ｏｏ ； ｅｂ ｒ ：ｖ ｒ ｉｗ ｄ ｔ ｍ ｎｉｇ ｅ ｈｎ ｌｇ Ｗ ｙ
数据 库 中 的知识 发现 Ｋ Ｄ ｆ Ｋ ｏ ｌ ｇ Ｄｓｏｅ ｉ Ｄ ｎｗｅ ｅ ｉ ｖｒ ｎ ｄ ｃ ｙ Ｄ ｔｂｓｓ 是指从数据库中发现潜在 的有意义的未知的关 系模 ａ ａｅ １ ａ 式和趋势， 以易被理解的方式表示 出来 。 并 但传统 Ｋ Ｄ 技术所 Ｄ 涉及的主要是结 构化 的数据 库 ，而网上 资源却 没有统一 的管理 和结构 ， 数据往往是经常变动和不规则的 ， 因此人们需要 比信息 检 索层次更高 的新 技术，我们 称之为 Ｗｅ ｂ中的知识发现 Ｋ Ｗ Ｄ
Ｗ ＡＮＧ Ｊｎ ｉｇ
（ｎｅｎ ｔ ｎ ｌＣｏｌｇ ；Ｃ ｎｒｌＳ ｕｈ Ｕｎｖ ｒｉ ｆＦ ｒｓｒ ｎ ｅ ｈ ｏｏｙ，Ｈｕ ａ ｈ ｎ ｓ ａ ４１０ ４） Ｉｔｒａｉ ａ ｌ ｅ ｅ ｔ ｏ ｔ ｉｅｓ ｙ ｏ ｏｅｔ ａ ｄ Ｔ ｃ ｎ ｌｇ ｏ ｅ ａ ｔ ｙ ｎ ｎ Ｃ ａ ｇｈ ０ ０
要 的一 种 。
接 。Ｈ Ｔ （ ｙ ｅ ｉｋ ｎ ｕｅ Ｔ ｐｃ Ｓａｃ ） ＩＳ Ｈ ｐｒｎ Ｉｄ ｃｄ ｏｉ ｅｒｈ 算法就是这样一 ｌ 个通过分析权威页面和引导页面进行 Ｗｅ ｂ结构挖掘的算法 。使
基于网格计算框架的Web信息提取系统的研究
ｔｅｐ ｒ ｒ ａ ｃ ｆ ｈ ｉ ｐｉａｉｎ Ｓ ｓｅ ａｅｄｓｕ ｓｄ ａ ｄ ｔｅａ ａｙｉａ ｅｕｔ ａｅ ｎ ｔｅｅ ｐ ｒ ｎ ａａｉ ｂ Ｉ ｏ ａｉｎ Ｅ － ｈ ｅｆｍ ｎ ｅｏ ｅＧｒ Ａｐ ｌ ｔ ｙ ｔｍ ｒ ｉｃ ｓｅ ｎ ｈ ｎ ｌｔ ｌ ｓ ｌ ｂ ｓｄｏ ｈ ｘ ｅ ｍｅ ｔ ｔ Ｗｅ ｎ ｒ ｔ ｘ ｏ ｔ ｄ ｃ ｏ ｃ ｒ ｓ ｉ ｄ ｎ ｆｍ ｏ
网格应用 系统架构 ， 针对 Ｗｅ ｂ信息提取 中链接分 析和 信息提取功 能， 描述 了面 向一般 网格 计 算框架 的资源 调度 与编程模 型。最后 结合 Ｗｅ ｂ信息提取系统的实验结果 ， 出了网格 应用 系统的评价标准 。 给
关键词
网格
计算 网格
Ｗｅ ｂ信息提取 网格 资源调度
ＴＨ Ｅ ＲＥＳ ＥＡＲＣＨ ｏＮ ＥＢ ＮＦｏＲＭ ＡＴＩ Ｗ Ｉ ｏＮ ＥＸＴＲＡＣＴＩ Ｎ ｏ ＳＹＳ ＴＥＭ ＢＡＳＥＤ Ｎ ｏ ＧＲＩ Ｃｏ Ｍ ＰＵＴＩ Ｄ ＮＧ ＦＲＡＭ ＥＷ ｏＲＫ
基 于 网格 计 算 框 架 的 Ｗｅ ｂ信 息 提 取 系统 的研 究
施 俭 肖仰华
（ 南通 大学计算机科 学与技术学院 江苏 南 通 ２ ６ １ ） ２ ０ ９ （ 复旦 大学计 算机与信息技术系 上海 ２ ０ ３ ０ ４３）
摘
要
大规模 Ｗｅ ｂ信息提取是 面 向 Ｉｔ ｔ ｎｅ 非规范知识处理 中的 一个 典型 问题。 以网格 计 算框 架 为实现平 台， ｍｅ 设计 了分层 的 Ｓｒｉ ） 任务 执 行 层 Ｔ ｎｔ ｎ 、 ｉ ｓ（ｎ ｒ ａｉ ｅｖ ｅ 和 ｆ ｏ ｃ Ｅ
０ 引 言
随着个人计算机 Ｐ Ｃ计算能力 的不断增 长 以及 互联 网应用
基于Web的信息抽取技术探讨
Web信息抽取技术研究
Web信息抽取技术研究Web信息抽取技术是当前互联网发展中的一个重要研究领域。
在人工智能、大数据时代的今天，信息抽取已经成为获取和处理信息的重要手段。
在众多的信息抽取技术中，Web信息抽取技术占据了十分重要的地位。
本文将围绕这一主题展开。
I. Web信息抽取技术简介Web信息抽取技术是一种自动化信息处理技术，通过网络爬虫、HTML解析、信息提取等技术手段，将Web上的非结构化信息转换为结构化的信息，从而实现对关键信息的提取、分析和应用。
Web信息抽取技术的应用涉及各个领域，如搜索引擎、电子商务、社交网络分析等等。
Web信息抽取技术并不是一个完整的技术体系，而是由多个技术模块组成的集合体。
其中，网络爬虫模块用于获取Web页面，HTML解析模块用于解析Web页面的HTML代码，信息提取模块用于提取目标信息并对其进行分析。
这些技术模块的协同工作，最终实现对Web页面信息的抽取和分析。
II. Web信息抽取技术的应用Web信息抽取技术在各个领域都有广泛的应用。
以下是一些常见的应用场景：1. 搜索引擎搜索引擎是Web信息抽取技术最常见的应用领域之一。
搜索引擎的核心就是对Web页面的信息进行抽取和分析，从而实现搜索引擎对关键词的匹配和检索。
2. 电子商务电子商务领域对Web信息抽取技术的应用非常广泛。
通过对电商网站的产品信息进行抽取和分析，可以实现商品信息的分类、推荐等功能，从而提高电商网站的用户体验。
3. 社交网络分析社交网络分析是近年来发展迅速的一个领域，其中Web信息抽取技术也发挥了重要的作用。
通过对社交网络上用户的信息进行抽取和分析，可以实现社交网络的用户聚类、社区发现等功能。
III. Web信息抽取技术的挑战Web信息抽取技术的应用具有广泛性和复杂性，在应用过程中，面临着一些挑战：1. Web页面结构多样性Web页面的结构十分复杂，有些页面可能包含多个嵌套的表格、DIV等元素，这些元素的层级关系和结构差异非常大，因此Web信息抽取技术需要能够适应各种类型的Web页面结构。
Web信息抽取系统研究综述
规 结构 描 述 中抽 取 一 些 简单 信 息填 入 一 个
具 有 固 定记 录 格 式 数 据 库 中１。 ４ １ 近 年 来 ， ｂ 息抽 取 系统 的研 究成果 Ｗｅ 信
何 准 确 的从 Ｗ ｅ 页 面 中抽 取 所需 要 内容 的 的无 结 构 或半 结构 的 信 息 中识 别用 户感 兴 不 断 出现 。 同的研 究人 员在研 究Ｗｅ ｂ 不 ｂ信息 所 技术 ， Ｗｅ 信 息抽取 系统贝 是利 用Ｗ ｅ 信 趣 的 数据 ， 而 ｂ ０ ｂ 并将 其 转 化 为 结 构 和 语 义 更 为 抽 取 的实 现 时 ， 侧 重 的 角度 也 不 尽相 同 ， 息 抽 取 技 术 实 现 的 应 用 软 件 系 统 ， 研 发 清晰 的格 式 （ 其 ＸＭＬ、 系 数 据 面 向 对 象 的 有 基 于语 义 的 、 关 领域 知 识 的 、 网站 语 义结 构
１引言
随 着Ｉ ｔ ｒ ｅ 上信 息 的 爆 炸式 增 长 ， ｎｅ ｎ ｔ 万 大 的 、 重 要 的 信 息 资 源 库 。 万 维 网上 ， 最 在
信息 抽 取 与 信 息 检 素 和 数 据 挖 掘 是 不 统和ＡＴＲＡＮＳ 系统等 。 ｉｇ ｉｔｃ ｔ ｎ 的 Ｌ ｎ ｕ ｓｉ Ｓ ｒ ｇ ｉ
该 方报 告 ， 它们 已经 在Ｉ ｔｒ ｅ 上发现 超过 １ ｎｅｎ ｔ 万 识 和 模式 。 流 程 来看 ， 息 检索 可 以 作 为 事 脚 本 理 论 建 立的 一 个 信 息 抽 取 系 统 。 从 信
亿个Ｗｅ 文档 ， ｂ 而且 这 个 数 字 还 在 以每 天 信 息 抽 取 的 前 期 工 作 ， 过 信 息 检 索 获 得 系 统 从 新 闻报 道 中 抽 取 信 息 ， 通 内容 涉 及 地 几 十亿 的 速 度持 续 增长 ｆ。 万维 网上 每时 相关 的 文档 集 ， 此基 础 上 进行 信 息 抽 取 。 ｌ在 １ 在
基于.NET的Web信息抽取系统关键技术研究
中 图 分 类 号 ：Ｐ １ ． Ｔ３ １２ ５
文 献 标 识 码 ： Ａ
文 章 编 号 ：６ ２ ７ ０ （０ ０ １ — １０ ０ １７ — ８ ０ ２ １ ）２ ０ ２ — ３
（ ） ｂ信 息抽取 操作 的实现 。 究通 过 Ｘ ５ Ｗｅ 研 ＭＬ文档对 象模
型加 载 Ｘ ＭＬ文 档 并 生 成 Ｄ Ｍ 树 ．确 定 适 合 的 Ｘ Ｏ ＭＬ文 档 元 素
Ｎ Ｔ技 术实现 的 Ｗｅ Ｅ ｂ信息抽 取 系统需 要解 决 的几个 关键 问题
进 行 了深 入 的 研 究 与 探 讨 。
（ ）Ｔ ３ Ｈ ＭＬ文 档 到 Ｘ ＭＬ格 式 的 转 换 。Ｎ Ｔ提 供 了功 能 强 大 ．Ｅ
ห้องสมุดไป่ตู้
０ 引 言
随着 Ｉｔｒｅ 上 信 息 的爆炸 式增 长 ， 为其 最 重要 应用 之 ｎｅｎ ｔ 作
一
的 、 于 操作 访 问 Ｘ 用 ＭＬ数 据 的 类 ， 于 ．Ｅ 基 Ｎ Ｔ技 术 实 现 的 Ｗｅ ｂ 信 息抽取 系统 的抽取操 作是基 于 Ｘ ＭＬ文 档 格 式 进 行 的 。 此 ， 因 在 抽 取 数 据 之 前 ， 先 将 ＨＴ 应 ＭＬ文 档 转 换 为 ＸＭＬ文 档 格 式 。
第 ９ 第 １ 期 卷 ２ ２ １年 １ ００ ２月
软 件 导 刊
Ｓ ｔ ｒ ｉ ｅ ｏｆｗａ ｅ Ｇｕ ｄ
Ｖｏ ． １ ＮＯ． ２ ９ １ Ｔｗｅ ２ ０ ． ０１
基 于 ． Ｔ的 Ｗ ｅ ＮＥ ｂ信 息 抽取 系统 关 键 技 术研 究
谭 锋 李天 真 崔 亮亮 ， ，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于Web的信息提取技术研究目录摘要 (4)第1章绪论 (5)1.1研究背景 (5)1.2研究意义 (5)1.3本文研究内容 (6)1.4论文结构安排 (6)第2章Web信息抽取概述 (7)2.1 Web信息抽取的发展历史 (7)2.2 Web信息抽取的定义和Web信息的特点 (7)2.3 Web信息抽取技术分析 (8)2.3.1 基于正则表达式的信息抽取 (8)2.3.2 基于自然语言处理的信息抽取 (8)2.3.3 基于本体的信息抽取 (9)2.3.4 基于包装器归纳的信息抽取 (9)2.3.5 基于HTML结构的信息抽取 (9)2.3.6 基于Web查询的信息抽取 (9)2.4 本章小结 (9)第3章基于XML技术的Web信息抽取 (10)3.1 概述 (10)3.1.1 问题的提出 (10)3.1.2 网页的格式及XML技术的优势 (10)3.2 Web信息抽取流程 (11)3.3 相关技术介绍 (11)3.3.1 DOM模型 (11)3.3.2 Xpath (11)第四章基于XML技术的Web信息抽取的实现 (12)4.1 Web文档的预处理 (12)4.1.1 将HTML文档解析为DOM模型 (12)4.1.2 将HTML文档转换为形式上的XML文档 (12)4.2 抽取规则 (13)4.2.1 抽取规则的设计 (13)4.2.2 抽取规则的生成 (14)4.3 信息抽取 (14)4.4 附加语义 (14)4.5 抽取规则的优化 (15)4.5.1 利用标记属性进行优化 (15)4.5.2 利用标记之间的数量关系进行优化 (15)第五章结论 (16)本文总结 (16)本文总结 (16)参考文献 (17)摘要随着互联网的快速发展和普及，人们越来越依赖于网络获取信息。
作为海量的信息来源，Web可以看成是一个巨大的数据库，包含着各种各样有价值的信息。
基于Web的信息抽取技术就是研究如何从这些Web源中抽取出用户感兴趣的信息，并把这些抽取出的信息表示成更具有语义，更为结构化的形式，以便加以利用。
该技术起源于信息抽取技术，但由于Web信息的自身特点，该技术已经和传统的基于纯文本的信息抽取技术有了很大的不同。
目前，大量Web信息被保存在网站的后台数据库中，这些信息在网页上的显示有一些共同的特征，即通常把数据库中的数据插入到网页的一个模板中，其表现形式就是网页的主体部分有多个局部信息块组成，局部信息块有多个数据项构成。
这类网页被称为数据密集型(data-rich)网页，由于该类网页富含大量有价值的信息，因此，研究如何对这类网页进行Web 信息抽取有重大的意义和实用价值。
对于上述数据密集型网页，本文采用基于XML的相关技术来解决Web信息的抽取问题。
其解决方案是：首先获得目标网页，并将该HTML文档以文档对象模型DOM为中介，转换为形式上的XML文档，然后根据这类网页的特征，把该网页中信息的布局视为基于行和列的二维表形式，用户根据自身需求，通过与系统交互，系统半自动地生成基于行和相关列的XPath位置路径表达式作为抽取规则，根据抽取规则定位到待抽取的信息，从而实现信息的准确抽取，抽取的结果用XML来表示。
关键词：Web信息抽取；DOM；XML第1章绪论1.1研究背景自九十年代初互联网(Internet)开始迅速发展至今，互联网已成为经济、社会、文化、教育以及娱乐等各个方面的重要组成部分，并正在成为我们工作和生活中不可或缺的一员。
就我国而言，据CNNIC(中国互联网络信息中心)的统计，截止2010年7月，中国网民数已达4.2亿，网民平均每周上网时长达19.8小时，并且这两个数据还在不断地增长。
正当人们越来越依赖互联网来获取信息的时候，信息过载的问题出现了。
目前，网络信息的相当一部分是通过万维网(WWW)的Web页面提供的，但据CNNIC的最新统计显示：仅中国，网站数量已有279万个。
面对如此庞大的数据，如何从浩如烟海的Web信息中快速、有效地查找用户需要的信息一直是互联网络应用的一个难题。
近几年来，出现了多种基于Web的信息检索工具，如比较出名的Google、Yahoo、百度等搜索引擎工具，这些工具的出现极大地方便了人们对信息的获取，能够解决部分信息过载的问题，但由于它们都是基于字符串匹配和词义相似原理进行信息查询的，因此使用这些工具得到的查询结果动辄成百上千条，而且有很多返回的查询结果中包含了重复的内容，这就使用户得到了网页，并不等于得到了想要的信息资源。
为了更加有效的组织和获取网上数据资料，高效地发现和利用Internet上的资源，研究人员开创了Web信息抽取这个研究领域。
Web信息抽取技术的任务就是将网页中用户感兴趣的信息准确地抽取出来，以更具有语义、更结构化的形式保存下来，以供用户查询或其他应用程序利用。
它与网络信息检索的区别是：目的不同：网络信息检索是从海量的万维网上搜索到所需的Web文档，而Web 信息抽取不仅要首先获取Web文档，而且要更进一步地从这部分文档中抽取出有价值的，为后续工作所用的信息。
面向的用户群不同：网络信息检索面向大众，与领域无关，而Web信息抽取是面向特定用户群，且是应用领域相关的。
处理技术不同：网络信息检索系统通常对网页中的文字进行分词，建索引，然后利用统计及关键词匹配等技术；而Web信息抽取通常利用各种技术生成规则或模板对特定Web信息源进行抽取。
此外，两种技术也有一定的联系，可以互为利用。
例如，可以把网络信息检索看成是大范围的、粗粒度的信息抽取，把它作为更精确、更细粒度的Web信息抽取的前奏。
网络信息检索也可以把Web信息抽取作为它的一部分，构建面向领域的垂直搜索引擎。
由此可见，Web信息抽取技术给人们从网络中获取信息又提供了一个强大的工具。
1.2研究意义Web信息抽取技术有很强的实用性，可把该技术看作构建其他应用系统的基础，其重要性可归纳如下：1)从数据挖掘的观点看，Web信息抽取是Web数据挖掘的重要组成部分。
Web挖掘主要分为三类：Web结构挖掘(主要为超链接的分析)、Web使用记录挖掘(日志挖掘)、Web内容挖掘。
Web信息抽取是Web内容挖掘的重要基础技术，特别是Web文档的分类、聚类都可以受益于该技术。
2)从信息集成的观点看，Web信息抽取是信息集成首先要解决的关键技术之一。
信息集成首先要从多个不同的数据源抽取数据，其次才能集成这些抽取的异质数据，在这些不同的数据源中，Web信息源当然是非常重要的来源。
3)此外，一些新颖的实际应用也必须利用Web信息抽取技术。
例如：网上比较购物系统：利用Web信息抽取技术抽取多个不同的电子商务网站的商品信息，对产品价格等信息作比较后推荐给用户。
构建企业竞争情报系统：利用Web信息抽取技术到同行业竞争对手的网站上抽取相关信息和追踪行业动态。
提供个性化的主动信息推送服务：在目标网站抽取用户感兴趣的信息，定期主动推送给用户。
除此之外，还有在诸如Web新闻页自动文摘系统和主题搜索引擎中，都需要用到Web信息抽取技术。
1.3本文研究内容本文作者在经过大量检索、收集、阅读相关文献和相关技术文档后，通过观察、分析、试验以及总结前人研究的基础上，主要作了以下几个方面的工作：●综述Web信息抽取及相关技术方法，主要内容包括相关概念的介绍，技术专有名词的解释说明，还包括对各种技术的分类，优缺点的分析。
●重点研究了数据密集型网页的信息抽取问题。
本文首先分析了这种类型网页的特点，根据该类型网页的特点，设计了解决该类Web信息抽取问题的方案：把网页中的信息抽象成行和列的二维表形式，利用XML技术，通过行和列的XPath位置路径表达式对待抽取Web信息进行定位，从而实现信息抽取。
本文具体研究了：HTML文档的预处理；抽取规则的生成；对预处理后的HTML文档应用XML技术进行信息抽取；应用XPath技术进行抽取规则优化；将抽取后的信息转换为更具有语义，更为结构化的数据——XML文档。
1.4论文结构安排全文共分六个部分，前五部分各成一章，最后一部分为总结和下一步工作。
现概括如下：第一章是绪论部分，主要说明研究的背景，研究的意义，以及本论文的主要研究内容。
第二章是Web信息抽取技术的概述，主要说明Web信息抽取的发展历史，Web信息抽取的定义，Web信息的特点。
其中重点分析了现有的Web信息抽取技术及其优缺点。
第三章重点研究基于XML及相关技术抽取Web信息的原理、解决方案、相关技术标准。
第四章是本论文的主要工作。
本章详细阐述了对数据密集型网页进行信息抽取的解决方案。
第五部分是总结和展望，这部分总结了本文的研究成果，指出了下一步要进行的研究工作。
第2章Web信息抽取概述2.1Web信息抽取的发展历史传统的信息抽取(IE，Information Extraction)是从自然语言文本中抽取出特定信息的过程，具体是把文本里包含的信息进行结构化处理，转变成表格或其它良好结构的文本形式。
信息抽取系统的输入是原始文本，输出的是固定格式的，无二意性的数据，这些数据从各种各样的文档中被抽取出来，然后以统一的形式集成在一起。
信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部分进行分析，至于哪些信息是相关的，那将由系统设计时定下的领域范围而定。
信息抽取的主要功能是从文本中抽取特定的事实信息，比如，从新闻报道中抽取出恐怖事件的详细情况：时间、地点、作案者、受害者、袭击目标、使用的武器等；从经济新闻中抽取出公司发布新产品的情况：公司名、产品名、发布时间、产品性能等；从招聘广告中抽取招聘公司名称、简介、提供的职位、对职位的说明、招聘人数、对求职者的要求等。
通常，被抽取出来的信息以结构化的形式描述，如可以直接存入数据库中，供用户查询以及进一步分析利用。
传统的信息抽取技术起源于’80年代术，兴起于90年代，该技术的蓬勃发展主要得益于消息理解(MUC，Message Understanding Conference)系列会议的召开。
MUC会议建立了专门的术语，信息抽取最终的输出结果被称为模板(Template)，模板中的域称为槽(Slot)，而把信息抽取过程中使用的匹配规则称为模式(Pattern)。
例如，从新闻报道中抽取的结果模板中就可能是时间、地点、事件这三个槽。
MUC会议首先在会前向参加者提供样例文本和有关的抽取任务说明，然后各参加者开发能够处理这种消息文本的信息抽取系统。
在正式会议前，各参加者运行各自的系统处理给定的测试消息文本集合。
由各个系统的输出结果与手工标注的标准结果相对照得到最终的评测结果。
最后才是正式的会议，公布各参与者的结果和排名，并提供机会给参与者交流学术思想和感受。
MUC的七次会议从早期的MUC一1对海军军事情报的抽取到MUC一7抽取任务越来越复杂，要求抽取结果要填充的槽也越来越多。