文献翻译Page-Level Web Data Extraction from Template Pages

CENTRAL SOUTH UNIVERSITY本科毕业英文文献翻译题目：基于模板页面的页面级网络数据提取学生姓名：颜希萍指导教师：刘献如张祖平学院：信息科学与工程学院专业班级：电子信息工程1002班完成时间： 2014.3.5基于模板页面的页面级网络数据提取摘要：Web数据提取一直是许多Web数据分析应用程序的一个重要组成部分。

在本文中，基于结构化数据和树，我们为页面生成的解码过程制定了数据提取问题的模板。

提出了一个非监督的、页面级数据提取的方法来为包含单或多个数据记录的每个单独网站推导出模式和模板。

FiVaTech把树匹配、树对齐、挖掘技术用来实现具有挑战性的任务。

在实验中，比起EXALG ，FiVaTech具有更高的精度，并可以与其他记录级萃取系统相比较，例如ViPER和MSE。

实验中，用于许多先进的Web数据提取工作的测试页面显示了一个令人鼓舞的结果。

关键词——半结构化数据、网络数据提取、多树合并，包装器归纳。

一、引言众所周知，深层网络包含比表面网站更大的数量级和更多有价值的信息。

然而，由于这些页面的生成是为了可视化而不是数据交换，使得利用这些综合信息需要大量的努力。

因此，从用于网页搜索的网站提取信息成为网络信息集成的一个关键步骤。

为一个给定的搜索形式生成一个提取程序相当于包装一个数据源，这样提取器或包装器程序就能返回数据信息集成的相同的格式。

页面属于同一网站的一个重要特点是，此类页面共享相同的模板，因为他们所有页面都是以一致的方式进行编码的。

换句话说，这些页面是用的同一个预定义的模板插入数据值生成的。

在实践中，模板页面也可以（以静态超链接的形式）存在于表层网站。

例如，商业网站经常有一个模板用于显示公司logo、浏览菜单和版权声明，这样相同的网站的所有页面看起来一致并且是有规划的。

此外，还可以使用模板来呈现一个用来显示相同类型的对象的记录列表。

因此，从模板页面的信息提取可以应用在许多情况下。

模板页面的特别之处在于，对模板网页提取目标几乎是等于在页面生成时的数据值嵌入。

因此，不需要标注非模板页面信息提取的提取目标（如Softmealy [5]，Stalker [9]，WIEN [6]等)，自动提取的关键取决于我们是否可以自动推断模板。

一般来说，模板作为所有页面的公共模型，存在相当固定，这与页面数据值的多样化截然相反。

找到这样的一个共同的模板需要多个页面或一个页面包含多个记录作为输入。

当多个页面被给定了，提取目标就针对的是页面范围信息(例如RoadRunner[4]，EXALG[1])。

给定单个页面时，提取目标通常是限制在记录信息范围内(如IEPAD[2]，DeLa[11]，和DEPTA[14])，其中包括添加记录边界的检测问题。

虽然不涉及添加边界检测问题，但由于页面级提取任务有更多的数据需要关心，使得它成为比记录级萃取更复杂的任务。

一种常见的技术，用于发现模板对齐：字符串排列(如。

、IEPAD RoadRunner)或树对齐(例如DEPTA)。

至于区分模板和数据的问题，大多数方法是假设HTML 标记是模板的一部分，而EXALG认为一个一般模型，单词标记也可以是模板的一部分，标签标记也可以数据。

然而，EXALG的方法，没有明确使用对齐，产生许多偶然的等价类，使重建的模式不完整。

在本文中，我们关注于页面级提取任务和提出一种新方法，称为FiVaTech，用它来自动检测一个网站的模式。

拟议的技术呈现了一种新的结构，称为固定/变异模式树，它是一棵携带所需的所有必要的信息来识别模板和检测数据模式的树。

我们结合几个技术：对齐、模式挖掘，以及树模板的想法来解决页面级模板建设中更困难的问题。

在实验中，FiVaTech比EXALG具有更高的精度，EXALG 是为数不多的页面级萃取系统，可以与其他记录级萃取系统如ViPER和MSE相比。

本文接下来的内容组织如下：第二节定义了数据提取问题。

第三节提供了系统框架以及FiVaTech的详细算法，构建固定/变异模式树的一个例子。

第四节描述模板和网站模式推导的细节。

第五节描述了我们的实验。

第六节比较FiVaTech 与相关网络数据提取技术。

最后，第七节总结了本文。

二、问题公式化在本节中，我们制定页面创建的模型，它描述了怎样使用一个模板将数据嵌入。

正如我们所知，一个网页是由嵌入数据实例x(取自数据库)到一个预定义的模板生成的。

通常一个CGI程序执行编码函数，结合数据实例和模板来形成网页，在这个网页中所有数据库的实例数据符合共同的模式，可以定义如下(类似的定义也可以在EXALG[1]中发现)：定义2.1(结构化数据)一个数据模式可以是以下类型：1、一个基本类型β代表一个字符串的符号，符号是一些文本的基本单位。

2、如果τ1，τ2，…，τk是类型，那么他们的有序列表< τ1，τ2，…，τk >也形成了一个类型τ。

我们说类型τ是由类型τ1，τ2，…，τk使用k阶类型构造函数构造成的。

一个k序列实例τ是< x 1，x 2，…，x k >的形式，其中x 1，x 2，…，x k分别是类型τ1，τ2，…，τk的实例。

这就是类型τ。

a、一个元组，记作< k > τ，如果每一个实例体基数(实体中实例的个数)均为1。

b、一个可选，记作<k>? τ，如果每一个实例体的基数为0或1。

c、一个集合，记作{k} τ，如果某一些实例体基数大于1。

d、一个析取，记作（τ1| τ2| 、、、| τk），如果所有的τi（i=1，2...k）都是可选并且基数其k个可选（τ1、τ2... τk）之和相当于实例体τ的基数1。

例2.1图1显示了一个虚构的网页来显示一个列表的产品。

对于每个产品给出了产品名称，价格，折扣百分比(可选)，和一个特性列表(阴影图中的节点)。

这里的数据实例是{ <”产品1，”“现在3.79美元，”“节省5%，””特性1 1”>，<“产品2、”“现在7.88美元，”ε，{”特性2 1”、“特性2 2”} > }，其中ε表示空字符串，在第二个产品中他是空的。

这个页面中嵌入的数据实例图1可以通过两种不同的模式S 和S’表达，分别如图1 b和图1 c。

图1 b显示了一个集合w 1的四个顺序(表示图1 a中的产品列表)：前两个属性是基本类型(产品的名称和价格)，第三个属性是一个可选w2(折扣百分比)，最后一个属性是一个集合w 3(产品)的特性列表。

除了这种简洁的表示，相同的数据也可以由他们的父节点的DOM(文档对象类型)树来表示。

也就是说，我们可以重新组织上面的数据实例为{ < <产品1，“<”现在3.79美元，”“折扣5%”> >，{”特性1 1”} >，< <“产品2，”<“现在7.88美元，”ε> >，{”特性2 _1”，“特性2 _2”} > }，可以表达成模式S’。

第二种基本数据类型和可选数据（τ4）构成一个二元组τ3（由于每种产品的价格和折扣的可选被嵌入到了网页中同一个父节点下），进一步与第一种基本数据（产品名称）构成另一个二元组（τ2）。

因此，这种新模板S’的根源是一个二元集合（τ1），τ1由τ2和τ5（一元集合）两个部分构成，如图1c所示。

如前所述，模板页面是由在通过CGI程序在一个预定义的模板中嵌入数据实例来生成的。

因此，找寻给定输入网页的模板和数据模式的逆向工程应该建立在一些页面生成模型中，这个我们接下来将会进行描述。

在本文中，我们提出一种基于树的页面生成模型，它由子树连接来编码数据，而不是字符串连接。

这是因为数据模式和网页都是树状结构。

也因此，我们考虑模板树结构。

基于树的页面生成模型的优点是在模板中它不会涉及结束标签(如< / html >，< /body>等)，如同在EXALG应用基于字符串的页面生成模型。

图. 1.(a) 一个网页和它的两个不同模板(b) S ，(c) S’由于子项的数据必须与模板编码形成结果，所以在页面生成模型中连接是一个必需的操作。

例如，用实例x编码一个k阶类型构造函数τ，应该涉及模板树T与x的所有编码树的子项的连接。

然而，树连接更为复杂，因为有多个点附加一个现有树的子树最右边的路径。

因此，我们需要考虑连接树的插入位置。

定义2.2假设T 1和T2是两棵树，我们定义操作，来添加T2到树T1的从叶子节点到第i个节点（位置）的最右路径的一棵新的树。

例如，在图2的上半部分给定树的模板C，E和数据内容P，S（分别为“产品1”和“折扣5%”的内容），---------------图的下半部分我们展示了树连接和。

这些树的虚线圈是虚拟节点，帮助树的表示(比如多个路径连接到树)，可以被忽视。

插入点标记为蓝色实线圈。

对于子树C，插入点是节点<a>，子树P（单节点）被插入在了这里。

对于子树E，插入点是节点<br>的上一个虚拟节点，子树S（也是单节点）也被插入到了这里。

图中也显示两个子树N(内容数据“现在3：79美元”)和作为兄弟节点插入在插入点0的模板D下，我们通过表示该操作。

图2.树连接的例子树连接操作后，我们现在可以定义k序列类型构造函数的编码类似于EXALG。

基本上，这个想法是为了允许k + 1模板放置在k条目前面，中间，或者最后，如下：定义2.3(Level-aware编码)我们为类型构造函数τ定义的模板以及它的编码实例x(在x的子值编码方面)如下所述。

1、如果τ是一种基本类型，β，那么编码λ（T，x）被定义为包含字符串x本身的一个节点。

2、如果τ是一个K序列类型构造函数，那么这个模板定义如：板树。

a、对于单一实例x的形式（x 1，....，x k），λ（Tτ，x）是一棵由连接k+1序列子生成的树，，和b、对于多个实例，它的每一个都是类型τ的一个实例，编码是作为兄弟节点插入子树m到父模板P的最右路径上。

每一棵子树是通过[， ()， ()] 模板使用单一实例的程序编码，如上所述；φ是空模板(或一个虚拟节点)。

参见图3 b编码多个实例说明。

c、析取不需要模板，因为一个实例x的编码将使用一些()模板，其中x是的一个实例。

例2.2我们现在为输入DOM树考虑模式。

我们限制相邻的HTML标记进入到模板树A到G中（为矩形框）。

大部分的模板是单一路径，而模板C和D包含两条路径。

因此，我们添加一个虚拟节点作为根组成一个树结构，如图2所示。

用深度优先的顺序遍历这棵树来给这些模板和数据一个顺序，我们可以看到，大多数数据项插入了之前模板的叶节点。

例如，第1项“产品”是附加到模板树C插入位置为0的叶节点上，等同于在图二中进行操作；同样，“现在3.79美元；”“特性1 1”附加到模板树D和F在叶节点分别插入位置0。