基于属性高频字的Web数据库重叠率估计

基于属性高频字的 Web 数据库重叠率估计
苗忠义，赵朋朋，崔志明
（苏州大学 智能信息处理研究所，苏州 215021）
（hjmzy@;szcolinzhao@;szzmcui@）
摘要：网络上出现了大量可以在线访问的数据库，人们称之为 Web database(WDB)。WDB 已经成为人们高质量信息的重要来源，但在同一领域内，不同 WDB 之间有重叠部分，以前 没有引起人们的足够重视，但由于其在 Deep web 信息规模估计、Deep web 数据集成、Deep web 数据源选择、查询分发等方面有着重要的应用需求，我们提出一种基于属性高频字重叠 估计方法，以中文高频字为起点，迭代诱导属性高频字，再通过属性高频字的查询结果，估 计重叠率，实验证明了方法的有效性。 关键词：重叠率；Deep web；Web database；估计 中图法分类号: TP311
Fig 1 the detail pages of dangdang and bookschina 图 1 dangdang 和 bookschina 图书详细页 这两本书的 ISBN 都是 9787111205388,据常识我们知道，两者是同一本书。我们不仅在图书 领域，还在电影、软件、科技论文、手机等领域发现同样的情况。同领域 WDB 重叠，不是 个别而是一种普遍现象。WDB 宏观规模的增长，只能说明其数据量在增长，要想知道其中
0 引言
互联网上的内容爆炸性增长，一个突出的现象吸引了大量研究者的目光。 Web 上出现 了越来越多可以在线访问的数据库，人们通过特定的查询接口和后台的数据库进行动态交 互，我们把这种数据库称作 Web Database(简称 WDB)，这样的站点称作 Deep Web 站点。文 献[1]在 2000 年 6 月对全球 WDB 的规模进行了宏观估计， 称约有 43, 000-96, 000 个 Deep Web 站点，Deep Web 数据量约为静态页面的 500 倍；2004 年 4 月文献[2]对其进行重新估计称有 307000 个 Deep Web 站点，四年间增长了 3-7 倍。Deep Web 站点已成为人们高质量信息的 重要来源，但有一个不容忽视问题，在同一领域内，不同的 WDB 中有重叠部分。现以中国 图书网和当当网为例，查找“数据挖掘概念与技术”这本书，得到下面结果，如图 1：
s1 s2 n s
(2)
其中 s1, s2 表示第一次和第二次捕捉活体的数量，s 表示两次都被捕捉到的活体的数量。 文献[5]提出了一种通过多次抽样，确定唯一元素出现的概率及重叠率之间的关系，进 而估计 Deep Web 数据库的大小：
u , P 1 OR 1.1 n P
2 一种朴素的方法
2．1 方法基于的公式 设有两个集合 A、B，如图 2 所示：
2

‘
E
Fig 2 two sets A and B 图 2、两个集合 A、B 用|A|、|B|表示两个集合中元素的个数，那么|A∩B|表示两个集合交集的元素个数，现从 A、 B 两个集合中随机抽样 na、nb 个元素构成两个抽样集合 A’、B’， 若 A’中恰有α个元素属于B， B’中恰有β个元素属于 A，设 P(X)表示一个元素出现在集合 X 中的概率，P(X|Y)是一个条 件概率，则有：
基金项目：国家自然科学基金项目(60673092)，2005 年度教育部科研重点项目(205059)，2006 年江苏 省“六大人才高峰”项目(06-E-037)，2006 年度江苏省软件和集成电路业专项经费项目( [2006]221-41 )，2007 年度江苏省研究生创新计划项目资助(cx07b-122cz)。 作者介绍：苗忠义，(1977 -)，男，硕士研究生。研究方向为 Deep Web、Web 数据挖掘、Web 数据抽 取；赵朋朋,( 1980 -)，男，博士研究生，研究方向为 Deep Web、Web 数据抽取、Web 数据挖掘；崔 志 明 ， (1961-)，男，教授，博士生导师，研究方向为智能化信息处理、计算机网络应用与数据库应用。
P ( A B | B)
| A B | |B| na
(5)
P( A B | A)
| A B | | A| nb
(6)
我们提出的方法基于上面的公式，问题的挑战性在于： (l)WDB 的信息隐藏在特定的查询接后面，我们不能通过 SELECT * FROM WDB 来获 得其中的内容，进而求得两个数据库的垂叠。 (2)人们开发了一些面向 Deep Web 的爬虫[11,12]，可以用于爬取 WDB 中的内容，以此来 判断两个数据库的重叠。 这种方法一方面会占用大量的网络带宽， 另一方面会产生很多重复 的记录，去重任务很重，可以说带来的问题比解决的更多，同时对 Deep Web 站点也是不友 好的。 2.2 方法步骤 本节以中文为背景，将讨论一种朴素的估计方法，并对其局限性进行分析，下节针对 该方法的局限性形成一种改进方案。设现有两个 Web 数据库分别为 WDB1、WDB2，对应的 查询接口为 I1、I2，朴素方法的步骤: (l)在字典中随机选择 n 个字，形成查询关键字集合 W={w1,w2,......wn}； (2)对 W 中每个字，将 wi(1≤i≤n)作为关键字在 I1 上进行查询； (3)收集查询结果形成结果集 Ri； (4)对 Ri 中的每一个元素，在 I2 上进行查询检测其是否存在于 WDB2 中，若在记入集合 Oi； (5)对 wi,据公式(5)或(6)会得到一个 ORi(Overlapping Rate)=|Oi|/|Ri|； (6)计算平均 OR ：
(3)
其中 u 为不相同的元素个数， P 表示其出现的概率， OR(Overlapping Rate)表示重叠率,OR=t/u， t 是总的抽样数量。 文献[6]提出一种基于属性相关度的 Web 数据库大小估算方法，该方法基于下面简单的 公式：
n Pw
(4)
其α表示抽样数量，Pw 表示一个词在某属性上出现的概率。通过分折两个属性的相关度，取 其中两个相关度较小的属性，在一个属性上提交查询，在另一个属性上统计词频，以此估计 该属性上的 Pw。 文献[7，8]提出了 Deep Web 页面上实体识别的方法。 以上所列文献均在一定程度与本文所提问题相关，但都没有提到 WDB 垂叠估计，由于 WDB 重叠问题不仅在估计 Deep Web 宏观信息量，而且在 Deep Web 数据集成、Deep Web 数据源选择、查询分发等方面有着重要的应用需求，我们曾试图采用随机采样的方法[9,10]， 但试验均不理想， 故提出通过诱导高频字的方法来解决这一问题。 第 2 节提出一种朴素的估 计方法，第 3 节在朴素方法的基础上提出基于属性高频字的方法，第 4 节是实验，最后一节 是结论。
Size(E1 ) Size(E 2 )
(1)
其中 Size(E1)和 Size(E2)表示搜索引擎 E1、E2 的大小，α是对 E2 随机抽样的 n 个元素中属于 E1 的元素个数， β是对 El 随机抽样 n 个元素中属 E2 的元索个数， 重叠的比率即为: α/n,和β/n。 文献[4]提到了一种利用 capture-recapture 来估计生物种群大小的方法，若估计某一地区 一种野生动物种群大小，先随机捕捉一些活体,作标记后放归，然后再随机捕捉一些，通过 下式估计生物种群大小：
——————————————————————————————————— 序号 汉字 出现次数 出现次数 万分比 序号 汉字 万分比 ————————————————— ——————————————————————————————————— 1的 的 2948833 341.277 1 2948833 341.277 2 974062 112.731 2一 一 974062 112.731 3 921530 106.651 3 国 国 921530 106.651 4 在 708916 82.045 4 在 708916 82.045 5 人 697930 80.773 5 了 人 697930 80.773 6 684656 79.237 7 670720 77.624 6 有 了 684656 79.237 8 663971 76.843 7 中 有 670720 77.624 9 是 657739 76.122 8 中 663971 76.843 10 年 616475 71.346 9 … 是 657739 76.122 … … … 10 年 616475 71.346 ———————————————————————————————————
1

蕴含信息的数量就要研究 WDB 之间的重叠问题,而且 WDB 的数据集成也对 WDB 重叠问题 研究提出了迫切的要求。
1 相关工作
到目前为止我们没有检索到 Deep web 数据库重叠估计的文献。文献[1，2] 分别采用重 叠分析和随机 IP 抽样的方法在宏观上对 Deep Web 规模进行了研究。1998 年 Krishna Bharat 在文献[3]中最早提出采用随机抽样的方法估计两个搜索引擎相对大小及重叠：
3 一种改进的估计方法
从上一节的分析可知， 问题的关键在于查询得到的记录集要尽可能按近 WDB 记录分布 的真实倩况，要完全得到 WDB 记录分布不太容易，也没有必要，所以我们将问题作一个转 化，如果能得到 WDB 上和查询按口文本框相对应字段上的高频字，用这样的高频字进行查 询会得到更多的记录，这样的估计会更准确。下面从几个方面来分析问题： 3.1 汉语中的高频字 汉语中字是最小的语言单位， GB2312-80[13]共收录 6763 个汉字， 其中一级汉字 3755 个 ， 二级汉字 3008 个， 这 6763 个汉字并不以等概率出现在汉语中， 其中存在少量出现频率很高 的，我们称之为高频字的汉字。 以清华大学统计的汉字频度表为例 [14]，其语料库总字数为 86,405,823 个，获取前若干 个频繁汉字及其对应的出现频率.结果见表 1,出现频率最高的前 10 个汉字分别为 “的”、“一”、 国”、“在”、“人”、“了”、“有”、“中”、“是”，“年”。其中前 500 常用汉字的覆盖率为 78.53%， 这代表了现代汉语的一种普遍现象。 Table 1 Frequent Chinese words frequency (clips) 表 1 高频汉字字频(片断) ———————————————