超链接环境下的权威资源(翻译)

超链接环境下的权威资源1 引言超链接的网络结构是一个有丰富资源的环境内容信息，它提供给我们一个有效的方法让我们去理解它。

在这种情况下，我们针对这种环境下的链接结构开发了一系列的算法工具从中分离信息，并通过在试验中报告和说明它们在万维网中的多种多样内容中的有效作用。

我们尤其关注它在一个广阔的搜索主题中分析和搜集相关网页以及发现最权威网页时链接的使用。

对于万维网，当我们不缺乏技术的时候，我们发现搜索和结构分析的问题在区域上下文中尤其重要。

万维网是一个巨大而复杂的超文本资料库，它同时在以惊人的速度持续扩展着。

更甚者，它可以看做一个错综复杂的超媒体结构。

它同时有数以百万计的在线参与者，这些参与者们有着多种多样互相冲突的目标，同时他们还在不断的创造超链接内容。

所以，当每个人都在以一种极端的本地层次强制整理信息时，全局的组织已经完全的改变了——上层的结构只能通过之后的分析才能浮现出来。

我们的工作就是源于万维网上的搜索问题。

我们可以粗糙的定义为一个过程——给出查询，提供相关的网页。

由于相关性是主观存在的，所以搜索方法的质量需要人类来评估。

我们是从观察万维网上提高搜索方法的质量开始的。

在现阶段，一个丰富而有趣的问题是在很多方式中，它们算法的有效性和存储性是互不相关的。

尤其是现在的搜索引擎都是典型的只搜索万维网上的一定大小的内容的搜索引擎，同时响应还是秒级别的。

尽管可以提高响应时间来换取对于用户来说更重要的结果，但是对于搜索工具来说，用额外的时间来进行计算，这是非常不可行的。

准确的说，我们缺乏一种具体定义的功能，这种功能客观上应满足我们想要搜索到的页面的质量。

查询和权威资源。

我们认为搜索是开始于用户提供的查询的。

它不需要查询的统一概念性的视图；且它不止是一种查询，它需要运用不同的技术来处理。

思考一下，比如说，有下面几种查询：特定查询，如“网景是否支持JDK 1.1代码签名的API（应用程序接口）？”广泛主题查询，如“找到关于JA V A编程语言的信息”相似页面查询，如“找到与相似的页面”我们现在专注前两种类型的查询，我们可以看到它们现在又很多不同种类的障碍。

处理特定查询时的困难是集中的，粗略地说，是围绕所说的稀缺问题的。

有极少的页面包含这些所需的信息，并且通常很难确定这些页面的真正来源。

对于广泛主题查询，另一方面，我们期待在万维网上找到数以千计的相关页面。

这样的一组页面可能通过标引项匹配（如输入一个字符串“Gates”，“search engines”，“censorship”到搜索引擎AltaVista[17]），或者更复杂的方式产生。

因此，这并不是一个稀缺问题，相反，其基本困难在于丰度问题：可以作为相关页面合理地返回的页面数目太大，以至于人们很难消化。

在这些条件下，为了提供有效的搜索方法，就需要一种方法，从巨大的相关网页集合中筛选出最“权威”或“彻底”的那些。

我们对于广泛主题的查询，可以将权威这一概念，作为我们工作中的中心焦点。

我们在处理这一问题所面临的基本障碍之一是准确地模型化在特定的查询主题上下文中的权威网页。

鉴于某一网页，我们如何辨别其权威？讨论一些在这里出现的复杂难懂的问题是很有用的。

首先，考虑报告的自然目标，即哈佛大学主页为查询“哈佛”的最权威页面之一。

不幸的是，在万维网上有超过100 万的网页使用了目标词“Harvard”。

同时 不是最常使用的，或者使用最突出的，或者以任何其他方式支持一种基于文本的排序函数。

事实上，一个疑问是，是否存在一个纯粹的内源性措施去适当地评估一个页面的权威。

第二个问题是找到主要的www 搜索引擎的主页。

我们可以从查询“搜索引擎”开始，但是这存在一个困难，事实上很多权威网站（雅虎，Excite，AltaVista）都没有在其页面上使用这个词。

这是一个基本的和重复出现的现象——另一个例子，我们就没有理由指望本田或丰田的主页包含术语“汽车制造商”。

链接结构分析。

万维网的网页之间的超链接结构分析，给了我们一个方式来处理许多上文讨论过的困难。

超链接隐含了大量潜在的人为判断，我们认为这种类型的判断正是我们制定一个权威的概念所需要的。

具体来说，万维网上链接的建立是以下判断类型的具体表现：页p，通过包括页面q的链接，就可以在在某种程度上赋予页面q 的权威性。

此外，链接通过指向它们页面，让我们完全有机会找到潜在的权威性的东西；针对很多突出的页面没有充足地自我描述的网页，这种方式围绕着以上的问题提供了一种方法。

当然，这种情况下，有大量的链接的应用程序中有很多的潜在缺陷。

首先，针对各种各样的原因创建的链接，其中有很多与权威性无关。

例如，主要用于导航目的而创建大量的链接（“点击此处返回到主菜单”）；其他表示的付费的广告。

另一个问题是很难找到相关性和流行性标准之间的适当的平衡，而这两个都有助于权威这个直觉概念的判断。

这对在下面这个简单的启发式算法定位权威页面所固有的严重问题的思考具有指导性作用：包含查询字符串的所有页，都返回导入链接的最大数目。

我们之前已经讨论的许多查询（"搜索引擎"、"汽车制造商"，......)，其中的一些查询的最权威页面不包含相关的查询字符串。

反之，这启发式算法会考虑普遍受欢迎的网页，如 或 所包含的任何查询字符串，它极具权威性。

在这项工作中，我们针对权威的授予，提出了一个基于链接的模型，并提出它是如何统一标识与广泛搜索主题相关的、权威的www 页面的方法。

我们的模型基于权威性的主题与这些权威性页面所链接到的许多有关权威性页面之间所存在的关系——我们把后面的这一种类型的页面叫做枢纽。

我们观察到枢纽和由链接结构定义在图中权值之间存在的某种自然的平衡，我们利用这一点开发算法，能同时识别两种类型的页面。

这种算法操作于我们构建的基于文本的www 搜索引擎输出中的子图；我们构建这些子图的技术是设计产生一个小的可能包含一个给定的主题最权威页面集合。

概述。

我们发现权威万维网资源的方法必须要具有全球性质：我们希望确定万维网中广泛搜索主题的最中央页作为一个整体。

全局办法涉及到了表示和过滤大容量的信息的基本问题，因为所有的与主题有关的广泛主题查询的页面有数以百万计。

这与查询本地的方法不同，理解万维网中的页面的相互连接属于单个逻辑站点或内联网；在这种情况下，本地方法数据量小得多，经常考虑不同组的主导地位。

注意到我们主要关心的这个是一个从根本上与聚类问题不同的问题也是很重要的。

聚类问题剖析了异构迁入子图，在某种程度上这更有凝聚力；在万维网的背景下，这可能涉及到要区分不同含义或感觉的被查询词相关的网页。

因此，聚类的本质上是不同于那些通过权威性而发现提取出广泛主题的问题，虽然后面的部分将表明某些联系。

即使我们完全能够分析含糊不清的查询词（如"Windows"或"Gates"）的多个意义，我们将仍然留下一个潜在问题，那就是表示和过滤掉与每个查询词主要意思相关的大量页面。

本文的结构如下。

第二部分讨论的是通过广泛主题搜索来构建万维网上的子图从而产生一系列丰富而理想的相关权威页面的方法。

第三部分和第四部分讨论在这样的一个子图上识别枢纽和权威性的资源的主要算法，以及该算法的一些应用。

第五部分讨论万维网的搜索、文献计量学，和社会网络研究领域的相关工作和联系。

第六部分描述了如何扩展我们基本的算法，进而去搜集多个枢纽页面和相同链接结构内的权威页面。

最后，第七部分研究为了让我们的技术更有效，我们应该如何定义所搜索的主题的“广泛性”。

第八部分针对在这里提出的方法的调查工作，我们进行了一些评价的问题。

2 万维网中构造一个集中性的子图我们可以将任何集合V 的超链接的页面作为一个有向图G = （V ；E）：节点对应于页面，一个有向的边（p，q）∈ E 表示的从p 到q 的一个链接。

我们知道一个节点p 出度是其所链接到其他的节点的数目。

而p 的入度是其它的节点链接到P的数目。

在一个图G中，我们可以通过以下方式隔离小区域或子图。

假设W V是一些页面的子集，我们使用G [W] 来表示图中的W：其节点是在W中的页面，且它的边对应于W.在页面之间的所有链接。

假设我们针对字符串δ进行广泛主题查询。

我们希望通过链接结构的分析找到权威性高的页面；但首先我们应该找到我们算法所操作的在万维网中的那个子图。

在这里我们主要是关注在相关页面上的计算量。

因此，在这里我们举个例子，我们可以将分析限制在集合Q（δ），此处Q（δ）是包含所查询字符串的所有页面，但这有两个明显的弊端。

首先，这个集合可能会包含超过百万的页面，因此需要大量的计算成本；第二，我们发现部分或大部分最适合主题的资源可能不属于这一集合。

理想情况下，我们关注于具有以下属性的页面的集合S（δ）。

（I）S（δ）相对小。

（II）S（δ）是具有很多相关的页面。

（III）S（δ）包含大部分（或许多）最权威的资源。

通过保持集合S（δ）小，我们就能够负担得起应用非平凡算法的计算开销；通过确保S（δ）具有很多相关的页面，我们能容易找到好的权威资源，因为这些页面很可能需要大量引用。

我们怎样才能找到这样的一个集合呢？对于参数t（通常设置其值为200），我们首先从一个基于文本的搜索引擎AltaVista [17] 或Hotbot [57] 搜索查询字符串δ，并从中收集t 个排名最高的页面。

我们将这t个页面作为根集合R（δ）。

根集合满足前面所需要的（ⅰ）和（ⅱ）两条性质。

但它一般是不满足(iii)的。

我们看一下这个，最上层的t个页面由我们使用的基于文本的搜索引擎所返回返回的，它们包含所查询的字符串δ。

因此R(δ) 显然是集合Q(δ)的子集，且Q(δ)是所有包含δ的页面。

我们争论的是Q(δ) 往往不满足条件(iii)。

它观察在Q(δ)也是很有趣的，R(δ)页面之间通常链接是极少的，这通常是无结构的。

例如，在我们的实验中，查询词"java"的根集在不同域中的页面之间包含15个链接；查询词" censorship "的根集在不同域中的页面之间包含28个链接.这些数字都是典型的多种查询尝试；他们应与根集页面之间存在的200*199 = 39800个潜在链接进行比较。

然而，我们可以使用根集S(δ)，来产生一组页面集合S(δ)，它将满足我们一直在寻找的那些条件。

考虑针对查询主题，那些强有力的权威资源---尽管它不在集合R(δ)，但是很可能会在R(δ) 所指向的链接中的至少一个页面中。

因此，我们可以通过扩大R(δ) ，在子图中增加权威资源的权值，并沿着链接，进入和离开它。

具体而言，我们定义了下面的过程。

即：对于子图(δ,E,t,d)δ: 所查询字符串.E : 基于文本的搜索引擎T， d : 自然数R（δ）：针对字符串δ，搜索引擎E的结果中的前t 个排名最高的页面使 S（δ）:= R（δ）对于每个页面 p ∈（δ）使T+(p) 表示p指向的所有的页面使T−(p) 指向p的所有页面将T+(p)中的所有页面添加到 S(δ)中如果T−(p)的绝对值≦ d 则：将T−(p)中的所有页面添加到 S(δ)中.否则从T−(p)中添加d个页面中到 S(δ)中.结束返回S(δ)因此，我们通过与日俱增的 R(δ)，获得 S(δ)。