北京大学学士学位论文

论文摘要

本文首先介绍了Internet及WWW的迅速发展状况，分析了Internet信息资源的特点。在介绍已有的搜索引擎之后，分析了这些搜索引擎的特点。

随后，本文对“天网”搜索引擎系统进行了介绍，给出了该系统的总体结构、技术特征，并分析了该系统的性能。

然后，文章介绍了“天网”系统中的信息统计子系统。信息统计子系统是为系统管理人员评估系统性能、维护系统效率、更好满足用户的查询要求而设计实现的。本文给出了信息统计子系统的总体结构，并详细介绍了该子系统的两个重要部分，数据库信息处理和日志文件信息处理的设计目标和实现算法，并介绍了如何让机器自动学习新词。

关键词：搜索引擎、信息统计、机器学习新词

目录

目 录 (2)

第一章 背景介绍 (3)

§1.1 Internet 和 WWW 的发展与现状 (3)

§1.2 搜索引擎技术的发展与现状 (5)

第二章 系统概述 (6)

§2.1 系统的总体结构 (6)

§2.2系统技术特征 (6)

§2.3总体性能 (8)

第三章 信息统计子系统 (10)

§3.1 系统的改进需求 (10)

§3.2 信息统计子系统的总体结构 (10)

§3.3 运行条件 (11)

§3.4 使用界面 (11)

第四章 数据库信息处理的实现 (14)

§4.1 设计目标 (14)

§4.2 数据库处理 (14)

§4.3 引用次数排行表 (15)

§4.4 HASH 表 (16)

§4.5 统计各个域内的主机数目 (18)

§4.6 主机情况查询 (19)

第五章 日志文件信息处理的实现 (20)

§5.1 设计目标 (20)

§5.2 文件处理 (20)

§5.3 新词学习 (22)

致谢 (25)

参考文献 (26)

第一章背景介绍

§1.1 Internet 和 WWW 的发展与现状

Internet是一个规模巨大、自治性强、发展变化快，用户访问频繁的国际互联网络。

Internet的前身是60年代末，70年代初美国国防部高级研究计划署的实验性网络ARPANET。组建ARPANET的最初原因是当时计算机的价格非常昂贵，所以科研工作者们想通过网络进行远程计算。后来，人们才逐渐认识到它作为通讯手段的好处。1983年后，ARPANET中有关军事的部分被隔离为MILNET。其后，1986年诞生的美国国家科学基金会NSFNET对Internet的发展起了划时代的作用。

90年代初到现在，是Internet增长最迅速的时期。1993年，Internet的增长速度是341%。截止到1996年7月，Internet已连接了134336个网络，入网主机1228万台，以及数以亿计的用户。Internet上的信息资源随着Internet 的发展也呈现出以下特点：

z信息量大而且分散

z自治性强

z信息资源多种多样

z信息变化快

z不一致和不完整性

这些特点对网络软件的性能提出了很高的要求。

World Wide Web(WWW)是全球性的网络信息系统。一九八九年，位于瑞士的European Laboratory for Particle Physics(CERN)首先开始了WWW的研究工作。随后，许多其它的研究机构、大学和公司也加入WWW研究者的行列，并相继开发出各自的WWW软件。这些WWW软件的运行平台覆盖了目前主流的计算机硬件和操作系统。在此过程中，WWW也不断完善和发展。同时，为了保证不同WWW软件之间的互操作性，一系列WWW协议和标准也正在使用和完善之中。

WWW是基于超文本（Hypertext）和超媒体(Hypermedia)的分布式信息系统。超文本和超媒体是信息的一种组织形式，如图1.1所示：

在超文本文件中，包含有许多指针，这些指针被称为超文本链(Hyperlink)。每一个超文本链都指向其它的超文本信息。这些超文本信息可能存放在同一台计算机中，也可能存放在WWW信息系统的其它计算机中。读者并不关心这些超文本信息存放在何处，如果他们想了解这些信息，他们就可以通过超文本链得到。超媒体是对超文本的扩展。在超媒体系统中，超媒体链可以指向任何媒体信息，包括图象、音频、视频等等。超文本和超媒体为用户进行信息检索提供了极大的方便。

§1.2 搜索引擎技术的发展与现状

随着WWW的迅速发展，Internet上出现了WWW信息查询服务，它们通常被称作搜索引擎。这些搜索引擎一般是预先由程序自动地在网上递归地访问WWW 页面，将访问的信息存入数据库。然后将数据库中的信息建立索引，并提供给用户WWW的查询界面。搜索引擎根据用户的请求查询数据库，并将结果按相关程度排序后输出给用户。

目前的搜索引擎大致可分为三大类：分类编目搜索引擎(Directory Search Engine)、机器人搜索引擎(Robots Search Engine)和元搜索引擎（Meta Search Engine）。分类编目搜索引擎以Yahoo公司的Yahoo！为代表，机器人搜索引擎以Digital的AltaVista、Inktomi公司的HotBot为代表, 元搜索引擎以go2net的MetaCrawler为代表。

国外搜索引擎起步较早，功能全面，性能良好，但是它们的共同缺点是都不能很好地支持中文信息的发现和查询。虽然AltaVista、Yahoo等搜索引擎在1998年上半年宣布支持中文，但在对中文信息的处理上尚存在很多不足，如不能准确切词，不能在上下文环境中理解语义等等。

第二章系统概述

§2.1 系统的总体结构

“天网（WebGather）”中英文搜索引擎系统是为满足用户对中国教育科研计算机网（CERNET）及INTERNET上的信息资源的检索和查找需要而研制开发的。本系统的研制列入CERNET应用系统课题项目，其目标是建立CERNET上能广泛应用的WWW资源索引与查找系统。它符合相关的INTERNET标准，能够自动对WWW 信息进行定向搜集，同时建立WWW资源索引数据库，以满足远程WWW浏览器的交互式查询请求，并将查询的结果以HTML文件的形式返回给用户。

本系统主要由WWW信息存取和分析子系统、WWW信息收集控制子系统、NEWS 收集分析子系统、资源索引数据库、信息检索子系统、管理和监控子系统等几个部分组成。其总体结构如图2.1所示。

§2.2系统技术特征

本系统有以下技术特征：

1．信息收集符合Internet的相关协议和标准。

因为本系统收集的主要是Internet上的信息，所以在设计开发时把对有关协议和标准的支持作为一个重要的目标。这些协议和标准包括：HTTP协议、MIME、HTML语言、WWW Robots标准、NNTP协议。

2．实用、高效的信息分析方法。

本系统主要根据HTML中不同的Tag区分页面中各个部分信息内容在文章中的重要性和所处的位置，并结合使用中文分词、词频统计和一定的自然语言理解技术，智能化地提取该页面的关键词和摘要。

3．高度智能性和适应性的信息发现方法

我们在本系统中主要使用程序方式自动收集WWW信息，即WWW机器人方式。在该方式中，有一个能自动在WWW网中获取信息并进行漫游的程序根据HTML文档中的超链，自动收集和索引WWW信息．这种方式速度快、基本不需人工干预。

4．中文信息处理技术

中文信息处理与英文存在很大不同，这是因为中文信息处理具有很多自己的特点，这使中文信息的词语切分(切词)成为汉语信息处理的第一道关口，也是建立中文信息发现和检索系统的关键性技术之一。我们使用以带词类标记的词典为基础、以切词与标注相结合的方法处理中文信息，较好地解决了汉语的切词问题。5．可伸缩的分布式结构

本系统主要由信息收集子系统和信息检索子系统两部分组成。这两个子系统之间既相互联系，又相互独立，可以分布在不同的主机上分别运行。

6．基于词的大型、高效的信息索引数据库和快速、准确的检索方法。

本系统主要采用基于词的索引，以达到较快的速度和较高的准确性，同时减少索引信息对磁盘空间的占用。

在索引库中采用分级的优化索引结构和多级索引技术，将较小的一级索引驻留内存，检索操作过程大部分在内存中进行，尽量减少对硬盘文件的访问。因而大大提高了检索的响应速度。索引库支持增量修改和索引。以减少数据复制时产生的网络流量，提高索引速度。

7．智能化、多功能的用户检索接口。

用户可以通过浏览器直接访问本系统，还可以使用Email查询接口。

§2.3总体性能

WebGather由于采用了可伸缩的分布式结构、内存Cache、索引数据库和检索数据库分开等先进、有效的技术，使得系统占用资源少、信息收集速度快、用户查询响应时间快（系统对96.7%以上的查询可在1秒钟之内作出响应）、查准率和查全率较高，基本达到了实用化程度。

系统在设计和实现过程中，充分考虑到了用户和管理员的使用习惯，提供了浏览器、电子邮件、中英文用户接口和方便易用、功能丰富的管理工具，因而有很好的可用性和易用性。

天网从1997年10月在CERNET上提供服务以来，得到了用户的欢迎和好评。

统计数字表明了系统的使用情况：

时间 1998年 1999年3月 1999年4月

平均每天访问人次 2200 10113 15333

由于天网功能全面、性能突出，《软件世界》杂志１９９８年第7期将天网评价为国内最好的中英文搜索引擎。

第三章信息统计子系统

§3.1 系统的改进需求

经过测试和改进，到1998年，天网搜索引擎已经可以很好地为广大网络用户服务了。在CERNET上，平均每天有几千人次访问天网搜索引擎。许多研究人员、教师都把天网搜索引擎作为他们工作中的重要工具。为数众多的大中院校学生每天通过天网搜索引擎查询专业信息，了解社会动态，和娱乐消遣。

随着系统的广泛使用，对索引数据库以及用户查询记录进行处理，从中提取出有用的信息，帮助系统管理人员评估系统性能、维护系统效率、更好满足用户的查询要求，成为一个急待解决的问题。信息统计子系统就是为这个目的而设计的。

该子系统通过处理索引数据库产生关于网上页面、主机状况的信息，如页面的平均长度、页面的被引用情况、页面的编码类型、主机上的页面数等等；通过处理用户查询记录文件产生关于用户需求的信息，如用户的访问次数、访问类型、常查询的词语，并可以自动学习新词。

§3.2 信息统计子系统的总体结构

信息统计子系统的总体结构如图3.1所示。

信息统计子系统主要分为三大模块。第一部分是数据库信息处理程序，它启动运行后，从索引数据库中读取数据，统计出信息，写在结果文件中。这部分内容又可分为统计页面信息和统计主机信息两部分。第二部分是日志处理程序，它读取用户查询日志文件，处理得到的信息也记录在几个结果文件中。第三部分是使用界面程序，它根据使用者的要求启动数据库信息处理程序、日志信息处理程序、或是显示某些查询结果。

§3.3 运行条件

本子系统与主系统一样，硬件平台选用的是SUN ULTRA2工作站。整个程序是在SunOS环境下用C语言开发的。程序中使用了一些C语言的库函数，数据库统计部分采用INFORMIX6.0的ESQL/C嵌入式数据库查询语言。

§3.4 使用界面

界面部分使用网络研究室自己开发的C语言图形编辑函数库，采用UNIX 下的菜单图形界面。

主菜单的形式如下：

chAngedoc Cleardoc queryLog queryUrl queryHost Exit

z chAngedoc子菜单：脱机启动各统计程序。

z Cleardoc子菜单：清除以前的统计记录，使得以后运行各统计程序得到的结果并不在这之前的记录上累加。

z queryLog子菜单：查询与用户查询情况有关的信息。

z queryUrl子菜单：查询与数据库内页面有关的信息。

z queryHost子菜单：查询与数据库内主机有关的信息。

z exit子菜单：退出主菜单。

chAngedoc菜单的形式如下：

Url Host Log

z Url选项：启动统计页面情况的程序。

z Host选项：启动统计主机情况的程序。

z Log选项：启动统计用户日志情况的程序。

Cleardoc菜单的形式如下：

Word Newword Log

z Word选项：删除以前统计的词的查询频率的记录。

z Newword选项：删除以前统计的新词频率记录。

z Log选项：清空所有的查询次数计数器。

queryLog菜单的形式如下：

numDoc nEwdoc Word Newword z NumDoc选项：查询次数和种类的统计信息。

z NEwdoc选项：显示近期内的查询统计信息。

z Word子菜单：查询词语的出现频率。

z Newword子菜单：查询学习到的新词。

queryUrl菜单的形式如下：

Code fileLength Hitnum urlNumber z Code选项：查询各编码类型的页面数。

z FileLength选项：查询与页面长度有关的信息。

z Hitnum选项：显示被引用次数最高的一百个页面。

z UrlNumber选项：显示总页面数。

queryHost菜单的形式如下：

hostNumber hostField hostQuery

z HostNumber选项：显示主机总数。

z HostField选项：显示每个域的主机数。

z HostQuery选项：查询有关某个主机的信息。

Word菜单的形式如下：

Word_Two word_thRee word_Four word_fiVe word_Six z Word_Two选项：显示被查询次数在5到10次之间的词。

z Word_thRee选项：显示被查询次数在10到20次之间的词。

z Word_Four选项：显示被查询次数在20到50之间的词。

z Word_fiVe选项：显示被查询次数在50到100之间的词。

z Word_Six选项：显示被查询次数在100以上的词。

Newword菜单的形式如下：

Newword_Two newword_thRee newword_Four

z Newword_Two选项：显示学习到的长度为2的词。

z Newword_thRee选项：显示学习到的长度为3的词。

z Newword_Four选项：显示学习到的长度在4以上的词。

第四章数据库信息处理的实现

§4.1 设计目标

1．统计数据库中一共有多少个页面，这样可以帮助估计数据库的规模和系统的服务能力。

2．统计数据库中一共有多少个主机。

3．统计各种编码类型的页面各有多少，这样可以知道大部分用户查询需要怎样被处理，从而估计影响系统效率的关键因素。

4．统计被引用次数最多的100个页面，这可以反映出网上比较受欢迎的信息。5．统计数据库中各个长度范围的页面数和页面的平均长度，用来估计系统所占用的空间。

6．统计各个域内的主机数目，反映网上的主机分布情况。

7．查询某个主机是否在索引数据库中收录，如果被收录，它的上面有多少页面被收录到索引数据库内。

§4.2 数据库处理

功能示意图如下：

对索引数据库的处理分为两部分，一部分是对页面的统计，主要是对webgather数据库中的visited_tab表中的数据进行处理，提取出关于页面的有用信息；另一部分是对主机的统计，主要是对webgather 数据库中的host_tab表中的数据进行统计，提取出关于主机的有用信息。

由于索引数据库中的信息量很大，共有一百多万页面，七千多个站点，对数据库内的数据如果完全用SQL语句处理，会使统计的速度非常慢。因此，采用的算法是只通过一遍扫描，将数据库中有用的信息存在一些中间文件和HASH 表中，然后用双链表等手段处理这些中间文件，得到结果文件。

为保证系统的效率，程序中只用了一条最简单的SQL语句。

页面统计程序中，每从数据库中读取一个信息，都要进行如下处理：

z将该页面的网址写在一个文件中。

z将该页面所在的主机的信息插入HASH表，并在HASH表相应的项的域中记录该页面的网址在上一文件中的位置。

z页面数计数器加1。

z增加页面总长度。

z该页面长度所在的范围的计数器加1。

z该文件所属的编码类型的计数器加1。

z将该页面的网址、标题、引用次数写入一个文件。

主机统计程序中，每从数据库中读取一个信息，都要进行如下处理：

z主机数计数器加1。

z找到该主机所在的域，并将该域的计数器加1。

§4.3 引用次数排行表

将所有页面的引用次数都记录在一个文件中后，要对该文件进行处理，从中找出引用次数最高的100项。

因为数据库中有一百多万个页面，所以该文件的数据量很大，必须采用高效的算法。又因为最终只要产生前100项就可以了，所以不必将文件中的数据全部排序。

经过比较，我采用了下面的算法：

1．将中间文件中的前100项用插入排序法加入双链表。

2.读中间文件后面的项，如果某一项的引用次数小于当前双链表中的最后一项，

直接将它略去；否则，将它插入双链表，并将最后一项除去，保证双链表中只有100项。

算法效率评估：

该算法只需要一遍扫描文件，刚开始时，双链表的内容变换比较频繁，但处理过一些数据之后，双链表中的100项的引用次数就会高于文件中的大多数项。这时，很多项都不需要插入双链表。

在100项的双链表中插入一项的平均比较次数是50次，在双链表中插入和删除一项时，并不需要移动别的项。

如果文件中有N项，该算法所需的比较次数远小于50N次。所以，该算法的时间复杂度为 O(N)，效率较高。

该算法所占用的空间仅为100项的双链表所需的空间，空间代价也较低。 §4.4 HASH 表

存放各主机上的页面信息。

1．HASH表的结构如下：

表中共有99991项，每一项是一个记录，该记录的结构是：

内容类型

主机IP地址字符串

主机上的页面数整数

主机上的页面总长度双精度浮点数

各编码类型的页面数整数数组

存放页面地址链表中的最末项位置整数

下一表项的指针指针

存放页面地址的链表指针

2．HASH函数如下：

将IP地址看作以256为基数的整数，将它除以99991的余数作为散列地址。

为防止计算整数时溢出，采用如下方法：

（1） 先计算256的N次方除以99991的余数，放在一个数组中。流程图如下：

（2）IP地址中的每一位，如果是数字，就把该位看作是该数字表示的数，如果是‘.’，就把该位看作10。计算余数的流程如图4.3所示。

3．每处理一个页面，就调用一次INSERT函数，如果该页面所在的主机没有被插入HASH表，就插入该主机的信息；否则，修改HASH表中记录的该主机的页面数和页面总长度，并把中间文件中存放该页面网址的位置加入结构体的最后一项所表示的链表。

4．因为共要处理一百多万个页面，所以如果存放页面地址链表中的每一项只放一个地址，就会耗尽系统的存储空间。解决方法是将链表中的一项定义成一个数组，再用一个整数表示该链表的最后一项所指的数组中最后一项的位置。

§4.5 统计各个域内的主机数目

每个域各有一个码字和一个域标号，对任何一个主机，如果某个域的码字取反，在与该主机的IP地址相交，得到的是这个域的域标号，那么该主机属于这个域。

设数据库内共有N个主机，有n个域，该算法的时间代价为O(nN)。

§4.6 主机情况查询

在将HASH表的内容写入结果文件时，每将一个主机的信息写入文件，同时按照存放页面地址的链表，将该主机上的所有页面的网址从中间文件中找到，并拷贝到结果文件中。

这样得到两个文件：

在一个文件中可以查到主机IP地址，主机上的页面数，主机上的页面网址在另一页面上的起始位置。在另一文件上，每个主机上的页面都存放在一起。根据起始位置和页面数，就可以顺序读取该主机上所有页面的网址。

用户查询时，可以输入主机的IP地址或主机域名，程序会自动将域名转化为IP地址，然后根据IP地址从第一个文件中找到该主机的项，再根据第一个文件中的起始位置和页面数，从第二个文件中找到该主机上的所有页面。

第一个文件只有几千项，查找时间较短。第二个文件虽然有一百多万项，但可以直接定位，顺序地读所有需要的项。所以，该算法的时间代价不高，可以满足实时查询的需要。

第五章日志文件信息处理的实现

§5.1 设计目标

1．统计总查询次数，反映用户的使用情况。

2．统计CACHE命中率，反映系统的运行效率。如果CACHE命中率过小，说明系统的效率需要改进。

3．统计CACHE命中的查询所需要的总时间，和从数据库中得到查询结果的操作所需要的总时间。用来反映CACHE的效率如何，如果需要，可以以此数据为基础，变换CACHE的大小。这两个数据也反映了系统的平均查询时间，即对用户要求的反映速度。

4．统计OR操作和AND操作的总次数，表明用户操作的类型，可以帮助估计系统处理的关键操作是什么，把提高系统性能的关键放在优化处理关键操作的算法上，较少出现的情况不必投入太多的精力。

5．统计最近一个月内每天用户查询的次数，本年内每月的用户查询次数，去年的用户查询次数，和今年的用户查询次数。通过这组数据来反映系统近期内的使用情况，以便及时了解用户的动态，更好地满足用户的要求。

6．统计数据库内的词语被查询的次数，并按照查询频率的不同范围分类，在各类内排序。了解词库的使用情况。

7．自动学习新词语，并按照词语的出现频率将词语排序。每过一段时间，提交给系统管理员一份新词表，系统管理员经过筛选，可以将部分词语加入词库。

使得系统管理员可以随时根据用户的需求调整词库的内容。

§5.2 文件处理

有一个日志文件编辑程序，用来处理日志文件。

首先，它先打开一个配置文件，从该配置文件中读取要处理的日志文件名。配置文件中可以有一个或多个日志文件名。如果有多个，就会顺序处理这些文件。

打开要处理的日志文件后，一行一行地读文件。每读出一行，就分析该行的