天网搜索引擎设计概述

一个海量ftp信息的搜集与服务系统的设计与实现

--- 陈华 2001.6.10

摘要

在因特网上对众多FTP站点进行快速的文件条目查找，是网络信息搜索的重要组成部分。本文以“天网”FTP搜索引擎为例，介绍了千万级基于WEB的强大的FTP搜索引擎的设计与实现，并重点分析了系统所采用的关键技术和方法。

关键词FTP, 搜索引擎，WWW

●Abstract

FTP Search Engine is a powerful tool to search useful files for users from various resourceful FTP sites. In this paper, mainly described are the design and implementation of our FTP search engine, as well as the key technologies and methods we adopt.

●Keyword FTP, Search Engine, World Wide Web

目录

一、引言 (4)

二、搜索引擎的历史与发

展 (4)

a)搜索引擎的起源 (4)

b)真正意义的搜索引

擎 (4)

c)Ftp的搜索引擎 (5)

I、基于文本的ftp搜索引擎：

Archie。 (5)

II、基于Web的Ftp搜索引

擎。 (5)

三、天网ftp搜索引擎的现

状 (5)

a)天网Ftp搜索产生的起源与发展历

史。 (5)

b)天网ftp搜索引擎的现

状 (6)

i.提供的功能 (6)

1.文件类型的分类 (6)

2.时间过滤 (6)

3.大小过滤 (6)

4.精确匹配 (6)

5.站点限制 (6)

6.结果中查询功能 (6)

7.支持常用的*，?，与，并操

作 (7)

8.多语言版本 (7)

9.快捷方式系统 (7)

ii.数据量 (7)

1.站点数量在3000以上 (7)

2. 文件条目1300万左

右 (7)

3.快捷方式约一千条 (7)

iii.访问量 (7)

1.日页面下载量在3万左

右 (7)

2.日访问人数在1.5万以

上 (8)

四、海量ftp搜索引擎的系统结构设

计 (9)

a)系统的结构设计：四大模块和五个数据

库 (9)

b)数据库功能和结构说

明 (10)

i.文件类型库 (10)

ii.站点列表

库 (11)

iii.素材数据

库 (11)

iv.索引数据

库 (12)

v.快捷方式数据

库 (13)

c)搜集建库模

块 (14)

i.搜集建库过程说

明 (14)

ii.站点获得策

略 (14)

iii.并发搜集策

略 (15)

iv.分布搜集策

略 (15)

v.多次尝试和断点续

搜 (15)

vi.线性的建库过

程 (15)

vii.数据库的切

换 (16)

d)搜索服务模块 (16)

i.搜索服务过程说

明 (16)

ii.服务接口说

明 (17)

iii.匹配算法 (17)

iv.Cache策略 (18)

v.强大的过滤功能的实

现 (18)

1.文件类别过滤 (18)

2.文件大小过滤 (18)

3.文件最后修改时间过

滤 (18)

4.站点过滤 (18)

5.精确匹配 (18)

vi.对“与”、“并”、*、？操作以及结果中再搜索的支

持 (19)

e)WWW搜索界

面 (20)

i.CGI参数说

明 (20)

ii.智能的换页机

制 (20)

iii.使用结果页面模

板 (21)

iv.多语言版本的支

持 (21)

v.漂亮、实用的结果输出页

面 (22)

vi.为支持分布搜索的改

进 (22)

1.使用多服务器的可能性和必要

性 (22)

2.分布搜索的实

现 (22)

3.对分布搜索的加

速 (23)

f)支持多媒体文件的特别处理技

术 (23)

i.多媒体文件条目的文件名特殊性以及查询特殊

性 (23)

ii.一种比较有效的处理技

术 (23)

iii.在建库模块的改

动 (23)

iv.在CGI模块的改

动 (24)

g)快捷方式系

统 (24)

i.使用快捷方式的原

因 (24)

ii.快捷方式系统的关系

图 (24)

iii.文件分类类别层次的显

示 (25)

iv.快捷方式条目的显

示 (25)

v.注册新的软

件 (26)

vi.过滤用户注册的快捷方

式 (26)

vii.管理快捷方式系

统 (26)

五、天网ftp搜索与国内国际Ftp搜索引擎的比

较 (26)

a)国内国际ftp搜索引擎系统按原型分类说

明： (26)

b)功能比

较： (27)

c)数据量比

较： (28)

d)速度比

较： (28)

六、天网Ftp搜索引擎未来的发

展 (28)

七、结束

语 (29)

一、引言

今天搜索引擎的核心是网络导航服务，搜索引擎是一个网络门户，他们提供新闻，在线图书馆，词典，以及其它网络资源，他们提供了不仅仅是网站搜索的服务，他们的涉及面越来越广，也越来越有用。比如，Yahoo!注重的是网站分类归总服务，而如Alta Vista，Excite等则注重提供庞大的搜索数据库。根据中国互联网络信息中心(CNNIC)有关中国Internet发展状况统计报告，搜索引擎是除电子邮件以外网民使用最多的服务。面对浩如烟海的网络信息资源，网络搜索与导航已成为网络用户必不可少的工具。与相对众多的WWW搜索引擎相比，功

能强大的FTP搜索引擎并不常见，由此限制了人们对具有大量信息与资源的FTP 站点的访问。实现一个高速、海量、功能强大而又基于WEB的FTP搜索引擎将为网络用户提供极大方便。

为此，北京大学计算机系网络与分布式系统领域最新开发出了“天网”FTP 搜索引擎，并已作为“天网”中、英文搜索引擎[1, 2]的一个子系统在网上提供服务, 获得了广大用户的一致好评。本文将从“天网”FTP搜索引擎的系统结构与算法出发阐述一种千万级FTP搜索引擎的设计与实现的方案。

二、搜索引擎的历史与发展

a)搜索引擎的起源

1991年，XWAIS版本提供了一个有着友好界面的信息搜索系统，但这个系统要求很特殊的文件格式。而在同一年还出现了另外一个信息搜

索系统，这是我们所称之为的GOPHER。Gopher 是一种按"菜单"形式

组织的分布式文档查询系统 , 最初在 Minnesota大学发展起来(1991

年), 开始用于校园网, 后来推广到Internet. Gopher为用户查询信

息提供一个多级的菜单界面, 只需按照菜单指示的路径就能获取你想要

的信息, 使用非常方便. Gopher由 Gopher客户(Gopher Client)程序

和Gopher服务器(Gopher Server)程序两部分组成. 在Internet上建立

了数以千计的运行Gopher服务器程序的 Gopher 服务器. 它们是一些能

为用户提供信息查询服务的计算机系统. 到1995年初的统计, 约有 6,

000主机安装了Gopher Server, 遍及全世界 100多个国家. 绝大多数

Gopher 服务器都是向所有Internet用户开放的. Gopher系统的主要

信息形式是正文文件. 信息文件可能驻留在不同的计算机上, 通过目录

结构把它们链接在一起. 一个 Gopher 服务器的所有信息文件组成一棵

信息树. 由于这种链接是透明的, 用户查询时可以在信息树之间自由穿

越, 不必考虑信息的物理位置. Gopher 客户程序是用户端的信息浏览

程序, 用于同Gopher Server进行对话. 用户查询时, 通过Client对

Server发出查询请求; Server接收这种请求并把查询结果送回Client.

任何一台能够通过某种方式与Internet连接的计算机, 都可以通过一

定方法成为 Gopher client .

b)真正意义的搜索引擎

最早的真正意义上的搜索引擎是Lycos，创建于1994年的春天，当时Michael Mauldin将John Leavitt的spider程序接入到其索引程序中。Yahoo!

也是在当年成立的。而NCSA Mosaic出现在1993年，Netscape出现在

1994年。搜索引擎起源于传统的信息全文检索理论，即计算机程序通过扫

描每一篇文章中的每一个词，建立以词为单位的倒排文件，检索程序根据

检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概

率，对包含这些检索词的文章进行排序，最后输出排序的结果。搜索引擎

除了全文检索系统之外，还要有“蜘蛛”(SPIDER)系统，即能够从互联网上

自动收集网页的数据搜集系统。蜘蛛将搜集所得的网页内容交给索引和检

索系统处理，就形成了我们常见互联网搜索引擎系统。

c)Ftp的搜索引擎

I、基于文本的ftp搜索引擎：Archie。

Archie能在只知道文件名的前提下，为用户找到这个文件所在的FTP 服务器的地址。Archie实际上是一个大型的数据库，再加上与这个大型数

据库相关联的一套检索方法。该数据库中包括大量可通过FTP下载的文件

资源的有关信息，包括这些资源的文件名、文件长度、存放该文件的计算

机名及目录名等。使用Archie服务器有三条途径，常用到的是：通过远

程登录到Archie主机，用Archie作为登录名。一旦登录成功，一个

Archie程序将自动执行，这时一次输入一条命令，告诉Archie想查寻的内

容，Archie将检索自己的数据库并显示检索的结果。如果用户对自己想要

的东西并不太清楚，Archie还提供“whatis”服务项目，该服务提供成千

上万个程序、数据文件和文档的简短说明。

II、基于Web的Ftp搜索引擎。

WWW的出现改变了Archie在文件搜索方面的统治地位，在美观、方便的WWW页面上搜索ftp文件成为用户的一大需求。在功能上，基于

Web的ftp搜索引擎实现的功能与Archie基本一样，都是对用户提交的查

询匹配串找到可以下载的ftp站点链接。但基于Web的ftp搜索引擎也有很多特色的功能，比如天网ftp搜索引擎的文件分类功能等等。基于Web的

ftp搜索引擎也采用了很多WWW搜索引擎的策略，比如使用Spider自动

收集数据，采用倒排索引，智能换页链接技术以及大型ftp搜索引擎必须

采用的分布收集和服务技术。目前国内国际ftp搜索引擎已有不少，但在

系统底层上有区别的只有几种，其中较为有名的有北京大学天网搜索引擎

的ftp子系统，华南木棉的ftp搜索系统，号称全球最大的ftp搜索引擎的

https://www.360docs.net/doc/c310739031.html,，以及https://www.360docs.net/doc/c310739031.html,使用的https://www.360docs.net/doc/c310739031.html,的fastftpsearch，小型网

站常使用的NOSEY PARKER系统以及其他一些搜索引擎。

三、天网ftp搜索引擎的现状

a)天网Ftp搜索产生的起源与发展历史。

在天网1.0系统里，有一个简单的ftp搜索引擎，它只扫描几个教育网的ftp站点，算法上基本由unix命令组成，只能提供简单的字符匹配功

能，而且界面很简单。由于用户对ftp搜索的需求增加，我们在1999年秋

开始了ftp搜索引擎的项目，并于2000年春交付了一个可以服务的百万级

ftp搜索引擎，它搜索了30多个站点，提供150万的文件条目检索。根据

用户反馈和用户查询行为的分析，经过不断改进，在2000年秋ftp搜索引

擎和天网的www搜索引擎同时升级并更换主页界面，提供了更为人性化

的查询界面和结果界面，系统也更为稳定健壮。2000年冬，天网ftp搜索

引擎开始进行从百万级到千万级的改变。直到2001年春，一个搜索了国内3000多个ftp站点，提供1300万文件条目索引，并有分类快捷方式系统的

全新的天网ftp搜索引擎提供服务了。

b)天网ftp搜索引擎的现状

i.提供的功能

天网Ftp搜索引擎与其它ftp搜索引擎相比，最大的特点就在于它的功能强大。尤其其中的文件类型过滤和快捷方式系统是所有ftp 搜索引擎中独有的。

目前天网ftp所提供的各种功能包括：

1.文件类型的分类

目前文件类型分类分成图象、声音、视频、压缩、文档、程序、源代码、目录等。文件分类的标准是按文件的扩展名。

由于天网Ftp搜索引擎有特有的文件分类功能，使得我们在搜索时精确度更高，比如要查电影“垂直极限”，只需输入名字“垂直极限”，选择“视频”类型，则各种文件类型的“垂直极限”的下载都找出来了。如果没有类型过滤，则如果用户输入过于简单的话，可能查出的结果未必都是电影，如果用户输入包括了扩展名的话，则查询结果显然又少了很多，而且非计算机专业用户往往并不知道某个文件类的扩展名有些什么。另外，在搜索的结果页面里，天网ftp搜索引擎使用了生动的图标区分各个类型的文件，使得文件所属类型一目了然。文件分类已经成为了天网搜索引擎最强大又最有特色的功能。

2.时间过滤

可以精确到年月日的文件最后修改时间过滤。这个功能在寻找特定时间的文件时很有用。

3.大小过滤

这个功能与文件类型过滤功能的集合，可以帮助寻找特定类型的文件。比如同为“.dat”文件，有的是电影格式，有的是普通的数据文件。但一般而言，大于40M的“.dat”文件应该是电影。当我们加上这个限制的时候，也就可以找到扩展名为“.dat”的电影了。

4.精确匹配

精确匹配对于查找短文件名的文件比较方便,系统缺省使用是子串匹配，因为子串匹配更符合普通人的思维。

5.站点限制

在天网搜索的3000多个站点里，用户可以选择其中的某个站点，仅仅对其中的文件进行查找。这个功能使得用户可以只搜对他（她）而言比较快的FTP站点，或他（她）比较喜欢的站点。6.结果中查询功能

很多WWW搜索引擎支持结果中查询的功能，但大部分Ftp 搜索引擎并不支持结果中查询。天网Ftp搜索引擎采用巧妙的算法实现了结果中查询的功能，使用户可以逐步缩小搜索范围，最终得到想要的结果。

7.支持常用的*，?，与，并操作

由于大部分用户的查询都不是十分精确的，*，?，与，并这四个操作就显得十分重要。与的操作符是空格，并的操作符是逗号。

这些操作的结合可以产生令人惊奇的结果，比如要查羽泉的《最

美》，输入“羽泉最美”，则用“羽泉”的查询结果和“最美”

的查询结果作“与”操作，得到了用户想要的结果。

8.多语言版本

天网Ftp搜索引擎在结果输出时采用模板技术，使得提供多语言、多界面的搜索结果页面成为可能。目前天网Ftp搜索引擎支持

简体中文和英文，并保留支持其它语言和其它模板的接口。

9.快捷方式系统

快捷方式系统是天网Ftp搜索引擎独有的功能。目前其它的Ftp搜索引擎仅仅提供了复杂的表单供用户提交查询，却没有考虑

到广大搜索引擎用户大部分是普通网民而非计算机专业人士，使用

上的简单化和傻瓜化是软件发展的必然。因而天网Ftp搜索引擎建

立了快捷方式系统，用户可以不输入任何字串，用鼠标就可以找到

无数电影、音乐、程序、图片等等软件。而且快捷方式系统包含了

注册功能，用户可以注册自己关心的软件，以便其它用户可以很方

便的得到搜索结果。同时，我们对每个快捷方式的点击计数，在显

示每一类快捷方式的时候排序，这样对于用户的非特定查询十分方

便

ii.数据量

1.站点数量在3000以上

站点列表来源于手工获得和机器扫描，由于扫描了国内大部分网段，因为可以说天网ftp搜索引擎可以查到几乎国内所有的

ftp站点。

2. 文件条目1300万左右

据国外的统计，全球ftp站点文件数目约一亿两千万，也就是说天网ftp搜索引擎已经搜集到全球十分之一强的ftp网站。

对比已知的若干Ftp搜索引擎，我们可以说天网Ftp搜索引擎已

经是国内最大的Ftp搜索引擎。

4.快捷方式约一千条

这个数目将随着用户注册的增加而增加。目前已经有528条电影快捷方式，295条音乐快捷方式，375条程序下载，59条开

发资源快捷方式。

iii.访问量

1.日页面下载量在3万左右

从2001年5月5日开始，我们记录了页面下载的总数，并定期计算每日页面下载量，下表(图1)为我们记录的页面下载日

志统计：

时间页面下载总数平均每日下载量

========== ========= =============

2000.05.05 305 305

2000.05.06 1011 796

2000.05.10 10625 2403

2000.05.11 16225 5600

2000.05.13 23494 3634

2000.05.15 30147 3326

2000.05.17 37883 3868

2000.05.19 41797 1957

2000.05.20 46757 4960

2000.05.22 53410 3326

2000.07.21 138562 1419

2000.07.22 142548 3986

2000.08.16 202286 2389

2000.08.26 227974 2568

2000.09.04 263068 3899

2000.09.05 271261 8193

2000.09.07 277893 3316

2000.09.24 377003 5830

2000.09.29 410703 6740

2000.10.17 511067 5575

2000.11.02 660012 9309

2000.11.06 702001 10497

2000.11.20 851550 10682

2000.11.23 880054 9501

2000.11.24 893388 13334

2000.11.27 925253 10621

2000.12.11 1131402 14724

2000.12.16 1213852 16490

2000.12.18 1252818 19483

2001.01.05 1502691 14698

2001.02.14 180**** ****

2001.03.06 2108148 15373

2001.03.09 2177719 23190

2001.03.12 2265346 29209

2001.05.13 3679936 29209

2001.05.19 3855190 29209

图【1】天网ftp搜索引擎用户访问日志

从上表可以看出，天网ftp搜索引擎从最初的每日访问量只有几百，上升到现在的每日3万，经历了约一年的时间。在这一年里，天网ftp的用户随着天网的不断改进不断增加。而且，其

中访问量下降的阶段都是学校的暑假和寒假，由此得出访问天网Ftp搜索引擎的大部分用户是教育网用户。

2.日访问人数在1.5万以上

由每个用户平均查询一到两次算，估计天网Ftp搜索引擎现在每日的访问人数已经达到1.5万以上。而天网搜索引擎总的每

日访问人数在4到5万之间，也就是说天网Ftp搜索引擎已经成

为天网搜索引擎系统十分重要、不可缺少的部分，也是天网搜索

引擎越来越受用户欢迎的一个因素。

四、海量ftp搜索引擎的系统结构设计

a)系统的结构设计：四大模块和五个数据库

参考WWW搜索引擎的一般系统结构，我们设计了如下的四个模块：搜集建库模块、搜索服务模块、CGI和WWW页面模块以及快捷方式系统。其中使用了五个数据库包括：站点列表数据库、文件类型数据库、素材库、索引库、快捷方式数据库。

系统程序和数据的物理位置分配主要分七个部分：

1）respath：源数据目录。

包括搜集建库的程序FtpCollect，站点列表库，文件类型

库和素材库。同时也存放搜集程序的日志。

2）basepath：主目录。

包括搜索服务器FtpServer，索引库。其中索引库由三个

子库组成，它们是：用于显示的Display库、用户过滤的

Content库和用户匹配字串的Index库。同时也存放建库程

序的日志，搜索服务器的日志，页面下载的日志。

3）manage：管理程序目录。

包括快捷方式管理系统，站点列表获得程序FtpGetSite，

IP站点列表和域名站点列表合并程序CheckSite、搜索服务

器状态监控程序ServerKeeper等等。其中快捷方式系统包括

用户注册项过滤器ItemFilter和快捷方式条目管理

ItemManage。

4）scripts：CGI目录。

包括提供服务用的CGI和快捷方式系统中的注册CGI

Submit.exe、条目显示CGI TxtSearch.exe，条目点击计数

CGI FtpCount.exe等等。

5）wwwpath：WWW页面目录。包括主页面（中英文），搜索

结果页面模板（中英文），复杂搜索页面模板（中英

文），文件分类标志图片等等。

6）cachepath：搜索结果存放的缓冲目录。

7）SQL数据库系统。

目前使用的是MS SQL Server 7.0系统。用于存放快捷方

式系统里的数据。

系统结构关系如图2：

图【2】 海量ftp 搜索引擎系统结构设计图

b) 数据库功能和结构说明

i. 文件类型库

为了进行文件按扩展名分类，建立了文件类型数据库。它对每类

发送请求

客户方 服务方

文件给于一个编号以及属于该类型的所有扩展名。目前各分类的扩展

名包括：

1)图象：jpg, gif, bmp, jpeg, pcx, tif, tiff, wmf, psd, tga, pic,

png, pcd, dib, rle, iff, lbm, ilbm, jpe, jif, dcx, ico

2)声音：mp3, wav, cda, mid, au, mp1, m3u, mjf, as, voc, xm,

s3m, stm, mod, dsm, far, ult, mtm, mp2, mpa, mpga, 669, aac, mp4, vqf,

pls, xpl, lrc, rmi, midi, snd, aif, aifc, wma, wax, aiff, rms

3)视频：mpeg, mpg, avi, rm, swf, ram, rmm, ra, rmj, vob, asf, asx,

wvx, wmv, wm, m1v, wmp, ivf, smi, mpv2, mp2v, smil, rp, mpv, ssm, rv,

mpe, rf, rt

4)压缩：zip, arj, gz, tar, tgz, cab, z, arc, b64, bhx, hqx, lzh, mim, taz,

tz, uu, uue, xxe

5)文档：txt, doc, htm, html, ppt, exl, mdb, asp, asa, php, js, rtf, wri

6)程序：exe, com, bat, dll, class, out, ocx

7)源代码：cpp, c, h, hpp, pas, bas, java, asm, perl, inc, cxx, tli, tlh,

hxx, inl, def, odl, idl

100)目录。目录类型由文件条目属性决定。

0)其它。所有不在上述范围内的文件归类到其它中。

文件类型库保存在\FileType.txt。格式上采用文本格式，例如：

0图象 photos jpg, gif, bmp, jpeg

1声音 auidos mp3, wav, cda, mid

这个库只在数据搜集程序中用到。

ii.站点列表库

站点列表库保存在下的sites.txt里，每一行作为一个站点地址以文本格式保存。站点列表来源于站点获得程序扫描得到的

IP地址列表\ipsites.txt和手工产生的有域名的地址列表

\namesites.txt经过CheckSite.exe程序合成产生。站点列表库

用于确定搜集程序搜集范围和建库程序的建库范围。目前站点列表库

大约有三千多个站点地址。

iii.素材数据库

素材数据库是由搜集程序产生的简单搜集结果。搜集程序启动多个线程同时访问多个ftp站点，并行的将各个站点得到的文件条目经

过简单的加工用存放在各个站点对应的素材库里。比如https://www.360docs.net/doc/c310739031.html,

站点的文件条目信息保存在\resource\https://www.360docs.net/doc/c310739031.html,文件内。

每个文件条目按文件名、最后修改时间、文件大小、站内路径、文件

类型以一行行字符串的形式保存在对应的素材库里。例如：

halfsize.jpg 文件名

19700101 最后修改时间

13421 文件大小(byte)

/incoming/tools/htmledit/ 站内路径

1 文件类型(图象)

由此可见，素材库是一个非结构化的数据库，这种结构能够适应长文件名情况，而在空间利用上也相对比较充分。而如果采用固定大

小的结构化数据库，则文件名和路径的长度就不得不作限制，最终导

致不能正确访问下载地址或者可能浪费大量的存储空间。

iv.索引数据库

索引数据库是直接用于搜索的数据库，它关系到搜索服务的速度与效率。它由用于显示的Display库、用于过滤的Content库和用于匹配字串的Index库组成。我们采用双字母倒排表的方式组织索引表。

Index数据库中包含256*256个双字母索引文件，每两个字母对应一个索引。其中Content库和Index库常驻内存，Display库只在输出结果时才被打开读取。对每一个FTP站点的文件条目，将其文件信息如创建

时间，大小，文件类型等非字符串定长数据以及一个指向显示文件中

对应的文件名和路径字串起始位置的偏移指针（DisplayOffset）记录在Content库里，由数据在Content库的位置获得该文件的唯一编号

（ID）。同时在文件名的每两个连续字母对应的双字母索引里生成以

ID为高24位，该双字母组在文件名内的偏移为低8位的32位索引

项。

Content 库是结构化的库，保存在\content.dat里，它的条目结构为

typedef struct

{

char filetype; //文件类型

long filesize; //文件大小

long[4] site; //所在站点编号

long createdtime; //创建时间,如1999年2月为: 199902

unsigned char filenamelen; //文件名长度

long displayoffset; //对应的字串表示在DISPLAY库里的偏移

}FileContent;//

Index 库包含256*256个双字母倒排表，保存在文件

\index.dat里，它的结构为

_int32 indexoffset[256*256+1]; //每个双字母表在库里的偏移和库结尾的偏移

_int32 index0_0[….]; //0号字母和0号字母组成的索引表

_int32 index0_1[….]; //0号字母和1号字母组成的索引表

_int32 index0_2[….]; //0号字母和2号字母组成的索引表

…

….

_int32 index255_255[….]; //255号字母和255号字母组成的索引表

每个双字母倒排表的长度可以由indexoffset的相邻两项计算得到。

倒排表由一系列32位结构组成，这个32位结构为

typedef struct

{

_int32 ID:24; //ID由该文件条目在Content库的编号决定

_int32 OffsetInFileName:8; //双字母在文件名里的偏移

} IndexItemStruct;

Display库为非结构化库，以适应无限长度文件名和路径名情况。

Display库保存在\display.dat里，它的每个条目的结构定义

为

halfsize.jpg 文件名

19700101 最后修改时间

13421 文件大小(byte)

//https://www.360docs.net/doc/c310739031.html,/incoming/tools/htmledit/ Ftp路径

1文件类型(图象)

v.快捷方式数据库

快捷方式数据库由三个子库组成，用户注册查询项的临时库：TmpFileItem，快捷方式分类层次库：TypeList，快捷方式条目库：

FileItem。所有的快捷方式数据库都在Microsoft SQL Server 7.0系统

上实现。

临时库TmpFileItem的结构：

IID int //用于区分不用项的系统自动ID

Name char[64] //用户注册查询项的名字，比如“rm电影”

ToMatch char[254] //用户注册查询项的内容，比如

“word=*.rm”

TypeID int //该注册项的类别号，比如“电影、MTV”类快捷方式条目库FileItem的结构：

PID int //该查询项的类别号，比如“电影、MTV”类

Name char[64] //查询项的名字，比如“rm电影”

ToMatch char[254] //查询项的内容，比如“word=*.rm”

DownloadCount int //用户点击该条目的次数

IID int //用于区分不用项的系统自动ID

快捷方式分类层次库TypeList的结构：

TypeID int //类别的编号，如果整百则为主类，否则为子类

Name char[64] //类别的名称

例如：

100电影、MTV

101爱情

102动作

103MTV

c)搜集建库模块

i.搜集建库过程说明

搜集建库运行的时机与频率是保证数据实时性的重要因素。由于搜集时要访问众多的FTP站点、进行大量的网络数据传输，因而搜

集应在网络速率比较快的时候进行，一般来说凌晨3、4点是最佳时

机。为了加快搜集的速度，我们采用多线程方式同时搜集多个站点的

文件信息，并指定一个超时时间，以结束所有搜集，并转入建库程

序。搜集程序得到的数据保存在素材库里，以被建库程序使用。

建库程序将素材数据库转化为临时的索引数据库。完成后通知服务器暂停搜索服务，用更改名称的方法将临时的索引数据库迅速切

换为最终索引数据库，服务器重新读入索引数据库的索引库Index和

内容库Content，开放对外搜索服务。

搜集建库过程如图3：

图【3】搜集建库流程图

ii.站点获得策略

Ftp搜索引擎与WWW搜索引擎最大的区别就在于Ftp站点内没

有与WWW页面相对应的超链接，因而Ftp搜索引擎的站点获得策

略就不能模仿搜索引擎业非常时兴的超链分析技术。在北大天网Ftp

搜索引擎里，我们采用了IP扫描技术和手工添加技术的中和。一方

面，我们用\GetFtpSite.exe扫描全国网段，比如北大的

162.105下的所有可能IP地址，把每个提供了ftp服务的站点IP保存

到\ipsites.txt里。另一方面，我们依靠搜索引擎用户提供给

我们的有域名的Ftp站点名称，以及管理员自己找到的常用的ftp站

点地址，存放到\namesites.txt里。然后调用

\CheckSite.exe合并\ipsites.txt和

\namesites.txt，消除其中的IP地址重复的项，并代之于域

名。同时把没有扫描到的已知ftp站点添加进去，最后产生

\sites.txt文件，也就是搜集建库使用的ftp站点列表。为了

使得IP扫描到更稳定开放的机器，我们一般在晚上启动IP扫描程序

\GetFtpSite.exe。

iii.并发搜集策略

由于ftp搜索引擎搜集的站点数目极其巨大，目前已经有大约三千多个ftp站点在搜集范围内，如果采用单线程显然是不现实也没有

必要的。我们的ftp搜索引擎采用有限的多线程搜集模式，一般同时

启动约三百个线程，并精确计算当前运行的线程总数，每十分钟检测

一次启动线程数是否达到三百个，如果没有，则再启动新的线程搜集

新的站点。线程的数目一方面受限于系统的最大线程能力，另一方面

则受限于所有线程打开资源的总数。由于在天网ftp搜索引擎中，每

个搜集线程至少打开一个文件，因为线程总数受限于系统可以打开的

文件总数。因而我们经过测试和比较，得到同时打开三百个线程是最

佳的。每个线程打开的这个文件就是素材库里一个站点对应的素材文

件，比如https://www.360docs.net/doc/c310739031.html,它所对应的素材文件就是

\resource\https://www.360docs.net/doc/c310739031.html,，由于每个线程所写的资源各自独

立，因而并不会有共享冲突。

iv.分布搜集策略

在最新的Ftp搜索引擎里，为了应付可能发生的系统内存或者硬盘资源不足的情况，我们设计了多台计算机分布搜集分布服务的策

略。具体而言就是把一部分ftp站点列表给某台计算机，使它对这些

ftp站点搜集并建库。当用户提交搜索请求时，CGI程序把请求发送

到各个独立的搜索服务器，并把合并后的结果返回用户。对用户而

言，他（她）并不会知道后台使用了分布策略，但搜索速度和数据量

都大为增强了。

v.多次尝试和断点续搜

考虑到国内网络的现状，网络的不稳定性成为影响搜集完整性的重要因素。比方很多ftp站点对访问人数作了最大限制，因而一个ftp站

点当时不能访问并不是说它是不可访问的，我们采用了三次尝试，每

次尝试失败后休眠两分钟继续尝试，如果三次之后仍然无法访问，则

说明该站点的确访问不了。另一方面，在搜索引擎得到ftp文件条目的过程中，也可能发生各种网络故障以致忽然中断，为了解决这个问

题，我们采用了断点续搜的功能。当搜集过程中发生异常(Exception)以

致搜集中断时，线程休眠两分钟，利用保存的未搜集目录表从中断发

生的目录继续搜索，而且这个搜集过程的启动也是三次尝试，但搜集

的结果是在原来搜集结果中继续增加。这样，我们就可以得到基本上

完整的该ftp站点的文件条目列表。

vi.线性的建库过程

建库过程是线性的，这是因为要给每一个文件条目一个系统唯一的ID，这个ID就是该文件条目在索引库的Content子库里的记录号。为

了在建库的过程中保存无法预知大小的双字母索引，我们采用临时文

件策略，在\index\下安双字母建立对应的独立文件，比如双

字母 <46,54>则对应文件为\index\46\54。这样只要在文件条

目的文件名里有字母对<46,54>则在\index\46\54里增加一个

大小为32位的IndexItemStruct结构。但是我们打开所有256*256个文

件以便随时写入新的索引是不可能的，因为可以打开的文件数有限，

如果每写一个索引打开一次文件则建库过程将极为缓慢。因此我们采

用了缓冲技术，为每个双字母索引建立了一个较小的Cache，只有当

Cache满的时候才打开并写入对应的双字母索引文件。在所有的ftp站

点的素材库都转化为临时的索引库后，将\index下的所有文

件合并到临时索引库的index库里，即\tmpindex.dat文件。vii.数据库的切换

当临时的索引库建完之后，服务器必须停止服务，并释放旧的数据库的锁定，删除旧库，把临时数据库切换成实际使用的数据库，再启

动服务。同时删除所有的Cache，因为它们已经无效了。目前在1300

万文件条目的数据量下，切换整个数据库所需的时间大约几分钟，基

本不影响日常的搜索服务。

d)搜索服务模块

i.搜索服务过程说明

服务器是系统的核心，必须保证稳定性和高效性。实现高效性的关键在于使用线程，即一个用户请求使用一个线程处理。由于用户

的搜索请求具有随机性和并发性，因而线程互斥、死锁预防、资源的

管理等是服务器必须解决的重要问题。另外，对于由于某种原因（如

内存不足、I/O错误等）不能正常完成搜索任务的线程，必须正确而

完整的释放它申请的资源（如申请的内存、打开的文件、打开的

Socket以及线程本身），并向用户显示不能完成任务的原因。安全性

也是服务器要考虑的一个方面。服务器采用了TCP/IP作为与CGI通

讯的协议，因而可能存在其它程序乃至网络黑客的非法连接。我们可

以采用一种简单的身份验证机制保证安全，即CGI与服务器连接时

先输入一个约定口令，若口令错误，则服务器直接关闭这个非法连

接，从而确保了服务器的安全性。

服务器会接收到来自CGI的搜索请求或搜集建库程序的更新数据库请求，接到更新数据库请求后，服务器暂停接收CGI的搜索请

求，读入新的数据库，然后继续对外服务。接到搜索请求时，由CGI

发送来的请求信息确定要匹配的串和过滤信息。由搜索串检查Cache

是否命中（Cache 是以搜索串为文件名，以匹配结果的所有ID 为内

容的文件），若命中，读入Cache ，进行信息过滤，输出结果。否

则，重新在数据库里查找，将结果过滤输出，然后将没过滤的结果

ID 串写入以搜索串为文件名的Cache 文件中。输出结果给CGI 时，

由ID 找到对应的文件信息记录，并由文件信息记录找到文件名与路

径，最后以字符串格式发给CGI 。服务器响应总流程如图4：

图【4】 服务器响应流程

ii. 服务接口说明

服务接口是一个Socket 接口，CGI 程序或者搜集建库程序用它与

服务器通讯。当搜集建库程序要求服务器切换数据库时，它只需在对

应的Socket 端口发一个字符格式的“****Ftp Stop***”命令即可。当

用户查询时，CGI 在这个端口写一个SearchStruct 结构，以给出查询参

数。当然，在给这个端口写数据前有一个用户校验过程，以保证服务

器的安全性。SearchStruct 结构定义如下：

typedef struct

{

char tomatch[32]; //匹配串

long sites[4]; //受限站点的编号

bool CaseSensitive; //大小写敏感标志

bool ExactSearch; //精确匹配标志

char searchtype; //搜索类型:0为简单搜索,1为复杂匹配(有附加条件)

char filetype; //受限文件类型

long begintime,endtime; //受限时间范围,如1999年2月为:

19990200

long beginsize,endsize; //受限大小范围

long showfirst,showmax,resultnum; //显示起始点,最大显示数,结果总数

暂停服务 读入新数据库

重启服务

搜索请求 Cache 检测过滤输出

读入执行查找

}SearchStruct;//

iii.匹配算法

查找是基于数据库里双子母倒排表的操作，通过提取两条索引中高24位（ID值）相等、低8位（字母在文件名中的偏移）有确定差

值的索引项获得结果。具体而言，对连续的三字母串（如 abc ），取

后一双字母索引（bc）与前一双字母索引(ab) 中ID相等的项，若后

一索引（bc）中的偏移大1，则为所求结果的一项。而对于 ab?cd、

ab??cd等，则取偏移大于2、大于3即为所求结果。对于ab*cd, 则要

求在后一索引（cd）中的偏移大于它在前一索引(ab) 中的偏移。

iv.Cache策略

为了加快速度和实现结果中过滤的功能，我们把搜索结果暂存在Cache，以便下次使用。Cache保存的是字符串匹配的结果，而不是

过滤后的结果。用文件形式保存结果索引做为Cache，以匹配串的16

进制码作为文件名存放在目录下。Cache文件的存在周期为2

个小时，每隔两个小时服务器自动删除所有最后访问时间超过两个小

时的Cache文件。

另外，在CGI参数里我们有一个结果总数，这个结果总数有SearchStruct结构传递到服务器。当服务器发现ResultNum不为-1

时，就假设这个ResultNum是已知的结果总数。这样进行匹配结果的

属性过滤时就没有必要从头过滤到结尾，只需过滤到需要显示的范围

(showfirst…showfirst+showmax)就可以了。这是一个虚的Cache策

略。

应用Cache的效果是十分显著的。例如查询“c*.jpg”时，如果Cache没有命中是1734毫秒查出45417个结果，Cache命中时是31

毫秒，当CGI参数里把结果总数加进去时是16毫秒。由此可见

Cache是多么重要。

v.强大的过滤功能的实现

1.文件类别过滤

文件类别过滤功能是基于文件分类。在搜集程序建立素材库的时候，就对每个文件条目的文件类型进行归类，目前文件类型分

类分成图象、声音、视频、压缩、文档、程序、源代码、目录和其

它。在建库的时候，文件类型信息写入每个文件条目的Content库

的结构里。当字符串匹配完成进行文件类别过滤的时候，只要

SearchStruct. Searchtype与FileContent.filetype相等或者

SearchStruct. Searchtype为0即所有类型则过滤成功，这个条目就

作为结果的一项输出给用户。

2.文件大小过滤

缺省的大小过滤是0到1.G的范围。用户可以用复杂查询表单指定起始大小和终止大小范围，利用Content库里的文件大小属

性，过滤匹配串的结果得到最终结果。