网上搜索的方法和技巧

网上搜索的方法和技巧

我们已经知道网上有多种多样的教育资源，从技术上讲，它们是在Internet的多种服务功能的支持下实现的，包含WWW、e-mail、Usenet、FTP、BBS等，其中发展最快，也是最为流行的是WWW。因此我们着重介绍WWW信息的检索方法。

据1999年底的统计，网上大约有15亿个网页，并且以每天增加190万个网页的速度在增长，到2002年已达到80亿个网页。要想在这么大的一个资源库中查找一条具体

的信息，犹如大海捞针一般。因此，有人发出这样的感叹:"我们淹没在数据资料的的海

洋中,却又在忍受着知识的饥渴"。

现在出现了许多种在网上查找信息的方法。这些方法可以分为两类:一类是有既定目标的查找，一类是没有目标的查找，而后者往往是指一种网上"冲浪"游戏。在具有既定目标的情况下，如果已有信息线索，可以用浏览器航行的办法寻找信息对象;如果信息线索未定，则需要利用搜索工具首先获得信息线索。

搜索工具又有传统工具和现代工具之分。传统工具是在索引数据库中进行主题树/目录检索或KWDSEs(关键词搜索引擎)进行建设而索引库的建设是一个极其繁重的任

务，现在已经可以利用"机器人"程序来帮忙，它们通过跟踪最新建立的HTML网页的URL对整个网络进行浏览，可以在网上从这一个网站爬到另一个网站，并记录下它们访问过的网页的各自特征(这种只有十来年历史的搜索技术就被称为传统工具了，你觉得

奇怪吗?)。而现代搜索工具是利用智能代理来工作，它们不是对整个网络进行索引，而

是在接到一个新任务时就出发，去搜索网上资源并提取有价值的信息。因此，智能代理

是利用神经网络技术进行搜索，它试图去发现自然语言与样本网页的模式及它们之间的

相互关系，这些将与新近发现的网上资源相匹配，最后以一串网址的形式供用户访问。

图2_3_10显示了网上信息检索工具的选择方法。

(一)搜索工具

在Internet上现有的检索工具成百上千，比较普及且功能较强的就有几十种。这些

检索按照其工作原理的不同，大概可以分为3种类型:

1.主题目录

主题目录有时也称为主题指南，什么是主题目录呢?让我们打开雅虎中国网站来看一看。在网页首页的中部正是雅虎自定义的一级主题目录，

其中一个类目就是"教育"。如果我们点击"教育"将会看见其下一级类目，如果接着点击

其中一个子类目，还可以进入更下一级类目，直到某一个具体网站或网页。

主题目录是按照等级排列的主题类索引，排列的方法有字母顺序法、时间顺序法、

地点法、主题法等等，或是各种方法综合使用。主题目录能让用户通过主题浏览Web 站点列表检索相关信息。

主题目录主要是依靠图书馆和信息专业专家对已知的网站根据其主要内容进行筛

选、组织和评论，从而编制的等级式的主题目录。有时也允许网站拥有者对他们自己的

网站加以归类或进行类别描述;有的网站则干脆邀请随机的网站访问者来对网址进行分

类。这些主题目录以超文本链接的方式将不同学科、专业、行业和区域的信息按照分类

目录的方式组织起来，类目之间按照等级系统排列，然后将待收录的网页与相应的类目

或主题相连。这样，用户就可以通过主题目录的指引，在相应的等级结构中逐层浏览，

直到找到与自己的需求相关的信息。

目前以主题目录为核心，并且收录网络信息较多的网站有雅虎中国l()、图书馆员索引()、信息开采()等。

由于主题目录要由人工编制和维护，在信息的收集、编排、HTML编码以及信息注释等方面要花费大量的人力和时间。人工干预虽然减少了主题目录下不切题结果的可能性，但也往往会造成某一主题下的站点不够多、不够全面的缺陷。同时由于Internet上网页数最庞大并且在不断变化，所有的主题类别都要能跟上站点内容的发展，也很难办到，所以碰上部分站点为"死链"或已经过期也就不奇怪了。

总体而言，主题目录特别适宜于一般性的、比较笼统的主题的浏览和检索。其等级

式分类令用户可以自由选择检索范围，并且从大到小的范围逐级浏览也十分方便。但是使用主题目录很难检索到较为专业的信息，且由于人类的分析判断带有主观性，网址分

析归纳者的网站分类方法也不一定与用户的需要相适应。如果思路碰巧与网址分析归纳者的思路合拍的话，这些主题目录可能会对用户有巨大的价值;但假如情况相反，用户则会感到它们牵强而且不可捉摸，精心分析和归纳的数据与实际需求风马牛不相及。在

许多时候，用户需要的信息会分散在好几个不同的主题类别下，用户容易错过交叉有关的信息。另外，不同的网站提供的主题目录的分类和结构不尽相同，用户有时要找到合

适的类别也有相当的难度。

2.搜索引擎

搜索引擎的基本概念出现于20世纪20年代，但真正发展和应用却是20世纪90年代的事情，特别是在90年代中期得到快速的发展。搜索引擎一般包含两大核心技术:自动网页搜索技术和全文检索技术。

目前得到普遍认可并且功能较强大的、以搜索引擎为核心的网站很多，例如: ?AltaVista:

?Excite:

?lycos:

?Google:

搜索引擎与主题目录最大的区别在于:搜索引擎主要依靠被称为蜘蛛、机器人、爬虫、漫游者等的网页搜索工具，而不是人工编制。其基本工作可分成以下3个方面。(l)首先搜索引擎派出网页搜索工具如spider(蜘蛛)在Internet上搜索信息，并把信息带回搜索引擎;(2)将信息进行分类索引，建立网页数据库; (3)通过Web服务器端软件，为用户提供浏览器界面下的信息查询。

对用户来说，搜索引擎的可见部分就是它的用户界面。当用户在输入框中输入需要

查询的关键字，点击"查询"之类的启动按钮后，搜索引擎就会使用一定的检索算法从网

页数据库中找出与查询关键词相匹配的相关记录，并以列表的方式显示给用户。当然，

不同的搜索引擎其检索算法也不一定相同。

一般搜索引擎不仅提供键入一个或多个关键字的简单查询，大多数还提供附加的查询选项。比如说:

?布尔运算符号:AND(与)、OR(或)、NOT(非);

?多媒体检索:检索包含Java Applets、Shockwave等对象的网页;

?专用检索:检索在链接、图象名称、文档标题中的关键字或URL;

?多种检索约束条件:限定检索文档的创建时间，文档使用的语言等。

提交给用户的查询结果一般包括文档标题、URL和概述，有时也包括文档建立的时间、文档的大小等。有的搜索引擎还会根据一定的算法，给出每一条查找结果与查询关

键词之间的相关程度评分。网页的概述内容，通常是用户决定是否链接上该网页仔细浏

览的依据。而网页概述部分的形成有好几种办法:

?将网页制作者的描述作为网页的概述;

?将文档的前面100一200个字符作为概述;

?采用一种提炼文档语句的算法来形成概述。

全文检索技术则是以文本信息作为检索对象，建立全文数据库。其基本工作方式就足能够把所有包含检索词的文档检索出来，不论这个词是出现在文档的标题，还是出现