集中分布式搜索引擎的4种设计方案
谷歌搜索引擎的工作原理
谷歌搜索引擎的工作原理作为目前最流行的搜索引擎之一，谷歌搜索引擎拥有丰富的性能和可靠的搜索结果。
海量的信息数量和复杂的分类结构给搜索引擎的研发部门带来了极大的挑战，他们开发了一套高效的算法来解决这些问题。
本文将详细介绍谷歌搜索引擎的工作原理。
一、基本概念搜索引擎是一种可以帮助人们在网络中查找信息的工具，其可根据关键词快速找到相关文档、图片、视频、音频以及其他信息。
谷歌搜索引擎的工作原理是把互联网上的网页收集起来，并根据用户提供的查询条件来搜索这些网页，然后返回最相关的结果。
二、谷歌搜索引擎的工作流程1. 网页内容的索引谷歌搜索引擎的第一步是对互联网上所有网页内容进行索引，索引是搜索引擎的一个非常重要的模块。
在此模块中，谷歌会将互联网上的所有网页抓取下来，并将这些网页中的内容记录到一个数据库中。
记录的内容包括网页的标题、关键词、正文和其他元信息等。
索引系统的目的是让用户能方便地找到自己需要的信息，因此关键词的选择和匹配非常重要。
谷歌需要了解用户的搜索意图，比如用户可能正在寻找一个特定的人物、产品或服务，谷歌的搜索引擎就需要找到与之相关的网页并作为搜索结果返回给用户。
谷歌会在每个网页的标题、描述以及内容中检索出可能的关键词，并建立一个索引，使用户可以更快地查找到自己需要的网页。
2. 数据库管理之后，谷歌的搜索引擎会对这些网页进行过滤处理，抛弃那些无关紧要的网页内容，并将这些网页分门别类放入其数据库中。
这个数据库不断更新，每天谷歌会有新的网页被添加进去，旧的网页会被删除或更新。
如果有网站管理员对网站进行更新、更改等操作，则谷歌的索引数据库也必须及时更新，以保证搜索结果的最新以及相关性。
谷歌采用了分布式技术和负载均衡技术，将网页分散到不同的数据中心，使其搜索时不会造成瓶颈效应。
谷歌的数据中心数量有几十个，分别分布在不同的地理位置上，包括美国、加拿大、欧洲和亚洲等地。
3. 搜索请求当用户提交搜索请求时，谷歌的搜索引擎会将这个请求发送到谷歌的负载均衡服务器中。
分布式索引的研究与应用
的。
４分布式索引架构 ４ｌ 整体 设计 基 于以上 两种技 术 ， 设计并实现了图 ２ 的架构 ， 整个架构是部署在分布式环境上的，图示的网页库， 索引库以及部署 Ｃｅｔ ｎｅ 方法或是 ＳａｃＩｄｘ ｒａ Ｉｄｘ ｅ ｅｒ ｎ ｅ ｈ 方法的节点之间的独立性都是逻辑上的区分。 ４ ２执行过程 ４． ２１索引建立过程：
一
９ ０一
幽
曰
—
Ｊ
■ｔ蠢鲁计
：
／
一 一
图 ２分 布 式 Ｌ ｃｎ 引 架构 ｕｅ ｅ索
臣
～
一 ～
一
和： 网页 １
服装： 网页 １ 学生 ： 网页 ｌ 网页 ２ 倒排索引的建立 ， 可以减少信息检索时的 计算 量， 提高检索效率。 然而， Ｌ ｃｎ 给搜索引擎开发带来了很多 尽管 ｕｅｅ 方便，但是仍然有其局限性一 只是提供了本地文 件的读写。 —个搜索引擎的开发所要面对的是庞大的 网页 信息资源， 通过Ｌ ｃ ｅ ｕｅ 为如此巨大的网页 ｎ 文本 建立统一的索引， 其检索效率依然不容乐观， 而每次 新的网页资源加入该 索引， Ｉ 其 ／ ０操作也会给整个搜 索带来瓶颈制约。 ‘ 同时， 由于网页文本和索引文件是存储在一起 ， 经常性的添加新的网页插入新的索引， 一旦本地存储 容量达到上限， 新的索引内容 将无法插入， 导致信息 丢失， 检索时将无法获取到该网页的信息， 而建立好 的索引也难以分割， 无法移植到 其他机器上。 因 ， 此 在如今分布式存储的大环境下， ｃ ｅ Ｌ ｅ ｕｎ 应用需要有新 的改变 。而本 文的 突破 点则在 于 Ｒ ＭＩ
ａ收集网页资源信息， 建立网 页库， 根据数据节
４ ．根据索引检索数据过程： ２２ ａ 图示主控节点收到检索任务， 并行调用所有 计算节点的ＳａｃＩｄｘ ｅｒｈｎｅ 方法， 该调用过程采用 Ｒ Ｉ Ｍ 技术； ｂ ｅｒ ｌｄｘ Ｓ ａ ｈｎ ｅ 方法本地读取索引文件 ，根据 ｃ Ｌ ｃｎ 内部的查询 ｕｅｅ 机制进行关键字匹配查找， 最终 将结 果集反 馈给高效聚合计算模块； ｃ 通过聚合计算模块汇总来 自 多个计算节点的 结果集， 该计算模块的建立借鉴了分布式计算模型 Ｍａ／ｅｕｅ ｐＲｄ ｃ 的设计思想； ｄ 汇总后的结果集到主控节点， 返回 完成整个 检索过程。 ４ ３架构分析 该架构 的总体思想在 于 ，按照指定 的 Ｈ ｓ ａｈ函 数 ， Ｌ ｃｎ 索引的建立和存储尽可能均匀的分配 将 ｕｅｅ 到了多个不同的计算节点，达到了负载平衡的效果， 同时 并行处理索引的 建立和 检索， 提高了 Ｉ 圭行效率， ｌ 能够均衡的 利用资源， Ｃ Ｕ的计算能力， 存的使 如 Ｐ 内 用率以 及硬盘的 存储能 力等， 降低了因分配不均匀而 造成的单点瓶颈效应的发生概率 ，同时在 Ｌｃｎ 原 ｕｅｅ 有优势的 基础上， 解除了 其只能应பைடு நூலகம்用于集中 式环境的 限制， 扩展到了分布式环境， 并且该架构易于扩展， 一 旦原 有节点 的存 储容量或 是其他资源能力达到上限， 可将新 的计算 和存 储转移 至新 的节点， 建立新的索引 库 ，而不会影响原有计算节点和数据节点的正常运 行， 避免了数据丢失的问题。 除此之外， 高效聚合计算 模块的 建立， 能够有效提高整体搜索数据的 速度， 该 模块是以分布式计算模型 Ｍ ｐ ｅｕｅ ａ Ｒ ｄｃ 的设计思想 ／ 为基础， 突出体现了“ 以空间换时间” 特性， 的 通过主 控节点“ 心跳响应” 的保证， 使得整体架构具有良好的 稳定性 。
分布式数据库搜索引擎的索引建立和优化
的像 “ 天网” 网络指南针” 木棉”等搜索引擎的索引结 、“ 、“
能 的分析和推理 ；索引文档是针对原 始数据库建立的。本文
的重点是索引文件 的建立和优化 。
系统表示层
［ 亘 ］
Ｉ 索引管理 ｌ 全文检索 Ｉ 目 检索 ｌ 结果显示 Ｉ ｌ 『 录式 Ｉ
［ ｓｒｃ］Ｉｉｖｒ ｉ ｃ ｌｆｒｈ ｓｒ ｔ ｎ ａ ｔｅ ｅｄｆｓ ａｄｅ ｅｔ ｅ ．ｎｏｄｒｏｓｔ ｆ ｔｅｕｅｓ ｒｑ ｉ ｍｅ ｔｔｉｐ ｐｒ ｉｅ Ａｂｔａ ｔ ｔｓ ｅｙｄｆ ｕｔ（ ｅ ｅｓｏｆ ｄｗｈｔｈ ｙｎｅ ｔ ｎ ｆ ｃｉ ｌ Ｉ ｒｅ ａｓｙ ｈ ｓｒ’ｅ ｕｒ ｎ．ｈｓ ａ ｅ ｖ ｓ ｉ 】ｔ ｕ ｉ ａ ｖｙ ｔ ｉ ｅ ｇ ｌ ｆ
文章编号： ０ ３２（Ｈ） ＿ ０岳＿ 文献标 １ｏ＿ ４８０８ 譬－ ３＿３ ２０ｌ ｏ ｏ 识码： Ａ
中 圈分类号： Ｐ１１ Ｔ３１３ ．
搜索引擎分类和原理
一个好的搜索引擎，不仅数据库容量要大，更新频率、检索速度要快，支持对多语言的搜索，而且随着数据库容量的不断膨胀，还要能从庞大的资料库中精确地找到正确的资料。
⒈提高搜索引擎对用户检索提问的理解。为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言。为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。用户可以输入简单的疑问句，比如“如何能杀死计算机中的病毒”，搜索引擎在对提问进行结构和内容的分析之后，或直接给出提问的答案，或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用“病毒”这个词来检索，结果中必然会包括各类病毒的介绍，病毒是怎样产生的等等许多无用信息，而用“如何能杀死计算机中的病毒”检索，搜索引擎会将怎样杀死病毒的信息提供给用户，提高了检索效率。
11.分布式结构、精心设计的优化算法、容错设计保证系统在大访问量下的高可用性、高扩展性、高性能和高稳定性。每个部分均采用N+1的冗余设计，1台服务器时刻处于备用状态。因而整个系统能在99.9%的时间内提供高可用性和高稳定性的服务。
12.高可配置性使得搜索服务能够满足不同用户的需求。在搜索调度、相关性评价、内容过滤、显示方式等方面均为客户提供了可配置手段，使系统具有服务，由他们自行决定搜索结果的显示方式，加入自己的广告和公司图标（logo）。
8.可以提供一周、二周、四周等多种服务方式。可以在7天之内完成网页的更新，是目前更新时间最快、数据量最大的中文搜索引擎。
9.检索结果输出支持内容类聚、网站类聚、内容类聚+网站类聚等多种方式。支持用户选择时间范围，提高用户检索效率。
厦门人才网分布式全文检索与推荐系统设计
・
２・
厦门理工学院学报
２ ０ １ ３正
１ ）Ｌ ｕ ｃ ｅ ｎ ｅ ． Ｎ ｅ ｔ ． Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 模 块 ：实现 言语 分析 ．主要 用 于切词 ，经过 扩展 后可 以很 好地 支持 中文 ． ２ ）Ｌ ｕ ｃ ｅ ｎ ｅ ． Ｎ ｅ ｔ ． Ｉ ｎ ｄ ｅ ｘ 模 块 ：实现 索 引管理 ．包 括索 引库 的遍历 、删 除等基 本 功 能．
取 得 了 良好 的 效 果 ．
［ 关键词 ］分布式全 文检 索 ；智能推荐 ；Ｌ ｕ ｅ ｅ ｎ ｅ ． Ｎ ｅ ｔ ；． Ｎ ｅ ｔ Ｒ ｅ ｍ ｏ ｔ ｉ ｎ ｇ ；厦 门人 才 网 ［ 中图分类号 ］Ｔ Ｐ ３ ９ ３ ［ 文献标 志码 ］Ａ ［ 文章 编号］ １ ６ ７ ３— ４ ４ ３ ２（ ２ ０ １ ３ ）０ ２—０ ０ ０ １ — ０ ５
１ ． ２ 基于 Ｌ ｕ ｃ ｅ ｎ ｅ ． Ｎ ｅ ｔ 的 全文 搜索 引擎
搜索引擎是根据一定 的策略 ，运用特定的程序从互联 网搜集信 息，再对信息进行组织和处理后 ，
为用 户 提供检 索 服务 ，将 用 户所 需 的相 关 信 息 展 示 给 用 户 的 系统 ¨ Ｊ ． 一 款好 的搜 索 引 擎 不 仅 能满 足 用户 的检 索需 求并 给 出对 应 的搜 索结果 ，还 能智 能地根 据用 户偏 好 和使用 习惯 ，快 速地 给予 用户 精准
第２ １ 卷 第 ２期 ２ ０ １ ３年 ６月
厦 门理 工 学 院 学报
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｘ ｉ ａ ｍｅ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
Ｖｏ １ ． ２ １ Ｎ ｏ ． ２
信息检索系统设计与实现
信息检索系统设计与实现在当今数字化的时代，信息如同海洋般浩瀚，如何快速、准确地从这海量信息中找到我们所需的内容，成为了一个至关重要的问题。
信息检索系统应运而生，它就像是一位智能的导航员，帮助我们在信息的海洋中找到方向。
接下来，让我们一起深入探讨信息检索系统的设计与实现。
一、信息检索系统的需求分析在设计信息检索系统之前，我们首先要明确用户的需求。
不同的用户群体可能有着不同的需求，比如学者可能需要查找专业的学术文献，企业员工可能需要查找公司内部的文档和资料，普通大众可能更多地是搜索新闻、娱乐等方面的信息。
了解用户的搜索习惯和期望也是至关重要的。
有些用户喜欢输入精确的关键词，而有些用户可能更倾向于用自然语言来描述他们的需求。
此外，还需要考虑用户对检索结果的准确性、完整性和时效性的要求。
二、信息检索系统的架构设计1、数据采集模块这是信息检索系统的基础，负责从各种来源收集信息。
这些来源可以包括网页、数据库、文件系统等。
在采集数据的过程中，需要确保数据的完整性和准确性，同时要对数据进行初步的处理，比如去除噪声和重复的数据。
2、数据预处理模块采集到的数据往往是杂乱无章的，需要进行预处理。
这包括对文本进行分词、去除停用词、词干提取等操作，将文本转化为便于处理和检索的形式。
3、索引构建模块索引就像是一本书的目录，能够加快检索的速度。
常见的索引结构有倒排索引、正排索引等。
通过构建高效的索引，可以在短时间内找到与用户查询相关的信息。
4、查询处理模块当用户输入查询请求时，查询处理模块会对查询进行分析和理解，将其转化为系统能够理解的形式，并与索引进行匹配，找到相关的文档。
5、结果排序模块找到相关的文档后，还需要对结果进行排序，将最符合用户需求的文档排在前面。
排序的依据可以是文档与查询的相关性、文档的质量、更新时间等因素。
6、用户接口模块这是用户与系统交互的界面，需要设计得简洁、直观、易用。
用户可以通过输入关键词、选择筛选条件等方式进行查询，并能够方便地查看检索结果。
搜索引擎概述
数据库、在索引数据库中搜索排序、对搜索结果 进行处理和排序。
①从互联网上抓取网页 利用能够从互联网上自动收集网页的Spider系统程
序，自动访问互联网，并沿着任何网页中的所有 URL爬到其它网页，重复这过程，并把爬过的所 有网页收集回来。
搜索引擎的原理
②建立索引数据库
由分析索引系统程序对收集回来的网页进行分析
Pinkerton 开始了他的小项目 WebCrawler （ Brian Pinkerton Announces the Availability of WebCrawler ）。
1994年1月，第一个既可搜索又可浏览的分类目录
EINet Galaxy（Tradewave Galaxy）上线。除了网 站搜索，它还支持Gopher和Telnet搜索。
2000年1月，前Infoseek资深工程师李搜索引擎Be3 搜索引擎的分类
搜索引擎按其工作方式主要可分为3种：
全文搜索引擎（Full Text Search Engine）
1.4 搜索引擎的信息检索模型
布尔逻辑模型
布尔型信息检索是最简单的信息检索模型，用户
利用布尔逻辑关系构造查询并提交，搜索引擎根 据事先建立的倒排文件确定查询结果。
标准布尔逻辑模型为二元逻辑，并可用逻辑符
“and”、“or”、“not”来组织关键词表达式。布 尔型信息检索模型的查全率高，查准率低。
1995年12月DEC的 AltaVista登场亮相，大量的创新
功能使它迅速到达当时搜索引擎的顶峰。 AltaVista是第一个支持自然语言搜索的搜索引擎， AltaVista是第一个实现高级搜索语法的搜索引擎。
1995年9月26日，加州伯克利分校CS助教Eric
搜索引擎实验
搜索引擎实验实验报告网址：/以谷歌搜索引擎为例：一、搜索引擎简介搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。
现在的搜索引擎有百度、谷歌、雅虎、搜狗、迅雷等等。
下面介绍下谷歌的工作原理：Google采用了两个重要的特性，因此而获取了准确的查询结果：第一，Google利用网页的链接结构计算出每个网页的等级排名，这就是所谓的PageRank；第二，Google利用了链接提供的信息进一步改善搜索结果。
Google使用两个探测器来抓取网站上的内容：Freshbot和Deepbot。
深度探测器(Deepbot)每月出击一次，受访内容在Google的主要索引之中。
刷新探测器(Freshbot)是持续不断地发现新的内容，例如新的网站、论坛、博客等。
看起来，Google是发现了一个新的网页，之后再频繁地再访，来看看是否还有什么新的更新。
如果有，这个新网站就会被加入到刷新探测器的名单中进行访问。
刷新探测器取得的结果是汇总在一个单独的数据库里。
每一次刷新探测器进行新的一轮循环的时候都被重写。
刷新探测器和Google的主要索引是合在一起提供搜索结果的。
Google的操作模式收集---->采编/索引---->反馈的工作程序。
事实上，搜索引擎包括以下几个元素。
抓取状态：搜索引擎派出探测器到互联网上不知疲倦地搜集网页。
网页仓库：搜索来的网页要集中在一个地方存储，等候索引处理。
索引整理：将网页分门别类，进行压缩，等候进行索引编类，而未压缩的原始网页资料被删除掉。
索引状态：将压缩后的网页编目在不同的索引之下。
问询状态：将用户问询所用的白话转换成搜索引擎读的懂的计算机语言，来咨询各个索引求得相关答案。
排名状态：搜索引擎将相关答案根据一定的标准以列表的形式排列给用户。
搜索引擎认为最好的答案被推荐在首位，较次的排列随后，以此类推。
搜索引擎技术及其发展趋势_刘晓红
搜索引擎技术及其发展趋势刘晓红(广西医科大学信息中心 南宁 530021)网络搜索引擎在网络信息资源查找中起到了重要的作用,它可以帮助人们从数以亿计的网络信息中找到自己想要的信息。
搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。
搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务,搜索引擎站点也被誉为 网络门户 。
搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。
1 搜索引擎的基本构成和工作原理一般来说搜索引擎都由搜索器、索引器、检索器和用户接口4个部分组成。
1.1 搜索器:搜索器的功能是在互联网中漫游,发现和搜集信息。
它常常是一个计算机程序,日夜不停地运行。
它要尽可能多、尽可能快地搜集各种类型的新信息,同时因为互联网上的信息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死连接和无效连接。
目前有两种搜集信息的策略:从一个起始U RL集合开始,顺着这些U R L中的超链(H yperlink),以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。
这些起始U RL可以是任意的U RL,但常常是一些非常流行、包含很多链接的站点(如Y aho o!)。
将Web空间按照域名、IP地址或国家域名划分,每个搜索器负责一个子空间的穷尽搜索。
搜索器搜集的信息类型多种多样,包括HT M L、X M L、New sgr oup文章、FT P文件、字处理文档、多媒体信息。
搜索器的实现常常用分布式、并行计算技术,以提高信息发现和更新的速度。
商业搜索引擎的信息发现可以达到每天几百万网页。
1.2 索引器:索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。
在搜索引擎中,一般要给单索引项赋与一个权值,以表示该索引项对文档的区分度,同时用来计算查询结果的相关度。
使用的方法一般有统计法、信息论法和概率法。
基于网络爬虫的搜索引擎的设计与实现
7、性能优化与维护：在实现基本功能的基础上，进行性能优化和维护，提 高系统的稳定性和可靠性。
四、总结
基于网络爬虫的垂直搜索引擎设计和实现具有很大的现实意义和市场价值。 通过合理的设计和实现方法，可以高效地获取特定领域或主题的信息，提供精准 和深入的搜索结果，满足用户的个性化需求。然而，在实际应用中还需考虑诸多 因素，如法律合规性、用户体验等。因此，在设计和实现垂直搜索引擎时，需要 综合考虑各种因素，确保系统的稳定性和可靠性。
感谢观看
一、网络爬虫
网络爬虫（Web Crawler）是一种自动化的网页抓取工具，能够根据一定的 规则和算法，遍历互联网上的网页，并抓取所需要的信息。网络爬虫是垂直搜索 引擎的基础，通过它，我们可以获取到特定领域或主题的大量数据。
在设计网络爬虫时，我们需要考虑以下几个方面： 1、爬取策略：如何有效地遍历和爬取网页，避免重复和遗漏。
二、网络爬虫的设计原则
1、有效性：网络爬虫必须能够有效地找到目标信息。为了提高爬虫的有效 性，可以采用诸如分布式爬取、使用HTTP缓存等技术手段。
2、可用性：网络爬虫在爬取过程中不应给目标网站带来过大的负担。因此， 需要设计高效的爬取策略，避免对目标网站造成过大压力。
3、可扩展性：网络爬虫应当能够处理大规模的数据和复杂的网络结构。为 实现可扩展性，可以使用分布式计算和存储等技术。
连接人与万物的智能中间下未来的搜索引擎将会变得更为智能 化会更好地满足用户需求并能够根据用户需求为用户提供个性化的服务而实现人 机交互；从这一点上来看未来搜索引擎将会变成一个机器人的角色并且越来越为 智能化可以更好地理解人的语言与人进行对话与交流为用户提
3、Yahoo
Yahoo是另一个流行的搜索引擎，它提供基于Bing的搜索结果。Yahoo搜索结 果的质量和广告数量略低于Google和Bing。此外，Yahoo还提供一些有用的功能， 例如天气预报、新闻摘要、电影评分等。Yahoo还提供许多实用的工具，例如 Yahoo Mail、Yahoo Finance等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
集中/分布式搜索引擎的4种设计方案
发布时间: 2007-5-28 17:08 作者: sunny
对于搜索引擎, 在索引量和搜索量大到一定程度的时候, 索引更新的效率会逐渐降低, 服
务器的压力逐渐升高, 因此基本上整个搜索引擎的利用率可以说是越来越低了, 并且随着海量
数据存储带来的困难, 设计一个良好的分布式搜索引擎将是一个搜索引擎能否面相未来发展的
关键因素了.
那么分布式搜索引擎的最主要的核心问题是哪些呢?
1. 分布的信息获取和计算以及对此进行的数据统一
这里面包括爬虫/或者相应的数据获取机制的分布, 对信息进行加工的统一管理
2. 数据处理后的分布存储和管理
主要是文件的准确定位和更新,增加,删除,移动的机制
3. 前端搜索服务的分布
主要处理大规模并发请求时的分发机制
基于以上3个基本需求, 基本上可以构造如下4类的分布式搜索引擎:
1. 分布式元搜索引擎
2. 散列分布搜索引擎
3. P2P 分布搜索引擎
4. 局部遍历型搜索引擎
下面逐步介绍以上4类可扩展的搜索引擎:
1. 分布式元搜索:
拥有多个单个的搜索引擎, 中心搜索引擎是利用这些分布的单个的搜索引擎的结果进行撮合得
到完整的结果.
这样的设计方案要求各个单元的搜索引擎拥有相同的排序算法和基本相同的数据输出结构，以便
由中心搜索进行整理。
对于这类的搜索引擎，关键的设计是要求每一个单元所拥有的索引不构成重复，但是进行数据的
采集（爬虫）时可以采取独立的系统获取后再按照规则分布到各个单元上。
优点，设计简单，快速，并且任何一个单元可以随时的摘掉但并不影响太大。
缺点，对于大规模的并发并非好的解决办法
２．散列分布搜索引擎
根据Query对索引服务器和文档服务器进行散列，做到对于任何的索引词能够准确的定位到具
体的索引服务器并从而定位到正确的文档服务器。
优点，抗压，设计简单
缺点，对于单个索引服务器或者文档服务器的容量等动态的调整较困难
３．Peer 2 peer 搜索引擎
著名的Napster就是这样的一种设计，利用集中方式的索引，配合分布于世界各地的单个的计
算机形成的文件源，构成了世界上最庞大的p2p搜索引擎之一。
这种设计里的中心索引服务器只记录一些相对关键的信息，例如位置（IP，序列号），歌曲的名
字，作者等，其它的信息一概可以从任何在线并且拥有本条全面信息的计算机上获取。同时p2
p也可以根据搜索建立一些中间路由的缓存，即将一些搜索结果存在单个或者相近的节点上，加
快搜索速度。
优点，可以超级大，基本上不需要有维护成本
缺点，中心服务器的更新效率很低，信息源不稳定
4. 局部遍历型搜索引擎
这类的搜索引擎又可以采用多种设计方案，其中比较可行的是对信息进行聚类后建立信息树，搜
索时只需要从树的一个分支下去遍历便可以了。局部遍历应当有一定的规则，并且在设计初期就
需要对每一个加入的索引进行相对准确的位置安排，使得放置在合适的节点上，以保证搜索的效
率。
优点，容易解决抗压，搜索精度高，搜索效率高
缺点，设计复杂，调整索引所在节点的位置不易
总体来说，搜索引擎的设计方法可以很多，这里只是抛砖引玉，相信未来会有更多的巧妙
的设计方案出现。