主题搜索引擎的设计与实现
基于搜索引擎调用的主题搜索设计与实现
（． ｐ ｒ ｎ ｆ ｏ ｐ ｔｒ ｎ ｉ ｅｉ ，Ｏ ｄ ａｃ ｎ ｉ ｅ ｎ ｏｌ ｅ ｈ ｉ ｈ ａ ｇ ５ ０ ３ ｈｎ ； １ Ｄｅａ ｍｅｔ Ｃ ｍ ｕ ｇ ｅｒ ｇ ｒｎｎ ｅ ｇ ｅｒ ｇＣ ｌｇ ，Ｓ ￣ａ ｕ ｎ ０ ０ ，Ｃ ｉ ｔ ｏ ｅＥ ｎ ｎ Ｅ ｎ ｉ ｅ ｚ ０ ａ ２ Ｔａ ｉｇ ｅ ａｔ ｎ，Ｏ ｄ ａｃ ｎ ｉｅｒ ｇＣ ｌ ｇ ，Ｓ ｉａｈ ａｇ０ ０ ０ ，Ｃ ｉａ ． ｒｉ ｎ ｐ ｒ ｎ Ｄ ｍｅｔ ｒｎ ｎｅ ｇｎ ｅ ｎ ｏｌ ｅ ｈ ｉ ｕｎ ５ ０ ３ ｈｎ） Ｅ ｉ ｅ ｊｚ
陈财森 王 韬 郑 伟 陈建 泗 ， ， பைடு நூலகம்
（．军械 工程 学院 计算机 工程 系 ，河北 石 家庄 ０ ０ ０ ；２ １ ５０ ３ ．军械 工程 学 院 训 练部 ，河北 石 家庄 ０ ０ ０ ） ５ ０ ３
摘 要 ： 络 搜 索 是 目前 从 因特 网 上 获 取 信 息 的 主 要 手 段 ， 网络 蜘 蛛 又 是 大 多 数 网 络 搜 索 工 具 获 取 网 络 信 息 的 主 要 方 网 而
０ 引 言
法，主题搜 索策略 是 专业 搜 索引擎 的核 心技 术。通 过研 究 网络蜘蛛 的工作原 理 ，分析 了网络蜘蛛 的搜 索策略 和搜 索优 化措 施 ，设 计 出一 种将 限制搜 索深度 、多线程技 术和正 则表 达式 匹配方 法结合 一起 的 网络蜘蛛 ，实验 结果表 明该 方法 能够快速
而准确地搜 索所 需的相 关主题信 息。
ｒ ｓｒ ｉ ｓ ｈ ｅ ｔ ｆ ｅ ｒ ｈ ｎ ｏ ｅ ｉ ｎ ｄ ｍｕ ｔ ｈ ｅ ｄ ｎ ｃ ｎ ｌ ｇ ｎ ｘ ｒ ｓ ｉ ｎ ｆ ｒ ｌ ｅ ｕ ａ ｘ ｒ ｓ ｉ ｎ ｃ ｍｂ ｎ ｏ ｅ ｈ ｒ ｅ ｔａｎ ｅｄ ｐ ｈ ｏ ａ ｃ ｉ ｇ ｆ ｒｉ ｄ ｓ ｅ ， ｔ ｓ ｓ ｇ ｌ ｔ ｒ ａ ｉｇ ｔ ｈ ｏ ｏ ｙ ａ ｄ ｅ ｐ ｅ ｓｏ ｏ ｍｕ ａｒ ｇ ｌｒ ｐ ｅ ｓｏ ｏ ｉ ｅｔ ｇ ｔ ｅ ｉ ｅ ｅ ａ ｅｕ ｅ ． Ｔｈ ｘ ｅ ｍｅ ｔ ｌ ｅ ｕ ｔ ｎ ｉａ ｅ ａ ｉ ｔ ｏ ａ ｏ ｒ ｈ ｅ ｄ ｄ ｔ ｐ ｃｉ ｆ ｒ ａｉ ｎ ｆ ｓ ａ ｄ ａ ｃ ａｅｙ ｒ ｓ ｄ ｅｅ ｐ ｒ ｎ ａ ｓ ｌ ｉ ｄ ｃ ｔ ｄｔ ｔ ｈ ｓ ｉ ｒ ｈ ｔ ｍｅ ｈ ｄ ｃ ｎ ｌ ｋ ｆ ｅｎ ｅ ｅ ｉ ｏ ｍ ｔｏ ａ ｔ ｎ ｃ ｕ ｔ ｌ ． ｏ ｏ ｔ ｏ ｎ ｒ Ｋｅ ｒ ｓ ｔ ｐ ｃ ｓ ａ ｃ ； ｓ ａ ｃ ｎ ｉ ｅ ｗｅ ｐ ｄ ｒ ｍｕ ｔ ｈ ｅ ｄ ｎ ； ｒ ｇ ｌ ｒ ｘ ｒ ｓ ｉ ｎ ｙｗｏ ｄ ： ｏ ｉ ｅ ｒ ｈ ｅ ｒｈｅ ｇｎ ； ｂｓ ｉｅ； ｌ ｔ ｒ ａ ｉ ｇ ｅ ｕ ａ ｐ ｅ ｓｏ ｉ ｅ
推荐-全文搜索引擎的设计与实现 精品
作者声明本人郑重声明：所呈交的学位是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外，本不包含任何其他个人或集体已经发表或撰写的成果作品。
本人完全了解有关保障、使用学位的规定，同意学校保留并向有关学位管理机构送交的复印件和电子版。
同意省级优秀学位评选机构将本学位通过影印、缩印、扫描等方式进行保存、摘编或汇编；同意本被编入有关数据库进行检索和查阅。
本学位内容不涉及国家机密。
题目：全文搜索引擎的设计与实现作者单位：江汉大学数学与计算机科学学院作者签名：XXX20XX年 5 月 20 日学士学位题目全文搜索引擎的设计与实现（英文） Full-text search engine design andImplementation学院数学与计算机科学学院专业计算机科学与技术班级 B09082021姓名 XXX学号 20XX08202137指导老师 YYY20XX 年5月20日摘要目前定制和维护搜索引擎的需求越来越大，对于处理庞大的网络数据，如何有效的去存储它并访问到我们需要的信息，变得尤为重要。
Web搜索引擎能有很好的帮助我们解决这一问题。
本文阐述了一个全文搜索引擎的原理及其设计和实现过程。
该系统采用B/S模式的Java Web平台架构实现，采用Nutch相关框架，包括Nutch，Solr，Hadoop,以及Nutch 的基础框架Lucene对全网信息的采集和检索。
文中阐述了Nutch相关框架的背景，基础原理和应用。
Nutch相关框架的出现，使得在java平台上构建个性化搜索引擎成为一件简单又可靠的事情。
Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web 搜索引擎。
目前国内有很多大公司，比如百度、雅虎，都在使用Nutch相关框架。
由于Nutch是开源的，阅读其源代码，可以让我们对搜索引擎实现有更加深刻的感受，并且能够更加深度的定制需要的搜索引擎实现细节。
一个网络搜索引擎的设计与实现
主 页 出发 ， 就 可 以抓 取 到 网络 上 所 有 的 网页 ， 被 抓 取
的 网页 被称 之 为 网页快 照 。
处 理 网页 ： 搜 索 引擎抓 到 网页后 ， 需 要对 网页进 行
大 量 的处 理 工 作 ，然后 把 处理 好 的 网页 送 往 数 据 库
…
…
…
…
…
．
一
…
…
…
…
…
…
…
…
…
…
…
一
…
ｒ － ． 蔼一 … 建… … 皇… … 脑 糕 ＵＪｌ ＡＮ ｅ Ｏ ． ｛ Ｔ醴
一
个 网络搜 索 引擎 的设计 与实现
白晋伟
（ 苏 州大 学图 书馆 数 字化 部 苏 州 江苏 ２ １ ５ ０ ０ ６ ）
【 摘 要】 ： 网络搜索引擎是指 自动地从 网络搜集信 息， 经过处理后提供给用户查询的系统。 设计 了
没有 冲浪 板 ， 面对 滔 天 海水 ， 只 能 望 洋兴 叹 ， 没 有 搜索
检索器 ： 根 据 用 户 输 入 的查 询 请 求 ， 在 索 引数 据
进 行 相 关 度评 价 ， 对 将 要输 出 的 引擎 面对 浩 如烟 海 的 网上 信 息我 们将 无 从 下手 ， 找不 库 中快 速 检 索 文 档 ， 并 按用 户 的查 询 需求 合 理返 回 让用 户满 意 到我们希望得到的信息。 网络搜索引擎是对 网络上网 结 果排 序 ，
网络 爬 虫 ： 又被 称 为 网络 蜘 蛛 ， 网络机 器 人 ， 是 一 中 ， 以便 检索 器在 数 据 库 中进 行检 索 。其 中包括 提 取
种 按 照一 定 的规 则 ， 自动 的抓 取 万维 网信 息 的程 序或 关 键 词 ， 建 立 索 引文 件 数 据 库 、 对 重 复 网页 网页 的 处 者脚本 。从 一个 或若 干初 始 网页 的 Ｕ Ｒ Ｌ开 始 ， 获得初 理 、 中文 分 词 的 处 理 、 判 断 网页 类 型 、 解 析 得 出超 链 计算 网页 的页面 排名 等 。 始 网页 上 的 Ｕ Ｒ Ｌ ， 在 抓 取 网 页 的过 程 中 ， 不 断 从 当前 接 、
语义搜索引擎的设计与实现
语义搜索引擎的设计与实现随着互联网的快速发展，用户对于搜索引擎的需求也越来越高。
传统的搜索引擎系统主要基于关键字匹配的方式，但随着信息的爆炸式增长，关键字搜索已经不能满足用户的需求。
为了更好地满足用户的需求，语义搜索引擎应运而生。
语义搜索引擎能够理解用户的自然语言查询，并从海量数据中精确地提取相关信息。
它不仅仅根据关键词进行搜索，更加注重理解用户意图，从而提供更加准确的搜索结果。
下面，我们将详细探讨语义搜索引擎的设计与实现。
设计阶段：1. 语义理解模块设计语义理解是语义搜索引擎的关键环节之一。
在设计语义理解模块时，首先需要构建一个语义知识库，该知识库包含常见的实体、属性和关系。
然后，使用自然语言处理技术对用户的查询进行分词、词性标注、句法分析等处理，以获得句子的结构和语义信息。
最后，利用语义知识库和句子语义信息匹配，实现对用户查询的语义理解。
2. 语义索引构建语义索引是语义搜索引擎实现高效搜索的关键之一。
在构建语义索引时，需要对语义知识库中的实体和属性进行索引。
一般情况下，采用倒排索引的方式，对每个实体和属性进行索引，以便快速定位相关信息。
此外，还可以利用向量空间模型等技术，对实体和属性之间的关系进行建模，以支持更精确的语义搜索。
3. 查询匹配与排序在语义搜索引擎中，查询匹配是指将用户的查询与语义索引中的信息进行匹配，并找到与查询最相关的实体或属性。
为了实现高效的查询匹配，可以使用索引技术，如倒排索引、前缀树等。
另外，还可以利用词向量模型、句子嵌入等技术，对查询和索引中的信息进行向量表示，以便进行相似度计算。
查询匹配完成后，还需要对匹配结果进行排序，以提供最相关的搜索结果。
实现阶段：1. 数据采集与处理语义搜索引擎需要从互联网上采集大量的数据，并对数据进行清洗、去重和标注等处理。
在数据采集过程中，需要注意选择横向和纵向具有代表性的网页，以保证搜索结果的准确性和全面性。
此外，还可以利用爬虫技术自动化地获取数据，并使用自然语言处理技术对数据进行处理。
语义网搜索引擎设计与实现
语义网搜索引擎设计与实现语义网搜索引擎是一种基于Web语义这种机器可读的语言进行搜索的搜索引擎。
与传统的搜索引擎不同，语义网搜索引擎更加侧重于语义的理解和表达，可以实现更加精准、智能的搜索结果。
本文将从设计和实现两个方面来探讨语义网搜索引擎的相关问题。
一、设计语义网搜索引擎1. 语义理解的重要性语义网搜索引擎的设计首先需要考虑如何对语义进行理解。
语义理解是指通过自然语言的表达和上下文信息来解析语义的过程。
语义理解是非常重要的，因为语义网的本质在于构建机器可读的语言，其目的就是帮助机器能够自动理解这种语言。
2. 元数据的应用语义网搜索中的元数据是指与Web内容相关的信息，包括作者、摘要、关键词、主题等等。
元数据可以在语义网中为内容增加附加信息，从而提供更加深入、详细的搜索结果，帮助用户更好地找到自己想要的信息。
因此，在语义网搜索引擎设计过程中，需要对元数据的应用进行深入探讨，以提高搜索结果的准确性和可用性。
3. 计算机语言的使用语义网采用的是一种基于计算机语言的形式化语言，该语言可以轻松地为数据附加元数据，表达数据之间的关系，从而实现数据的自动分析和推理。
因此，语义网搜索引擎设计需要涉及计算机语言的使用，帮助机器能够更好地理解和理解语言，提高搜索结果的准确性和可用性。
二、实现语义网搜索引擎1. 知识表示和推理知识表述是语义网搜索引擎的核心，它建立在基于Web的知识库上。
知识库是指包含了一些基本概念、实体、属性和关系的数据库，这些概念可以用来描述语义网中的各种内容。
推理是指通过推理算法对知识库中的数据进行分析，推出更加深入、具体的信息，从而实现更加智能、准确的搜索结果。
2. Web服务技术的应用Web服务是一种为Web应用程序和机器之间提供通信机制的技术。
Web服务可以使不同的应用程序之间可以互操作，实现信息的共享和交换。
在语义网搜索引擎实现过程中，Web服务技术可以帮助搜索引擎更好地处理搜索请求，组织和查询知识库中的数据，从而提高搜索结果的准确性和可用性。
Web服务搜索引擎的设计与实现
ＷＳ Ｅ Ｗｅ ｅｖ ｅ ｅｒｈＥ ｇ ｅ ， 以 Ｇ ｏｌ Ｓ （ ｂＳｒｉ ｓＳａｃ ｎｉ ） 它 ｃ ｎ ｏｇ ｅ的搜 索结 以提 高 Ｗｅ ｂ服务搜索 的效率 。并将
搜 索 到 的 Ｗｅ 务 进 行 集 中管 理 ， 后 采 用 开 源 的 Ｌ ｃｎ 对 ｂ服 最 ｕ ｅｅ
搜 索到的 Ｗｅ ｂ服务建立索 引 ， 提高 Ｗｅ ｂ服务的检索效率。
１ 背 景 知 识
公开 、 可访 问 的 ＷＳ Ｌ文档 都是 放在 Ｗｅ Ｄ ｂ服务器 上的 ，
制， 它还具有 自包 含 、 自描述 、 块化和松耦合等特点 。 模 在 Ｗｅ ｂ服务 中， Ｄ Ｉ 注册 中心 为服务 的发 布和发 现提 Ｕ Ｄ 供了一个公共平台 。目前 ， 越来 越多的企业采 用 Ｗｅ ｂ服务进行 企业业务集成 ， 建立起相应的 Ｕ Ｄ 注 册 中心 ， 并 Ｄ Ｉ 但是 这些 Ｕ — Ｄ Ｄ 注册 中心却是私有 的， Ｉ 只在企业范 围 内使用 ， 并不对 外发布 ，
Ｇ ｏｌ Ｗｅ ｏｇ ｅ的 ｂ服务搜索方法 ， 设计与实现 了 Ｗｅ ｂ服务搜索引擎
０ 引 言
Ｗｅ ｂ服务 …是 由 Ｕ Ｉ Ｒ 标识 的软件系统 ， 其接 口和绑定可 以 通过 Ｘ ＭＬ进行定义 、 描述和发现 。Ｗｅ ｂ服务支持通过基于互联 网的协议 ， 使用 基 于 Ｘ ＭＬ的消息 与 Ｗｅ ｂ服务 或者其 他 软件 系 统进行直接交互 。它 的出现改变 了传统 的计算模 式 ， 形成 了一
ｓａ ｅ ｄｏ ｅ ｎｅ ｔ ｓ ｅ ｓ ａａｅ ｈｍ．ｎｔｉ ｐｐｒｗ ｅｉ ｅ ｄｉ ｌ ｎ ｄａ Ｓ Ｗｅ ｅ ｉ ｓ ｅｒｈＥ ｇ ｅ ｎｏ ｅ ｃｔ ｒ ｎｔ ｔ ｌａ ｍ ｎｇ ｅ Ｉ ｓ ａｅ， ｅｄｓ ｎｄａ ｅ ｔ Ｅ（ ｂＳｒ ｃ ａｃ ｎ ｉ ）ｉ ｄｒ ｔｅ ｈ ｉ ｍｅ ａ ｗ ｌ ｔ ｈ ｇ ｎ ｍｐ ｍｅ ｅ ＷＳ ｖ ｅＳ ｎ ｒ
一个元搜索引擎的设计与实现
Ｋｅ ｒ ｓ Ｓ ｅ ｉ ｉｅ ｅ ｃ ｎ ｉ ｅ Ｔ ｐ ｃ ｄ ｓ ｌ ｔ ｎ； ｐ ｃ ａｉｅ ｉｔ ｎ ｒ Ｉ ｖｓｂ ｅ Ｗ ｅ ｙ ｗｏ ｄ ： ｐ ｃ ａ ｚ ｄ ｓ ａ ｈ ｅ ｇｎ ； ｏ ｉ ｉｔ ｌ ｉ Ｓ ｅ ｉｌ ｄ ｄ ｃ ｉ ａ ｙ；ｎ ｉ ｌ ｂ ｌ ｒ ｉａ ｏ ｚ ｏ ｉ
Ｘ ＡＯ Ｇｕ Ｉ ｏ—ｑ ａ ｇ Ｚ ｉｎ ， ＨＡＮＧ Ｆ ｎ ａｇ
（ ｅａｔ ｅｔｆＣｍ ｕ ｒ ｃ ｎｅａｄ Ｔｃｎｌ ｙ Ｗｕａ ３ ０ ４ Ｃ ｉ ） Ｄｐ ｒ ｎ ｏ ｐ ｔ ｉ ｃ ｎ ｅｈ ｏ ｇ ， ｈ ｎ４ ０７ ，ｈｎ ｍ ｏ ｅＳｅ ｏ ａ
Ａｂ ｔ ａ ｔ Ｉ ｈ ｓ ｐ ｐ ｒ ａ ｍｅａ — ｓ ａ ｃ ｎ ｉ ｅ ｂ ｓ ｄ ｏ ｐ ｃａ ｉｅ ｅ ｒ ｈ ｎ ｎ ｉｅ ｉ ｉ ｔ － ｓｒ ｃ ：ｎ ｔｉ ａ ｅ ， ｔ ｅ ｒ ｈ ｅ ｇｎ ａ ｅ ｎ ｓ ｅ ｉｌ ｄ ｓ ａ ｃ ｉ ｇ ｅ ｇｎ ｓ ｎ ｒ ｚ ｏ
ｇａｅ ｐ ｒａ ｈ Ｔ ｅ ｒｓ ｌ ｔｒｅ ｄ ｐ ｅ ｗ ｙ ｏ ｓ ｂｉ ｉｇ ｐ ｆｓｉｎ ｌ ｄｃ ｏ ａｙ ｔ ｘｒｃ ｒｔｄ ａ ｐ ｏ ｃ ． ｈ ｅ ｕｔ ｒ ｕ ｄ ａ ｏ ｔｔ ａ ｆｅ ｔ ｌ ｈｎ ｒ ｅｓｏ ａ ｉｔ ｎ ｒ ｏ ｅ ｔ ｔ ｓｅ ｎ ｈ ａ ｓ ｏ ｉ ａ
ｄ ｃｄ Ｐｏ ｓｉ ａ ｓａｃ ｎ ｎ ｉ ｅｍａ ｅ ｉ ｐｃａ ｚｄｓａｃ Ｉｖｓ ｌ Ｗｅ ”ｓａｃ ｏｓｎｅ ｕ ｅ ． ｒ ｅｓ ｎ ｅ ｈｅｇ ｅｗｌｂ ｄ ｔ ｓｅｉ ｉ ｒ ｈ“ｎ ｉｂｅ ｂ ｅ ｒ ｔ ｌ ｉ — ｆ ｏｌ ｒ ｉ ｌ ｗｈ ｌｅ ｅ ｉ ｈ ｏ ｔ
12-校园网web搜索引擎的设计与实现2011-8-21
校园网Web搜索引擎的设计与实现引言随着校园网建设的迅速发展，校园网内的信息内容正在以惊人的速度增加着。
如何更全面、更准确地获取最新、最有效的信息已经成为我们把握机遇、迎接挑战和获取成功的重要条件。
目前虽然已经有了像Google、百度这样优秀的通用搜索引擎，但是它们并不能适用于所有的情况和需要。
对学术搜索、校园网的搜索来说，一个公平的排序结果是非常重要的。
另外，由于互联网上信息量之巨，远远超出哪怕是最大的一个搜索引擎可以完全收集的能力范围。
因此，本着整合校园网资源的目的，为方便广大师生对校园网信息的获取和使用，设计并实现了一个灵活、可配置、具有良好可扩展性的校园网搜索引擎。
1. 搜索引擎的发展在国内很多基于主题领域的小型搜索引擎得到很好的发展。
例如一些音乐搜索引擎以及医药方面的搜索都有很好的应用；在越来越多的学校、企业、比较大型的网站如BBS都开始建立了自己的搜索引擎。
在国外，比较著名的有美国教育资源信息搜索的AskERIC，实现医药文献搜索的Highwire等。
Google公司在2007年决定向小型网站提供专门的搜索服务。
这些都表明，小型专用的搜索引擎将在人们获取Web信息中发挥更重要的作用[1]。
在小型搜索引擎快速发展的同时，越来越多的人致力于研究和发展这些小型搜索引擎开发技术，Lucene和Nutch是其中的代表成果。
Lucene是一个高性能、纯Java的全文检索引擎，完全免费、开源。
Lucene几乎适合于任何需要全文检索的应用，尤其是跨平台的应用。
Lucene为Nutch提供了文本索引和查询服务的API，而Nutch在Lucene的基础上实现了网页收集与搜索[2]。
小型搜索引擎与通用搜索引擎相比有很多优点，由于它本身的信息量小，它不可能取代通用搜索引擎。
但是，它是对通用搜索的很好的补充。
随着Web上信息的进一步扩大，小型搜索引擎也将会进一步发展，其中已经引起人们关注的垂直搜索引擎在未来的搜索将发挥更大的作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四代搜索引擎——主题搜索引擎的设计与实现Design and Implementation of Focused Search Engine,4th Generation Search Engine北京大学计算机科学技术系计算机软件专业九七级学士毕业论文指导教师：李晓明王建勇作者：罗昶学号：097081362001年6月指导老师对论文工作的评语“面向主题的搜索引擎”，是我们“天网”搜索引擎下一步发展的重要方向之一。
罗昶同学的毕业论文，是这一新方向的良好开端。
论文从系统实现的角度，较全面的阐述了实现一个高质量主题搜索引擎系统的各个方面，着重分析了导向词、特征提取、权威和中心网页、超链分析以及网页评分等多种搜集策略的运用，并提出了“主题度”的概念，用以衡量主题搜索引擎的质量，意在指明一个搜索引擎在一个主题下的主题度越高，则它越贴近这个主题，用户就越容易找到跟这个主题相关的资料。
特别地，将上述认识用于实践中，高质量地完成了一个面向影视主题的搜索引擎系统，搜集了十多万影视信息，在影视信息方面提供着比“天网”通用搜索引擎更有效的服务；论文内容丰富，所涉及的工作量很大，且有较强的系统性，是一篇很有参考价值的论文，为“天网”的发展做出了贡献。
老师签名:__________论文摘要互联网上的信息每天都以指数量级的速度爆炸性增长，面对如此浩瀚的资源，搜索引擎为所有网上冲浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以从搜索引擎出发到达自己想去的网上任何一个地方。
因此它也成为除了电子邮件以外最多人使用的网上服务。
但是，随着信息多元化的增长，千篇一律的给所有用户提供同一个入口显然已经不能满足特定用户更深入的查询需求。
同时，这样的通用搜索引擎在目前的硬件条件下，要及时更新以得到互联网上较全面的信息是不太可能的。
针对这种情况，我们需要一个分类细致精确、对硬件要求低，数据全面深入、更新及时的面向主题的搜索引擎。
由于主题搜索运用了人工分类以及特征提取等智能化策略，因此它比前三代的搜索引擎将更加有效和准确，我们将这类完善的主题搜索引擎称为第四代搜索引擎。
本文阐述了第四代搜索引擎天网主题搜索引擎的设计与实现，并着重分析了导向词、特征提取、权威和中心网页、超链分析以及网页评分等多种搜集策略的运用。
论文最后定义了独创的“主题度”来衡量主题搜索引擎的性能，一个搜索引擎在一个主题下的主题度越高，证明这个搜索引擎越贴近这个主题，用户就越容易找到跟这个主题相关的资料。
有了“主题度”，就可以很容易的比较使用多种搜集策略以后的天网主题搜索引擎与原天网通用搜索引擎的差别，说明了前者在特定的主题下要比后者更准确贴切。
关键词：互联网、万维网、搜索引擎、数据发掘、主题搜索、主题度AbstractInformation on the Internet grows explosively every day. Search engine provides all the surfers on it with an entrance, from which they can reach every corner of the web. Therefore, search engine becomes the most popular network service second to email.With information continuing to explode in all directions, however, some specified kinds of users are not satisfied with only one entrance. In the meanwhile, due to current hardware conditions, it is not likely to crawl full data on the Internet. What we need is a focused search engine, well classified, requesting low hardware condition, containing profound and entire data, and updating in time. Since it uses intelligent strategies such as human-classification and sample-extraction, it is called the 4th generation search engine, more efficient and accurate than the preceding ones.In this paper, described are the design and implementation of 4th generation search engine, Webgather Focused Search Engine. Mainly emphasized are its crawling strategies of orientation words, sample-extraction, authority and hub pages, anchor-text analysis and page rank. In the end, "Topic Approximation" is defined for performance evaluation. The higher the "Topic Approximation" is, the more accurate the search engine is and the more easily users could find out what they really need. With "Topic Approximation", it's easy to conclude that Webgather Focused Search Engine using intelligent strategies is more accurate than the original Webgather Search Engine without them.Keyword:Internet, WWW, Search Engine, Data Mining, Focused Crawling, Topic Approximation目录指导老师对论文工作的评语 (1)论文摘要 (2)ABSTRACT (3)目录 (4)第一章背景介绍 (7)§1.1I NTERNET与WWW发展现状 (7)§1.1.1 Internet的发展历程 (7)§1.1.2 World wide web(www) (7)§1.1.3 Internet的信息分布 (8)§1.2搜索引擎简介 (9)§1.3主题搜索引擎——第四代搜索引擎 (10)§1.4小结 (10)第二章天网搜索引擎系统结构 (12)§2.1系统简介 (12)§2.2系统结构及各部分功能 (12)§2.2.1 WWW信息存取和分析子系统（主控程序） (13)§2.2.2 WWW信息收集控制子系统（搜索器） (13)§2.2.3 资源索引数据库 (13)§2.2.4 信息检索子系统 (14)§2.2.5 管理和监控子系统 (14)§2.3主控程序及搜索器的实现 (14)§2.3.1 主控程序 (14)§2.3.2 搜索器 (16)§2.4小结 (17)第三章主题搜索策略 (18)§3.1.1 导向词及权值的配置 (18)§3.1.2 根据导向词及权值改变搜索顺序 (19)§3.2网页评分(P AGE R ANK) (19)§3.2.1 引用计数(Hit Number) (19)§3.2.2 网页评分(Pagerank) (20)§3.3权威网页(A UTHORITY)和中心网页(H UB) (21)§3.3.1 什么是权威网页和中心网页 (21)§3.3.2 发掘权威网页的难度 (23)§3.3.3 权威网页和中心网页的计算公式 (23)§3.3.4 计算权威网页和中心网页的算法 (24)§3.4超链描述文本分析(H YPERLINK A NCHOR T EXT A NALYSIS) (25)§3.5小结 (25)第四章天网主题搜索引擎的实现 (26)§4.1系统模块图 (26)§4.2存储结构 (27)§4.2.1 系统数据库 (27)§4.2.2 搜索器和主控程序之间的通讯——扩展SOIF结构 (30)§4.2.3 导向词的存贮 (33)§4.3搜索器的实现 (34)§4.3.1 导向词的加载分析 (34)§4.3.2 搜集策略的实现 (35)§4.4小结 (38)第五章系统现状和性能 (39)§5.1天网主题搜索引擎系统现状 (39)§5.2主题度的定义 (39)§5.3天网主题搜索引擎与通用搜索引擎的比较 (40)第六章总结展望 (42)参考文献 (44)参考URL (45)第一章背景介绍§1.1 Internet与WWW发展现状§1.1.1 INTERNET的发展历程Internet的前身是美国国防部高级研究计划署的研究试验性网络ARPANET。
1983年TCP/IP 成为ARPANET上唯一的正式协议。
此后，ARPANET上连接的网络、机器和用户快速增长。
1988年NSFNET和ARPANET互联，它的规模以指数增长，很多地区网络开始加入，并且开始与加拿大、欧洲和太平洋地区的网络连接。
后来形成Internet。
90年代初到现在，是Internet增长最迅速的时期。
1993年，Internet的增长速度是341%。
截止到1996年7月，Internet已连接了134336个网络，入网主机1228万台，以及数以亿计的用户。
到1998年7月，Internet已拥有427万个网址，4300万个域名，3673.9万台主机和3.2亿个网页，其规模大概每年翻一番。