搜 索 引 擎
试论搜索引擎优化模型

管 理科 学 f f f
试 论搜 索 引擎 优化模学图书馆 , 湖北 武汉 40 6 ) 3 0 8
摘 要: 研究以满足用户的效用信息需求为 目的 , 构建搜 索 引擎优化模 型 , 该模型 包括网络用户行为分析模块 , 网站知识信息组织模块和搜索 引擎 自身模块三部分。 在评析三者关系基础之上 , 作者对搜 索引擎优化模型进行 了 评价 , 出搜 索引擎优 化模 型能有效地解决 日益增长的网络信息 指
资源与用户效用信息需求之 间的矛盾。 关键词 : 搜索引擎优 化; 用户; 网站 ; 信息组织
方面 的优化发展 。搜索引擎技术的发展 和搜索引擎 内容的发展是搜索引擎优化 服务 的基础 ,而搜索引擎技术的发展也 是搜索引擎检索更全更多网络信息的基 础。同时 , 搜索引擎服务的水平和质量的 提高则会捕获更多的信息用户 ,这样便 会进 一步 促进 搜索 引擎 技术 的发 展 完 善。 2搜索引擎优化模型的工作机制 而搜索引擎作为一个信息体 系 , 三者缺一不可 。 鉴于此 , 文在传统搜索引擎研究 的基础上 , 本 将 搜索 引擎优化模 型的 目的就在 于通 搜索引擎 自 身发展 、搜索引擎用户和信息组织 过对模 型内的各子系统进行 优化 ,在最 纳入到搜索引擎优化模式的整体 中来 ,避免信 大程 度上满足 用户 的效 用信息需 求 , 而 息孤岛的产生 ,使三者之间信息通畅 ,相互促 模 型的工作机制则在改进信息服务方面 网 站 搜 索引擎 进, 促使信息获取的效益最 大化 。 发挥重要 的作用 。其 中用户信息行为分 图 1 索 引 擎优 化 模 型 搜 l搜索引擎优化模型 的构成 析系统是基础 ,网站知识组织系统是保 笔者在文献【】 1中提出将 用户 、 知识 生产者 证 , 而搜索引擎 自身的优化发展是根本 , 三者将 块和搜索引擎 自 身发展优化模块构成。用户信 并 与知识 组织者视为搜索引擎优化 的外部环 境 , 统一于搜索 引擎优化模型工作机 制体系之 中 , 息分析系统首先采 集用户 的信息行 为数据 , 对数据进行分析 ,将用户信息行为数据反馈给 三者与搜索引擎共同组成一个信息系统。基于 相互促进 , 共同发挥作用 。 2 . 1用户信息行为分析机制 网站和搜索 引擎 。根据用户信息分析优化模块 此, 笔者在进一步的研究 中, 架构了一个搜索引 网站采取有针对性 的措施 , 不断优 擎优化模型 , 此模 型由用户行为分析模块 、 网站 用户信息行 为分析机制是搜索 引擎优化模 返回的数据 , 知识信 息组织模块和搜索引擎 自身模块组 成。 型工作机制的基础 ,网站或搜索引擎利用数据 化网站结构 、 结构和服务。 同时搜索引擎也根据 从技术层 面、 内 用户行为分析模块和 网站知识组织模块 构成搜 挖掘工具得到用户 利用网络信息资 源的情况 , 用户行为分析模块得出的数据 , 索引擎优化模 型的外部环境 ,二者与搜 索引擎 并应用数据处理器对挖掘工具 获得 的数据信息 容及其组织层面和搜索引擎服务三个方面进行 自身发展构成一个完整 的信息链。搜索 引擎优 进行分 析, 断用户 的信息行为。同时 , 判 将得到 优化 。 32 有 序 性 . 化模型的最终 目的在于满足信 息用户 的效用信 的最终数据反馈给网站或搜索 引擎 ,并在此基 础 上对 网站 和 搜 索 引 擎 进行 优 化 。 系统的有序性是指 系统各要素及要素之间 息需求。模 型如 图 1 所示。 1 . 1用户行为分析模块 22 网站知识组织 优化机制 . 的有机组合形成 系统 的结构 ,搜索引擎优化系 信 息用户与搜索引擎是互 惠的关系。 在用 网站是网络信息的来源 ,搜索引擎检索网 统 由用户信息分 析系统 、网站知识 组织系统和 户行为分析模块 中,用户信息被数据分析工具 站信息资源 , 建立索引之后 响应用户检索行为 , 搜索引擎 自身优化系统组成 ,三者是一个 有序 抓取, 对信息进行统计和分析 , 再及时地将各种 将检索结果输出 , 网站信息 的终端为用户 , 而用 的信息系统。系统在 内部诸要素的非线性作用 数据传递给搜索引擎 , 引擎接受数据 , 搜索 在用 户 的信息需求在很大程度上影响着网站的发展 下 ,可以走 向有序 ,并且不断增强 自己的有 序 这种有序性 为其结构所支持 , 它采取层 次化 户信息分析数据的基础上 ,有针对性地对 自身 和完善 。 网站知识组织优化机制从 网站的结构 、 性 , 的技术 、 内容和服务进行优化 。 如用户在利用搜 内容及其组织方式和 网站服务等方面进行优 化 的方法进 入新 的资源空间。在搜索 引擎优化模 索引擎检索信息时遇到的各种障碍便可 由数据 发展 , 网站建成结构合理 、 将 知识 丰富 、 组织科 型里 , 用户信息行为分析系统将用户信息传递 给网站知识组织系统 和搜 索引擎优化 系统 , 网 分析工具传递给搜索引擎 , 针对用户的困难 , 搜 学和服务充分 的信息基地。 索 引擎可采取各种技术来改进其 自身能力 。 2 l 索引擎 自 3搜 身优化发展机 制 站知识组织系统根据用户信息数据对知识 内容 同时 , 搜索引擎服务商 1 . 2网站知识信息组织优化模块 搜索引擎直接面 向用户 ,搜索引擎 的内容 及其组织方式进行优化。 网站结构 、 网站知识信息内容及其组织方 及服务等方面将 直接影响用户进一步 的使用 。 根据用户信息分析系统返回的数据对搜索引擎 式 、网站功能和 网站服务组成整个网站知识信 搜索引擎 自身发展优化机制将 对搜索引擎 的技 的各层面进行优化。搜索引擎 自身 的发展优化 息 系 统 。 网 站信 息组 织 的 优 化 包 括这 四 个层 面 术 、数据库 内容及组织方式和搜索引擎服务进 能更好地对 网站 知识 信息进 行检索 和建立 索 也能进一步满足信息用户 的信息需求。 的优化策略, 即分别对 网站结构 、 网站信息及其 行分层优化 。搜索引擎技术的优化是保证搜索 引 , 3 服 务 性 3 组织方式 、 网站功能和 网站服务进行优化 , 从而 弓 擎进步 的关键所在 ,而数据库 内容及组织方 I 网络环境 下 , 信息用户个体的知识结构不 达到整个 网站信息系统的优化 , 其重点是对 网 式则是吸引用户的决定性 因素 ,搜索引擎服务 同, 因此对网络资源的认知也不同 , 导致利用网 站知识信息组织方式的优化。通过对 网站信息 是捕获和 留住用户的保 障。 络资源的差异。而不 同的用户对网络资源需 求 组织的优化 ,能让搜索 引擎更好地检索到网站 3搜索引擎优化模型的特点 的特点为 : 主要 的信息需求集中在 与工作 与 最 知识 信息 ,从而促进网站与搜索引擎的信息交 31独 立 性 . 互 ,使 网络用户通过搜索 引擎获悉及时高质 的 搜索引擎系统作为一项服务 ,主要是方便 学习相关的专业 、 业务信息上 ; 信息语 种以本国 信息, 满足网络用户的效用信息需求 。 网络信息用户查 询需要 的信息 ,稳定搜 索引擎 语种为主 , 次为英 文信 息 ; 其 服务类 型以 用户需求还表现为 : 信息 1 搜索引擎 自身发展 的优化模式 3 用户群 , 增强搜索引擎 的实用性和方便性 。 索 信息查 寻为主。此外 , 搜 搜 索引擎 自身的发展 包括搜 索引擎 技术 引擎优化 模型是一个相对独立 的完整系统 , 由 数据库网络化 ; 随时得到所需资料 ; 于各种咨 对 发展 、搜索引擎信息 内容和搜索引擎服务三个 用户信息分析优化模块 、网站知识组织优化模 询能得 到便捷 的回答 ;用户最终得到 的是经过
搜索引擎

目录索引:
目录索引也称为:分类检索, 是因特网上最早提供WWW资源查 询的服务,主要通过搜集和整 理因特网的资源,根据搜索到 网页的内容,将其网址分配到 相关分类主题目录的不同层次 的类目之下,形成像图书馆目 录一样的分类树形结构索引。 目录索引无需输入任何文字, 只要根据网站提供的主题分类 目录,层层点击进入,便可查 到所需的网络信息资源。
第四步:排名
用户在搜索框输入关键词后,排名程序调用索引库数据,计算排名显示给 用户,排名过程与用户直接互动的。但是,由于搜索引擎的数据量庞大, 虽然能达到每日都有小的更新,但是一般情况搜索引擎的排名规则都 是根据日、周、月阶段性不同幅度的更新。 选择 与网站内容相关 搜索次数多,竞争小 主关键词,不可太宽泛 主关键词,不太特殊 商业价值 提取文字 中文分词 去停止词 消除噪声 去重 正向索引 倒排索引 链接关系计算 特殊文件处理
移动互联网搜索的必然使命,就是:提供精准到个人的搜索。可以说前三代搜索引擎,都是基于PC互联网 的搜索,而精准到个人需求的移动互联网搜索,为“第四代搜索引擎”,那么,最有可能实现自于亚马逊、淘宝这些掌握 了大量个人信息的商业巨头,或者来自于跨界研究行为心理学、消费心理学、社会心理学等背景的IT研究机 构或IT创业团队,因为这些公司或机构,对人们的行为习惯背后的“动机”与“特征”更加了如指掌。
元搜索引擎
元搜索引擎(METASearch Engine) 接受用户查询请求后,同时在多 个搜索引擎上搜索,并将结果返 回给用户。著名的元搜索引擎有 InfoSpace、Dogpile、Vivisimo等, 中文元搜索引擎中具代表性的是 搜星搜索引擎。在搜索结果排列 方面,有的直接按来源排列搜索 结果,如Dogpile;有的则按自定 的规则将结果重新排列组合,如 Vivisimo。
四年级信息技术搜索引擎课件

02 搜索引擎的使用技巧
关键词的选择
01
02
03
关键词的提炼
从问题中提取核心信息, 转化为简练的关键词。
避免冗余
避免使用重复或无意义的 关键词,提高搜索效率。
使用特定关键词
针对特定领域或主题,使 用专业术语或常用关键词 。
搜索结果的筛选
查看搜索结果数量
了解搜索结果的大致数量 ,判断是否需要进一步筛 选。
示给用户的系统。
搜索引擎是互联网的基础应用,是网民 获取信息的重要工具。
搜索引擎已广泛运用于人们的日常生活 、学习和工作中,能够帮助用户快速找
到所需的信息。
搜索引擎的分类
全文搜索引擎
全文搜索引擎是从网页中提取信息建立网页数据库而形成 的,当用户查询条件与网页数据库中数据匹配时,系统会 提供相应的网页给用户。
分类目录型
以人工方式收集信息,通过编辑员对信息 进行分类和编制,用户通过关键词搜索, 然后从预先编制的目录中查找相关信息。
Yahoo!
代表
优点
信息准确、导航效果好。
缺点
信息量少、覆盖面窄、更新速度慢。
第二代搜索引擎
文本检索型
通过爬虫程序自动抓取互联网上的网页,建立索引数据库,用户通过 关键词搜索,返回与关键词相关的网页。
加速信息传播
搜索引擎的出现使得信息传播速度大大加快,人 们可以快速地获取到全球范围内的信息。
扩大信息覆盖面
搜索引擎通过爬取互联网上的大量网页,将各种 信息整合在一起,为用户提供更全面的信息。
提高信息获取效率
用户可以通过搜索引擎快速找到自己需要的信息 ,节省了大量时间和精力。
搜索引擎对个人生活的影响
目录索引类搜索引擎
《认识搜索引擎》课件

语义搜索
语义搜索是指搜索引擎能够理解自然语言,对用户输入的语义进行深入分析和理 解,从而提供更加准确和相关的搜索结果。例如,当用户输入一个较为复杂的查 询语句时,语义搜索能够理解用户的意图,并返回与该意图相关的搜索结果。
语义搜索的发展将进一步推动搜索引擎的自然语言处理技术,使用户能够更加自 然地表达自己的需求,提高搜索结果的准确性和相关性。
多模态搜索
多模态搜索是指搜索引擎能够接受多种媒体数据(如文本、图像、音频、视频等)作为输入,并返回与该输入相关的多种媒 体数据作为结果。例如,用户可以上传一张图片或一段视频进行搜索,搜索引擎将返回与该图片或视频相关的文本、图片、 视频等结果。
多模态搜索的发展将进一步拓宽搜索引擎的应用场景,使用户能够更加方便地获取多种媒体数据的信息,提高信息获取的多 样性和丰富性。
结果筛选
查看搜索结果的相关性
01
根据搜索结果与查询主题的相关程度,筛选出最符合需求的网
页或信息。
查看搜索结果的权威性
02
选择来自权威网站或知名媒体的结果,以获取更可靠的信息。
使用搜索结果的高级筛选功能
03
利用搜索引擎提供的高级筛选功能,如过滤不相关的结果、按
时间排序等,提高筛选效率。
04
搜索引擎的未来展望
反垃圾信息法
垃圾信息泛滥
搜索引擎作为信息传播的重要平 台,容易受到垃圾信息的侵扰, 影响用户体验和搜索引擎的正常
运营。
反垃圾信息法规
各国政府纷纷出台反垃圾信息法 规,要求搜索引擎采取有效措施
防止垃圾信息的传播。
反垃圾技术发展
随着技术的发展,搜索引擎应不 断加强反垃圾技术的研究和应用 ,提高垃圾信息的识别和过滤能 力,为用户提供更加纯净的搜索
搜索引擎工作原理

• Java 由sun公司开发的常用于计算机web 平台开发的程序设计语言,应用于网页动 态开发的文件后缀名是xxx.jsp。Java SE允 许开发和部署在桌面、服务器、嵌入式环 境和实时环境中使用 java语言。所以我们 经常会看到java用语手机等嵌入式平台。
• 优化网站,让搜索引擎蜘蛛(spider)更好的阅 读和抓取,这是SEO的本质。如果你的网站导航 或文字内容是框架(Frames),图片, JavaScript或Flash,则搜索引擎蜘蛛将不能全部 或部分抓取你的站点内容。 所以说我们说框架 网页,图片,JS,flash都是不利于SEO的因素。
垂直搜索
• 垂直搜索是针对某一个行业的专业搜索引 擎,是搜索引擎的细分和延伸,是对网页 库中的某类专门的信息进行一次整合,定 向分字段抽取出需要的数据进行处理后再 以某种形式返回给用户。如 “新浪爱问”, “有道博客搜索”,“MP3搜索”, “搜搜新闻搜索”等
搜索引擎的组成部分
• 搜索引擎一般由搜索器、索引器、检索pter)其功能是在互
目标索引
• 目录索引虽然有搜索功能,但在严格意义 上算不上是真正的搜索引擎,仅仅是按目 录分类的网站链接列表而已。用户完全可 以不用进行关键词(Keywords)查询,仅 靠分类目录也可找到需要的信息。目录索 引中最具代表性的莫过于大名鼎鼎的Yahoo 雅虎。其他著名的还有Open Directory Project(DMOZ)、LookSmart、About等。 国内的搜狐、新浪、网易搜索也都属于这 一类。
• Html 超文本标记语言 是最原始的网页语言也 是构成网页文档的最主要的语言,也是相对搜索 引擎最友好的语言。 • ASP 动态服务器页面 这是微软公司开发的常 用与网站动态程序开发的语言,也是最早的动态 网页语言。对搜索引擎是比较友好的。 • PHP HTML 内嵌式的语言,是一种在服务器端 执行的嵌入HTML文档的脚本语言,相对于其他动 态网页程序语言,php由于是将程序嵌入到html 里面执行,所以运行更快速。 • 微软公司开发的服务器端应用程序的 语言,开发源于ASP语言,可以理解为ASP语言 的升级版本 ,发展的时间并不长,但是搜索引擎 已经习惯了对网页文件的抓取。
第三章 搜索引擎及其使用

字段限定检索:在搜索引擎中,字段检索大多表现 为前缀限制形式,如属于主题字段限制的有:Title、 Subject、 Keywords、 Summary等;属于非主题字段 限制的有:Image 、Text等。此外,搜索引擎还提供 了新的、带有典型网络检索特征的字段限制类型,如 主机名(host)、域名(domain)链接(link)、URL 限制(url)、新闻组(Newsgroup)和E-mail限制等。
在检索框中输入检索词
选择检索范围:网页、图片、新闻、论坛或 点击 “Google搜索”按钮 点击“手气不错”按钮。搜索结果则自动将你带到Google查询到 的第一个网页,你将看不到其他搜索到的结果,省时方便。
自动使用“and”进行查询. Google只会返回那些符合
您的全部查询条件的网页。不需要在关键词之间加上
特殊型搜索引擎是专门搜集特定的某一方
面的和某些类型的信息,如专门搜集有关电话、
人名、地名、地址信息的名录搜索引擎。专门
搜索图像信息的图片搜索引擎,专门搜索音乐 的MP3的音乐搜索引擎等。 返回
开始搜索之前,首先应当考虑选择哪个搜 索引擎。每个搜索引擎都有自己的信息采集原 则,知道了搜索引擎都收集那些信息,将有助 于找到合适的信息。 由于存储和展示网站内容的方式不同,你可 以在不同的情况下用“分类目录”或“搜索引 擎”查找信息.
索引数据库
根据用户输入的查询条件,在索引库 中快速检出文档,进行文档与查询的 相关度评价,对将要输出的结果进行 排序,并将查询结果返回给用户。
检索器与用户接口
搜索引擎的关键技术
搜索引擎的关键技术:信息搜集技术、索引技术、检索器 与结果处理技术。 信息搜集技术 目录导航式搜索引擎的信息搜集技术 网络机器人技术 索引技术 索引类型: 目录索引、文本索引(关键词索引)、链索引、站 点索引 检索器与结果处理技术 检索器提供的查询接口形式(目录导航式、关键词检索) 按频次排定次序、按页面被访问度排序、二次检索等
《搜索引擎基本知识》课件

检索结果的排序
1
排序原理
揭示搜索引擎对检索结果进行排序的基
排序技术
2
本原理和方法。
介绍一些常用的排序技术,如相关性排 序和机器学习排序算法。
搜索引擎的评估
评估标准
了解评估搜索引擎的主要标准,如覆盖率、准确性 和响应速度等。
评估方法
探索评估搜索引擎的不同方法,如用户调查和性能 测试等。
搜索引擎的应用
商业、教育、医疗等领域的应用
了解搜索引擎在不同领域中的实际应用场景和重要 性。个人日 Nhomakorabea生活中的应用
发现搜索引擎在个人日常生活中的各种实用用途。
搜索引擎的发展与前景
搜索引擎的发展历程
回顾搜索引擎的发展历史,从早期的Yahoo!和Altavista到现在的和谷歌。搜索引擎的未来趋势
展望搜索引擎的未来发展方向,如人工智能和语义搜索。
搜索引擎基本知识
搜索引擎是什么?搜索引擎的历史发展。
搜索引擎的分类
基于检索策略的分类
按照不同的检索策略将搜索引擎进行分类。
基于搜索对象的分类
根据搜索引擎所针对的搜索对象的不同进行分类。
搜索引擎的工作原理
搜索引擎的组成
了解搜索引擎的核心组成部分, 包括爬虫、索引和搜索算法。
搜索引擎的工作流程
探索搜索引擎是如何从网页到 搜索结果的整个工作过程。
搜索引擎的检索算法 介绍
介绍一些常见的搜索引擎检索 算法,如PageRank、TF-IDF等。
搜索引擎索引
1 网页索引与数据库索
引
解释网页索引和数据库索 引之间的区别和作用。
2 索引更新的方法
概述不同搜索引擎使用的 索引更新方法,如增量更 新和全量更新。
对搜索引擎的认识

对搜索引擎的认识搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息,在对信息进行组织和处理后,为用户提供检索服务的系统。
它的工作原是:抓取网页、处理网页、提供检索服务。
搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成:①搜索器:其功能是在互联网中漫游,发现和搜集信息;②索引器:其功能是理解搜索器所搜索到的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表;③检索器:其功能是根据用户的查询在索引库中快速检索文档,进行相关度评价,对将要输出的结果排序,并能按用户的查询需求合理反馈信息;④用户接口:其作用是接纳用户查询、显示查询结果、提供个性化查询项。
搜索引擎发展早期,多是作为技术提供商为其他网站提供搜索服务,网站付钱给搜索引擎。
后来,随着2001年互联网泡沫的破灭,大多转向为竞价排名方式。
目前我认识的主流的搜索引擎也不外乎是百度和谷歌,其次就是搜搜,搜狗,以及雅虎,bing等,这些都是比较综合的搜索引擎。
根据搜索引擎的不同分类主要有:新闻类搜索引擎,例如:新浪的新闻搜索。
百度的新闻搜索,谷歌的资讯搜索,新华网新闻搜索等等。
这些都是针对新闻的搜索。
软件类搜索引擎也有很多。
比较突出的就是迅雷狗狗搜索,太平洋软件搜索,华军软件园等。
根据搜索引擎的分类还有很多,音乐,电影,图片,文档,视频,博客,购物,旅游,地图,生活等等。
而这其中除了百度和谷歌的里面的产品属于开放性搜索外,其他大部分只是目录搜索,但是这些目录搜索的资源也相当的可观,基本上都覆盖了行业中的大部分主流信息。
其实百度谷歌属于全文索引类,他们都有自己的程序索引整个互联网中的资源。
但是它们里面的很多信息也都是从这些专业的搜索中检索到的,而有些东西只是在不同的位置获取,实际信息确差不多。
百度谷歌之外的这些搜索引擎基本上都属于目录搜索引擎。
主要是人工编辑的网站分类目录,目录索引虽然有搜索功能,但严格意义上不能称为真正的搜索引擎,只是和开放性搜索引擎的定义不一样,实际上也可以算搜索引擎的一种类型。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
搜索引擎
一、(1)什么是搜索引擎?
答:搜索引擎指自动从因特网上获取信息,经过一定整理后,提供给用户进行查询的系统。
因特网上的信息浩瀚万千,而且毫无秩序,所有的信息像汪洋上的一座座小岛,网页链接是这些小岛之间纵横交错的桥梁,而搜索引擎则为你绘制一幅一目了然的信息地图,供你随时查阅。
(2)搜索引擎的工作原理
1、搜集信息:搜索引擎的信息搜集基本都是自动的。
搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器人程序来连上每一个网页上的超链接。
机器人程序根据网页链到其他中的超链接,就像日常生活中所说的“一传十、十传百…….”一样,从少数几个网页开始,练到数据库上所有到其他网页的链接。
理论上,若网页上有适当的超链接,机器人便可以遍历绝大部分网页。
2、整理信息:搜索引擎整理信息的过程称为“建立索引”。
搜索引擎不仅要保存搜集起来的信息,还要将他们按照一定的规则进行编排。
这样,搜索引擎根本不用重新翻查他所有保存的信息而快速查到所要的资料。
想象一下,如果信息不按任何规则地随意堆放在搜索引擎的数据库中,那么它每次找资料都得把整个资料库完全翻一遍,如此一来,再快的计算机也没有用。
3、接受查询:用户向搜索引擎发出查询,搜索引擎接受查询并向客户返回查询资料。
搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询,它按照每个用户的需要检查自己的索引,在极短时间内找到用户需要的资料,并返回给用户。
目前,搜索引擎返回主要是以网页链接的形式提供的,这些通过这些链接,用户便能到达含有自己需要的资料的网页。
通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否会有自己需要的内容。
二、搜索引擎的分类
百度、搜狗搜索,谷歌搜索、雅虎搜索、腾讯搜索、迅雷搜索、微软搜索、有道搜索
三、搜索引擎的原理概述
搜索引擎通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词进行搜索,建立索引数据库的全文搜索引擎。
当用户查找某个关键词的时候,所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜索出来。
在经过复杂的算法进行排序后,这些结果将按照与搜索关键词的相关度高低,依次排列。
根据自己的优化程度,获得相应的名词次。
在搜索引擎的后台,有一些用于搜集网页信息的程序。
所搜集的信息一般是能表明网站内容(包括网页本身、网页的URL地址、构成网页的代码以及进出网页的连接)的关键词或者短语。
接着将这些信息的索引存放到数据库中。
建立索引
蜘蛛抓取的页面文件分解、分析,并以巨大表格的形式存入数据库,这个过程即是索引(index).在索引数据库中,网页文字内容,关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录。
搜索词处理
用户在搜索引擎界面输入关键词,单击“搜索”按钮后,搜索引擎程序即对搜索词进行处理,如中文特有的分词处理,去除停止词,判断是否需要启动整合搜索,判断是否有拼写错误或错别字等情况。
搜索词的处理必须十分快速。
排序
对搜索词处理后,搜索引擎程序便开始工作,从索引数据库中找出所有包含搜索词的网页,
并且根据排名算法计算出哪些网页应该排在前面,然后按照一定格式返回到“搜索”页面。
再好的搜索引擎也无法与人相比,这就是为什么网站要进行搜索引擎优化。
没有SEO 的帮助,搜索引擎常常并不能正确的返回最相关、最权威、最有用的信息。
数据结构
搜索引擎的核心数据结构为倒排文件(也称倒排索引),倒排索引是指用记录的非主属性值(也叫副键)来查找记录而组织的文件叫倒排文件,即次索引。
倒排文件中包括了所有副键值,并列出了与之有关的所有记录主键值,主要用于复杂查询。
与传统的SQL查询不同,在搜索引擎收集完数据的预处理阶段,搜索引擎往往需要一种高效的数据结构来对外提供检索服务。
而现行最有效的数据结构就是“倒排文件”。
倒排文件简单一点可以定义为“用文档的关键词作为索引,文档作为索引目标的一种结构(类似于普通书籍中,索引是关键词,书的页面是索引目标)。
全文搜索引擎
在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。
搜索引擎的自动信息搜集功能分两种。
一种是定期搜索,即每隔一段时间(比如Google一般是28天),搜索引擎主动派出“蜘蛛”程序,对一定IP地址范围内的互联网站进行检索,一旦发现新的网站,它会自动提取网站的信息和网址加入自己的数据库。
另一种是提交网站的搜索,即网站拥有者主动向搜索引擎提交网址,它在一定时间内(2天到数月不等)定向向你的网站派出“蜘蛛”程序,扫描你的网站并将有关信息存入数据库,以备用户查询。
由于近年来搜索引擎索引规则发生了很大变化,主动提交网址并不保证你的网站能进入搜索引擎数据库,因此目前最好的办法是多获得一些外部链接,让搜索引擎有更多机会找到你并自动将你的网站收录。
当用户以关键词查找信息时,搜索引擎会在数据库中进行搜寻,如果找到与用户要求内容相符的网站,便采用特殊的算法——通常根据网页中关键词的匹配程度,出现的位置/频次,链接质量等——计算出各网页的相关度及排名等级,然后根据关联度高低,按顺序将这些网页链接返回给用户。
目录索引
与全文搜索引擎相比,目录索引有许多不同之处。
首先,搜索引擎属于自动网站检索,而目录索引则完全依赖手工操作。
用户提交网站后,目录编辑人员会亲自浏览你的网站,然后根据一套自定的评判标准甚至编辑人员的主观印象,决定是否接纳你的网站。
如果审核通过,你网页才会出现于搜索引擎中,否则不会显示。
其次,搜索引擎收录网站时,只要网站本身没有违反有关的规则,一般都能登录成功。
而目录索引对网站的要求则高得多,有时即使登录多次也不一定成功。
此外,在登录搜索引擎时,我们一般不用考虑网站的分类问题,而登录目录索引时则必须将网站放在一个最合适的目录。
最后,搜索引擎中各网站的有关信息都是从用户网页中自动提取的,所以用户的角度
看,我们拥有更多的自主权;而目录索引则要求必须手工另外填写网站信息,而且还有各种各样的限制。
更有甚者,如果工作人员认为你提交网站的目录、网站信息不合适,他可以随时对其进行调整,当然事先是不会和你商量的。
目录索引,顾名思义就是将网站分门别类地存放在相应的目录中,因此用户在查询信息时,可选择关键词搜索,也可按分类目录逐层查找。
如以关键词搜索,返回的结果跟搜索引擎一样,也是根据信息关联程度排列网站,只不过其中人为因素要多一些。
如果按分层目录查找,某一目录中网站的排名则是由标题字母的先后顺序决定(也有例外)。
目前,目前,搜索引擎与目录索引有相互融合渗透的趋势。
原来一些纯粹的全文搜索引擎现在也提供目录搜索。