试比较垂直搜索引擎和传统的搜索引擎

发表时间：2012-05-29T10:30:09.310Z 来源：《时代报告（学术版）》2012年3月（上）供稿作者：马毽

[导读] 随着网络和计算机技术的快速更新，各种类型的搜索引擎层出不穷。

马毽郑州大学信息管理系河南郑州 450001

中图分类号：TP301文献标识码：A 文章编号：41-1413（2012）03-0000-01

摘要：搜索引擎以其强大的检索功能备受社会关注，各种类型的搜索引擎更是层出不穷。本文选取了垂直搜索引擎和传统搜索引擎作为比较对象，从工作原理、核心技术、信息服务这三个方面进行了比较，最后总结出搜索引擎发展的方向就是更好的为用户提供服务。

关键词：垂直搜索引擎；传统搜索引擎；比较

搜索引擎主要指利用网络自动搜索技术软件或人工方式，对网络资源进行收集、整理与组织，并提供检索服务的一类信息服务系统。随着网络和计算机技术的快速更新，各种类型的搜索引擎层出不穷。由于搜索引擎查询的海量结果存在信息量大、查询不准确、深度不够等缺陷，用户感觉到很难在短时间内准确的筛选并找到符合需求的信息。于是，垂直搜索引擎便应运而生。那么，它到底和传统的搜索引擎有何不同呢？

1.垂直搜索引擎和传统搜索引擎概述

传统搜索引擎就是早期的综合搜索引擎的统称。它是指定期收录和整理网络信息，提供关键词或浏览查询方式的网络信息检索工具。其资源包罗万象，用户可在检索栏中输入检索词来检索几乎任何类型和主题的资源。虽然它收录的资源范围广，但存在死链接较多、相关度较低等缺点。

垂直搜索引擎即专业化搜索引擎，是专为查询某一学科或主题的信息而产生的查询工具。它是对某类网页资源和结构化资源的深度整合后提供符合专业用户操作行为的信息服务方式。其特点是“专、精、深”，且具有行业色彩。因为它的搜索器只搜集特定的主题信息的相关网页。这样大大降低了收集信息的难度，提高了信息的质量。

2.工作原理比较

传统的搜索引擎是通过Spider程序来自动地在互联网中搜集和发现信息，再由索引器为搜到的信息建立索引，最后由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。由于网页文件存在不规范性，传统搜索引擎所建立的索引是全文索引。垂直搜索引擎先利用特定的软件按照用户需求自动从网络服务器上搜索信息资源；再按照专题进行人工分类，建立索引，将索引好的内容存放到本地数据库。用户在检索时只需利用搜索引擎的界面接口输入检索要求，后台数据库检索软件对其进行处理，并将结果反馈给用户，用户可根据返回的摘要信息决定是否要继续访问原始站点，以得到更为详细的信息。

由此可知，它们的工作原理是很相似的，不过垂直搜索引擎的后台索引数据库是在计算机自动搜索与人工分类相结合基础上建立的，它既能及时补充网上随时更新的信息，又能满足用户按照科学的分类体系准确的查询到满意的信息。

3.核心技术比较

传统搜索引擎是在整个互联网的网页中查找信息。依赖于搜索技术，抓取、索引、排序等技术。而垂直搜索引擎只在特定主题的网站上查找。采用的主要技术包括spider、网页结构化信息抽取技术、元数据采集技术、分词技术、索引技术等信息处理技术。

所以，垂直搜索引擎可以针对专业特定的领域或行业的内容进行专业和深入的分析挖掘和定位，更精准的提供有一定价值的信息和相关服务，有效地弥补了传统的综合搜索引擎对专门领域及特定主题信息覆盖率过低的问题。同时,能够把具有相同兴趣点的人们集中在一个“主题社区”内，不仅集中提供各种专业资源，而且给大家提供了一个相互交流、共享经验和教训、展望行业发展前景的机会和场合。相比较传统搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。

4.信息服务的比较

（1）服务用户比较

传统搜索引擎为用户提供一个的检索入口, 它准备了与用户提问相关的各种网络资源，供用户自行筛选。其用户群覆盖范围较广泛，涉及了所有类型的网络资源使用者。垂直搜索引擎的用户有明确的信息需求，这种信息需求可以界定在某一个特定范围内，并且满足其信息需求的信息产品是特定形式的组织化的信息，它提供的结果都是与用户需求相关的，用户不用自己再进行分析和判断。

传统搜索引擎对用户的要求相对较高，在搜索的过程中，需要有用户对自己需求的不断调整的过程。垂直搜索引擎对用户的要求较低，直接输入检索需求即可。所以，传统的搜索引擎用户规模比较大，但是用户的需求不太明确；而垂直搜索引擎的用户需求相对明确。

（2）信息服务内容比较

对于搜索引擎而言,为用户提供的内容就是搜索结果。两种搜索引擎都可以提供与用户提交检索式相关的网上检索结果,但它们存在很大区别。

信息的时效性

从信息搜索及时性来分析,垂直搜索引擎需要获取的信息来自于某一特定领域的，这比起传统的搜索引擎漫无边际的信息抓取,具有实时性优势。由于网上的信息量巨大,传统搜索引擎的数据更新周期短则十几天，长则几个月，而垂直搜索引擎的数据更新可以以秒为单位。

信息的描述。在描述形式上，传统搜索引擎提供的信息是网页链接,其匹配原则是网页描述与关键字的相关度；垂直搜索引擎提供的结果是结构化的数据。在描述内容上，传统搜索引擎的结果的描述的内容包括标题、描述、url链接三个部分。它们是当前URL链接上的网页整体内容的介绍，而不是针对用户检索的特定信息的介绍；垂直搜索引擎的搜索结果是从多个角度描述用户查找的特定信息。这样，用户几乎不需要点击链接就可以直接判断哪条检索结果是最需要的信息。

信息结果的排列方式。传统搜索引擎是按照系统设定的排序算法，自动根据相关性将网页排列，用户只能被动的接受搜索引擎的排列顺序。垂直搜索引擎的排列方式可以由用户设定，用户可以自主的选择的多种方式进行排序。这为用户更好的找到需求的信息很有帮助。

信息的查全率和查准率。传统搜索引擎的信息搜索的数量是巨大的,而垂直搜索引擎因为检索的网站数目有限,所以检索结果的数量也维持在几百个左右。而从查准率的角度看，垂直搜索引擎的准确率很高，几乎可以达到90%以上。因为这些特定的信息都是在特定的相关网站上查找的,所以可以保证它的准确性。但是传统搜索引擎是在广泛的互联网上查找，另外用户的信息需求表达不完整，其准确率相对比

如何做好一个垂直搜索网站

“确解用户之意，切返用户之需。” “门户网站都想着是怎样省钱，而不是怎样花钱来买技术。” “搜索引擎不是人人都能做的领域，进入的门槛比较高。” “只是优秀还不够，最好的方式是将一件事情做到极致。”(google十大真理) “做搜索引擎需要专注” “对于一项排到第四的业务，门户很难做到专注。” “用户无法描述道他要找什么，除非让他看到想找的东西。” “所谓楔形，其实就是个倒三角，倒三角的尖端部分代表搜索技术，中部是基于技术的产品应用平台，最上端是对整个搜索引擎用户人群文化的认识和理解，以及现代公司竞争最关键也最捉摸不定的所谓品牌。” “楔形”蕴涵的另一个意义是:楔子要打到墙里，尖端是否锐利很重要，但楔子的破坏性有多强，究竟能在墙面挤压出多大的空间，其中端、后端的沉稳与厚重才是关键。搜索引擎的技术和理念都是需要时间和经验的积累的，更是需要长期不断的完善进步的，绝对不要认为可以一蹴而就，要达到一个相对成熟领先的搜索引擎从开始到领先的周期一般需要是四年。着急不得。原因是因为搜索引擎太复杂，而且“用户无法描述他要找什么，除非让他看到想找的东西。” 一切都需要摸索，尝试，问题需要一个一个解决，用户的需要得一点点的挖掘。搜索引擎是一个产品，给用户提供服务的产品，需要长期的不断的改进升级调整才能持续不断的提用户体验，需要满足用户不断增长并且变化的需求、需要不断适应网络的变化。这是因为网络环境是不断变化的、网民的需求也是不断变化的。千万不要把搜索当成项目来做，做完了撂那让用户去用那你肯定没戏。在搜索引擎领域是讲体验的、新的引擎如果用户体验一旦整体上有领先一年以上的差距并且持续2年，那前期的领先者的优势就荡然无存，因为搜索引擎的用户转移成本相对而言是比较低的而且口碑是最佳的传播方式。如果一个搜索引擎不能持续不断的技术创新理念创新，那对于这个搜索引擎来说就等于死亡。我们一般形容搜索引擎的领先是以时间计算的。比如:中搜离百度整体差距×年，百度离google的整体差距×年，……只要你能在用户体验上保持一年的领先优势持续2年，不需要炒作，一切纷至沓来。在用户体验面前，任何的炒作都显得很渺小。作垂直搜索引擎，麻雀虽小，但是五脏俱全。无论理念文化、产品管理、应用、技术都和搜索引擎的楔形理论没有什么区别。所以要做好一垂直搜索必须解决这几个方面。

Java开源搜索引擎分类列表

Java开源搜索引擎分类列表 Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过http收到一个XML/JSON响应来实现。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性，提供一套强大Data Schema来定义字段，类型和设置文本分析，提供基于Web的管理界面等。 Egothor是一个用Java编写的开源而高效的全文本搜索引擎。借助Java的跨平台特性，Egothor能应用于任何环境的应用，既可配置为单独的搜索引擎，又能用于你的应用作为全文检索之用。更多Egothor信息 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。更多Nutch信息 Lucene Apache Lucene是一个基于Java全文搜索引擎，利用它可以轻易地为Java软件加入全文搜寻功能。Lucene的最主要工作是替文件的每一个字作索引，索引让搜寻的效率比传统的逐字比较大大提高，Lucen提供一组解读，过滤，分析文件，编排和使用索引的API，它的强大之处除了高效和简单外，是最重要的是使使用者可以随时应自已需要自订其功能。更多Lucene信息 Oxyus 是一个纯java写的web搜索引擎。更多Oxyus信息 BDDBot BDDBot是一个简单的易于理解和使用的搜索引擎。它目前在一个文本文件(urls.txt)列出的URL中爬行，将结果保存在一个数据库中。它也支持一个简单的Web服务器，这个服务器接受来自浏览器的查询并返回响应结果。它可以方便地集成到你的Web站点中。更多BDDBot信息 Zilverline Zilverline是一个搜索引擎，它通过web方式搜索本地硬盘或intranet上的内容。Zilverline 可以从PDF, Word, Excel, Powerpoint, RTF, txt, java, CHM,zip, rar等文档中抓取它们的内容来建立摘要和索引。从本地硬盘或intranet中查找到的结果可重新再进行检索。Zilverline支持多种语言其中包括中文。更多Zilverline信息 XQEngine

大数据相关开源系统简介汇总

大数据相关开源系统简介汇总本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。各种相关开源系统简介：如下是Apache基金支持的开源软件 hdfs 跟GFS类似, 一个分布式文件系统。 mapreduce 跟Google的MapReduce类似, 一个典型的简单的分布式计算框架。 yarn 资源管理系统, 跟Mesos类比。 Avro 跟PB类似, 用于将数据结构序列化成字节码, 在不同的语言之间切换。官方举例是将C转换给Pig。 BigTop 一个给Hadoop打包和测试的软件。其本来是cloudera公司自己给自己写的一个方便OP部署和搭建环境的工具, 不过因为写得不错, 已经成为了Apache顶级项目。目前支持系列Hadoop生态链中的软件: Zookeeper, Flume, HBase, Pig, Hive, Sqoop, Oozie, Whirr, Mahout, SolrCloud, Crunch, DataFu and Hue Chukwa 收集各种实时监控数据(比如日志)并固化到HDFS上的事情。 Drill Google的Dremel的开源版本。PB以上数据实时秒级查询。 Flume 用来做数据迁移的工具。支持数据包括Avro, files, 系统日志, 落地的系统包括HDFS, HBase。

HBase Google的BigTable的开源版本。宽列存储, 底层基于HDFS。 HCatalog 为HDFS做的一个管理metadata的系统。基于Hive, 提供服务给MapReduce, Pig, 将来会支持HBase。 Hive 支持HSQL, 将SQL转换成MapReduce任务。 Mahout 一个数据挖掘, 机器分析的算法库。 Oozie 用来管理Hadoop中的多轮任务的工具, 类似DAG管理工具。 Tez 也是多个任务的DAG管理工具, 但是其做得更底层，直接替代了MR的调度程序，多个任务之间的数据传递不用再落地到hdfs上了。 Pig 跟Hive类似, 提供比裸写MR更友好的界面, 然后翻译成MapReduce。只是Hive提供的是SQL, Pig提供的是更高级别的语言Pig-Latin, 供用户做数据挖掘和分析。 Sqoop Sql-to-Hadoop。将关系型数据库中的数据导入到Hadoop当中。 ZooKeeper 提供高可用的存储服务。内部采用paxos一致性协议。 Whirr 用于将Hadoop放到各种IaaS里面去运行的环境部署类项目。 Crunch

六大搜索引擎的比较

一、界面、广告以及速度搜索引擎在我们日常操作中的使用频率非常高，大家使用它的目的都非常明确，就是用它来搜寻需要的内容，而不会为搜索引擎的页面做过多的停留，因此搜索引擎的界面设计和速度就对我们的使用产生不小的影响，下面来看看这六款搜索引擎在界面和速度上的表现。谷歌、百度和微软的Live Search，这三大搜索引擎的界面大家都已经相当熟悉，它们有着共同的特点，就是简洁至极：网站LOGO、搜索框和按钮以及个别功能服务链接，除此以外，页面上就没有其他多余和花哨的东西了，给人的感觉非常清爽，界面一目了然，特别是Live Search在不失简洁的同时还通过一些小脚本和背景图片使得页面整体更加美观。三者使用起来都很方便，并且首页界面上没有任何第三方的广告。搜索结果页面，三者同样是采用简洁的风格，页面左侧排列着搜索结果，百度搜索结果页面右侧有不少广告，谷歌视关键词的不同也可能出现右侧广告。 Live Search的界面十分简洁且美观百度搜索结果页面右侧的广告与上面三者相比，雅虎全能搜在界面上显得更为活泼、色彩更加多样，并且在首页内容上也更丰富。首页上除了常规的搜索所需组成部分外，雅虎全能搜还加入了天气预报、邮箱登录的显示区域。虽然这些占据了一点点页面，但是它们功能实用且不影响正常使用。雅虎全能搜的搜索主页搜狗搜索的界面可谓结合了谷歌和Live Search：在布局上

与谷歌类似，而在细节上与Live Search有着异曲同工之妙；而搜索新军——网易有道的界面与谷歌、百度站在同一阵线，风格、版式都十分一致。在搜索结果页面中，搜狗搜索页面左侧有少量广告。总的来说，六款搜索引擎的界面设计都比较合理、美观、大方。雅虎全能搜的界面稍有不同，加入了天气预报和邮箱模块，而其他五款都尽量精简，其中谷歌、百度和有道趋于一致，采用最简的风格，而Live Search和搜狗在首页的一些细节上多加以了一些修饰。此外，值得一提的是一些搜索引擎对于Logo文化的重视，在传统的节日或者一些特殊的纪念日时都会将首页的Logo徽标换成与该日子相关的设计。其中在这方面要数谷歌和百度做得最为出色：无论是三八节、五一节这样的国际节日，或者情人节、万圣节这样的西方舶来物，还是春节、清明、端午等传统的中国农历节日，谷歌和百度都会精心设计相应的节日Logo；此外，谷歌在一些特殊的纪念日，如达芬奇诞辰、地球日之类的纪念日也会推出专门的徽标；而百度近期开始定期在首页推出一个搜索封面人物，以此反映对互联网时代风云人物的价值取向，十分有特色。雅虎和搜狗在节日Logo设计方面也有所表现，在节日时也可经常看到其专门的徽标；网易有道正式版新近推出不久，我们还无法对其在特殊Logo的设计上是否会有所表现作出评价。搜索引擎的特色Logo其实并不仅仅是一个单纯的设计，它还有更多的作用：它承载了一种信息，传达了搜索引擎提供商对于创新、

垂直搜索引擎系统介绍

SOPI垂直搜索引擎系统介绍 SOPI垂直搜索引擎2.0是一个从信息采集到分析到索引的整套解决方案，让你也可以轻松拥有一个搜索引擎。可以针用于行业垂直信息进行搜索，网站搜索等各类应用。 SOPI垂直搜索引擎系统的应用特点 ●外网搜索引擎：众多内容型网站为了保持数据的最新，不得不花费大量的人力进行内容更新。SOPI 系统可以锁定需要的网站，进行定时采集此网站的最新内容；可以节省大量的人力成本，而且可以保证信息的全面性，同时结合搜索技术在海量的信息库中快速找到需要的信息。 ●高应用扩展性，可以根据用户需求快速配置成为不同类型的垂直搜索引擎，如成为商机搜索、产品信息及其他各类需要的信息。只需普通技术人员便可以实现。 ●极少量的人工干预，系统管理员仅通过管理界面即可自动实现各类信息的搜索。大部分工作由系统自动完成。 ●自动生成对网站的配置，提高工作效率及降低工作难度，垂直搜索引擎对不同网站进行不同配置是必然的，本系统应用自动化技术将人工工作降到最低，将工作人员的技术要求降至最低。 ●可以从多个界而采集信息，系统进行自动合并，如从一个页面搜索产品信息，另一个网页搜索公司信息，将两个页面的内容自动合并。 ●站内搜索引擎：可以轻松将内部网站的内容进行索引，为企业提供企业知识管理，或为网站用户提供自身网站的搜索服务。 ●SOPI 搜索系统采用先进的索引机制，高效对全文进行索引及搜索，可以产生与百度和 GOOGLE 相同的准确结果，而且快速； SOPI搜索引擎系统的技术特点 ●使用与GOOGLE相同的数据库系统Oralce Berkeley DB嵌入式数据库，千万级数据状况下操作数据仍保持在毫秒级，与使用ORACLE或SqlServer数据库性能提升数百倍。●系统结构的合理分离有利于分布式架构，适应未来大量的搜索工作，可以轻易在多服务器环境中进行应用。 ●各子系统相互独立，任一子系统的停止运行不影响其他系统，有效保证稳定性；

垂直搜索引擎发展方向

垂直搜索引擎发展方向来源：广告圈 https://www.360docs.net/doc/ff6546191.html, 随着搜索经济的发展,垂直搜索引擎在搜索引擎行业中的地位越来越重要,并逐渐渗透到日常生活中。本文对搜索引擎的现状、优势,以及面临的问题进行分析,并对其今后的发展提出了一些可行性策略。垂直搜索引擎发展现状互联网最基础的功能即提供信息。网络推广2008年1月,中国互联网络信息中心在北京发布《第21次国际互联网络发展状况统计报告》,调查结果显示,目前2.1亿网民中使用搜索引擎的比例是72.4%,即已有1.52亿人从搜索引擎获益,半年净增加3086万人。位列网络应用中网络音乐、即时通信、网络影视和网络新闻之后的第五位,高于电子邮件。与其他国家相比,由于中国互联网仍旧是娱乐功能占主体,总体网民的搜索引擎使用率偏低。垂直搜索引擎是搜索引擎行业保持高增长的重要力量。据调查,目前中国互联网中的垂直搜索引擎日益发展壮大,不断有面向新行业的垂直搜索引擎网站出现,例如,有面向房子的搜房网,有面向求职的职业搜索,有面向学术的学术搜索等。目前垂直搜索引擎所用的技术模式和通用搜索引擎的技术基本相同。首先通过网络蜘蛛对互联网的网页进行抓取,进而获得元数据,然后对元数据进行分析处理,根据关键词的权重和其链接的关系,计算出该网页的重要度,存入数据库。当用户提交

关键词的时候,针对该关键词进行查询,进而将结果返回给用户,这就是垂直搜索引擎的一般工作流程。目前垂直搜索引擎的主要盈利模式是基于竞价排名的广告模式,网络推广具体广告主在向垂直搜索引擎购买该项服务后,通过注册一定数量的关键词,按照付费最高者排名靠前的原则,购买了同一关键词的网站按不同的顺序进行排名,出现在网民相应的搜索结果中。垂直搜索引擎的优势分析互联网迅速发展。依赖搜索引擎是避免信息爆炸的快捷方式,而对于一个行业,信息量也是越来越大,准确抓住需要的信息,过滤无用信息是每个行业的从业者必须面对的课题,垂直搜索引擎为他们提供了好工具,帮助他们把握住行业发展的方向,并为想了解该行业的人提供一个便利方式。商业公司对其日益重视。搜索引擎是人们登陆互联网的门户,垂直搜索引擎则是它所面向行业的门户,在这里进行广告投资,获得巨大收益的概率大,所以每个商业公司都会重视对其相关行业的垂直搜索引擎投资。拥有巨大价值的用户搜索数据。垂直搜索引擎是面向行业、专注行业的搜索引擎,而使用垂直搜索引擎的人也都是和该行业有着密切关系的人,垂直搜索引擎记录着这些人的搜索数据,这些数据经过整理之后将会对该行业的发展有巨大的指导作用和巨大的价值。垂直搜索引擎面临的问题 (一)搜索排名与搜索结果的用户满意度不一致

垂直搜索引擎技术指标

垂直搜索引擎技术指标一、什么是垂直搜索垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求。整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。二、垂直搜索技术概述垂直搜索技术主要分为两个层次：模板级和网页库级。模板级是针对网页进行模板设定或者自动生成模板的方式抽取数据，对网页的采集也是针对性的采集，适合规模比较小、信息源少且稳定的需求，优点是快速实施、成本低、灵活性强，缺点是后期维护成本高，信息源和信息量小。网页库级就是在信息源数量上、数据容量上检索容量上、稳定性可靠性上都是网页库搜索引擎级别的要求，和模板方式最大的区别是对具体网页不依赖，可针对任意正常的网页进信息采集信息抽取……。这就导致这种方式数据容量上和模板方式有质的区别，但是其灵活性差、成本高。当然模板方式和网页库级的方式不是对立的，这两者对于垂直搜索引擎来说是相互补充的，因为技术只是手段，目的是切反用户之需。本文谈及的技术主要是指网页库级别垂直搜索引擎技术。下图为垂直搜索引擎结构的拓扑图。

如何用Java开源工具建立搜索引擎

使用 Java 开源工具建立一个灵活的搜索引擎揭示开源的力量为应用程序添加搜索能力经常是一个常见的需求。本文介绍了一个框架，开发者可以使用它以最小的付出实现搜索引擎功能，理想情况下只需要一个配置文件。该框架基于若干开源的库和工具，如Apache Lucene，Spring 框架，cpdetector 等。它支持多种资源。其中两个典型的例子是数据库资源和文件系统资源。Indexer 对配置的资源进行索引并传输到中央服务器，之后这些索引可以通过API 进行搜索。Spring 风格的配置文件允许清晰灵活的自定义和调整。核心API 也提供了可扩展的接口。引言为应用程序添加搜索能力经常是一个常见的需求。尽管已经有若干程序库提供了对搜索基础设施的支持，然而对于很多人而言，使用它们从头开始建立一个搜索引擎将是一个付出不小而且可能乏味的过程。另一方面，很多的小型应用对于搜索功能的需求和应用场景具有很大的相似性。本文试图以对多数小型应用的适用性为出发点，用Java 语言构建一个灵活的搜索引擎框架。使用这个框架，多数情形下可以以最小的付出建立起一个搜索引擎。最理想的情况下，甚至只需要一个配置文件。特殊的情形下，可以通过灵活地对框架进行扩展满足需求。当然，如题所述，这都是借助开源工具的力量。基础知识 Apache Lucene 是开发搜索类应用程序时最常用的Java 类库，我们的框架也将基于它。为了下文更好的描述，我们需要先了解一些有关Lucene 和搜索的基础知识。注意，本文不关注索引的文件格式、分词技术等话题。什么是搜索和索引从用户的角度来看，搜索的过程是通过关键字在某种资源中寻找特定的内容的过程。而从计算机的角度来看，实现这个过程可以有两种办法。一是对所有资源逐个与关键字匹配，返回所有满足匹配的内容；二是如同字典一样事先建立一个对应表，把关键字与资源的内容对应起来，搜索时直接查找这个表即可。显而易见，第二个办法效率要高得多。建立这个对应表事实上就是建立逆向索引（inverted index）的过程。 Lucene 基本概念 Lucene 是Doug Cutting 用Java 开发的用于全文搜索的工具库。在这里，我假设读者对其已有基本的了解，我们只对一些重要的概念简要介绍。要深入了解可以参考参考资源中列出的相关文章和图书。下面这些是Lucene 里比较重要的类。 Document：索引包含多个Document。而每个Document则包含多个Field对象。Document 可以是从数据库表里取出的一堆数据，可以是一个文件，也可以是一个网页等。注意，它不等同于文件系统中的文件。 Field：一个Field有一个名称，它对应Document的一部分数据，表示文档的内容或者文档的元数据（与下文中提到的资源元数据不是一个概念）。一个Field对象有两个重要属性：Store ( 可以有YES, NO, COMPACT 三种取值) 和Index ( 可以有TOKENIZED, UN_TOKENIZED, NO, NO_NORMS 四种取值) Query：抽象了搜索时使用的语句。

开源搜索引擎比较

开源搜索引擎的比较 1．N utch 简介： Nutch是一个用java实现的基于Lucene的开源搜索引擎框架，主要包括爬虫和查询两部分组成。Nutch所使用的数据文件主要有以下三种：1）是webDb，保存网页链接结构信息，只在爬虫工作中使用。2）是segment，存储网页内容及其索引，以产生的时间来命名。segment文件内容包括CrawlDatum、Content、ParseData、ParseText四个部分，其中CrawlDatum保存抓取的基本信息，content 保存html脚本，ParseData和ParseText这两个部分是对原内容的解析结果。3）是index，即索引文件，它把各个segment的信息进行了整合。爬虫的搜索策略是采用广度优先方式抓取网页，且只获取并保存可索引的内容。 Nutch0.7需要java1.4以上的版本，nutch1.0需要java1.6。特点： 1、遵循robots.txt，当爬虫访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 2、采用基于Hadoop的分布式处理模型，支持分布式的实现。 3、Nutch可以修剪内容，或者对内容格式进行转换。 4、Nutch使用插件机制，可以很好的被用户定制和集成。 5、Nutch采用了多线程技术。 6、将爬取和建索引整合在了一起，爬取内容的存储方式是其自己定义的 segment，不便于对爬取的内容进行再次处理，需要进行一定的修改。 7、因为加入了对页面分析，建索引等功能其效率与heritrix相比要相对较低。

垂直搜索引擎是什么_垂直搜索引擎有哪些

垂直搜索引擎是什么_垂直搜索引擎有哪些垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是专、精、深，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。什么是垂直搜索引擎垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求。整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。举个例子来说明会更容易理解，比如购物搜索引擎，整体流程大致如下：抓取网页后，对网页商品信息进行抽取，抽取出商品名称、价格、简介甚至可以进一步将笔记本简介细分成品牌、型号、CPU、内存、硬盘、显示屏、然后对信息进行清洗、去重、分类、分析比较、数据挖掘，最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。

利用开源工具构建小型搜索引擎项目报告.

深圳大学考试答题纸 (以论文、报告等形式考核专用) 二○～二○学年度第学期课程编号1501320002 课程名称搜索引擎技术主讲教师王旭评分学号姓名专业年级题目：利用开源工具构建小型搜索引擎一、项目操作环境及基本操作工具：操作系统：Win10。基本操作环境：基于Heritrix+ Lucene；java。基本操作工具：JDK 1.8，MyEclipse Professional 2014，Tomcat 8.0.27，Heritrix 1.14.4，Lucene 2.1.0，— JE-analysis-1.5.3， Htmlparser 1.5。基本操作工具基本功能介绍： JDK 1.8:JDK（Java SE Development Kit）包括Java开发包和Java开发工具，是一个写Java 的applet和应用程序的程序开发环境。它由一个处于操作系统层之上的运行环境还有开发者编译，调试和运行用Java语言写的applet和应用程序所需的工具组成。 MyEclipse Professional 2014： Eclipse是一种可扩展的开放源代码IDE。2001年11月，IBM公司捐出价值4,000万美元的源代码组建了Eclipse联盟，并由该联盟负责这种工具的后续开发。集成开发环境（IDE）经常将其应用范围限定在“开发、构建和调试”的周期之中。为了帮助集成开发环境（IDE）克服目前的局限性，业界厂商合作创建了Eclipse 平台。MyEclipse，是在eclipse 基础上加上自己的插件开发而成的功能强大的企业级集成开发环境。 Tomcat 8.0.27:—Tomcat服务器是一个免费的开放源代码的Web 应用服务器，它是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、 Sun 和其他一些公司及个人共同开发而成。—Tomcat 8支持最新的Servlet 3.1 和JSP 2.3 规范。因为Tomcat技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web应用服务器。 Heritrix 1.14.4:Heritrix是一个开源、可扩展的Web爬虫项目。Heritrix设计成严格按照robots.txt 文件的排除指示和META robots标签。 Lucene 2.1.0:—Lucene是Apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。 JE-analysis-1.5.3:是一个免费的Lucene中文分词组件。 Htmlparser 1.5:是一个纯的java写的html解析的库，Htmlparser不依赖于其它的java库，Htmlparser主要用于改造或提取html。

开源许可协议说明

开源许可协议说明如今开源的软件已经越来越被广泛使用，各种专利纠纷也越来越多。工作上要求对开源协议的理解也很迫切，做技术架构是每一个技术人员最渴望的职责，但要做好初级的技术架构工作首先要对各种各样的开源协议有深入了解，知道什么开源软件是工作在什么协议之下，对自己的产品有什么影响。这篇博文将讲解开源协议的相关知识。首先要弄懂一些基本概念： 1 什么是许可协议？什么是许可，当你为你的产品签发许可，你是在出让自己的权利，不过，你仍然拥有版权和专利（如果申请了的话），许可的目的是，向使用你产品的人提供一定的权限。不管产品是免费向公众分发，还是出售，制定一份许可协议非常有用，否则，对于前者，你相当于放弃了自己所有的权利，任何人都没有义务表明你的原始作者身份，对于后者，你将不得不花费比开发更多的精力用来逐个处理用户的授权问题。而开源技术许可协议使这些事情变得简单，开发者很容易向一个项目贡献自己的代码，它还可以保护你原始作者的身份，使你至少获得认可，开源许可协议还可以阻止其它人将某个产品据为己有。 2. 常用开源协议 GPL(GNU General Public License) 我们很熟悉的Linux就是采用了GPL。GPL协议和BSD，Apache Licence等鼓励代码重用的许可很不一样。GPL的出发点是代码的开源/免费使用和引用/修改/衍生代码的开源/免费使用，但不允许修改后和衍生的代码做为闭源的商业软件发布和销售。这也就是为什么我们能用免费的各种linux，包括商业公司的linux和linux上各种各样的由个人，组织，以及商业软件公司开发的免费软件了。 GPL协议的主要内容是只要在一个软件中使用(”使用”指类库引用，修改后的代码或者衍生代码)GPL协议的产品，则该软件产品必须也采用GPL协议，既必须也是开源和免费。这就是所谓的”传染性”。GPL协议的产品作为一个单独的产品使用没有任何问题，还可以享受免费的优势。GPL协议最主要的几个原则：

开源搜索引擎的比较

开源搜索引擎的比较 1．Nutch 简介： Nutch是一个用java实现的基于Lucene的开源搜索引擎框架，主要包括爬虫和查询两部分组成。Nutch所使用的数据文件主要有以下三种：1）是webDb，保存网页链接结构信息，只在爬虫工作中使用。2）是segment，存储网页内容及其索引，以产生的时间来命名。segment文件内容包括CrawlDatum、Content、ParseData、ParseText四个部分，其中CrawlDatum保存抓取的基本信息，content保存html脚本，ParseData和ParseText这两个部分是对原内容的解析结果。3）是index，即索引文件，它把各个segment的信息进行了整合。爬虫的搜索策略是采用广度优先方式抓取网页，且只获取并保存可索引的内容。 Nutch0.7需要java1.4以上的版本，nutch1.0需要java1.6。特点： 1、遵循robots.txt，当爬虫访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 2、采用基于Hadoop的分布式处理模型，支持分布式的实现。 3、Nutch可以修剪内容，或者对内容格式进行转换。 4、Nutch使用插件机制，可以很好的被用户定制和集成。5、Nutch采用了多线程技术。 6、将爬取和建索引整合在了一起，爬取内容的存储方式是其自己定义的segment，不便于对爬取的内容进行再次处理，需要进行一定的修改。 7、因为加入了对页面分析，建索引等功能其效率与heritrix相比要相对较低。全国注册建筑师、建造师考试备考资料历年真题考试心得模拟试题2．Heritrix

如何通过垂直搜索引擎构建自己的学术搜索引擎

如何通过垂直搜索引擎构建自己的学术搜索引擎课题背景随着因特网的发展，网上信息资源日益丰富且呈现出以下特点： (1)信息量大而且分散； (2)自治性强； (3)信息资源多种多样；(4)不一致和不完整性。这些给信息挖掘带来了挑战。一方面使其实用性不断加强，越术越多的人从网上获取信息：另一方面，人们经常会感到通过一般的搜索引擎难以找到自己想要的信息，对于具体专业或某一领域的内容尤其如此，如学术文献. 所以，要从Internet上获取有价值的专业信息，就必须有专门的搜索引擎来获取专业性的信息。垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。学术搜索引擎学术搜索引擎顾名思义就是搜索学术资源的引擎，资源以学术论文、国际会议、权威期刊、学者为主，随着新一代搜索引擎的快速发展，学术搜索引擎应具备个性化、智能化、数据挖掘分析、学术圈等特色。 2．3垂直搜索引擎的结构本文根据常用的搜索结构，有机地将分类目录式搜索引擎和基于查询串的搜索引擎结合起来，设计了一个垂直搜索引擎的体系结构，如图所示。其各部分功能简述如下： l、爬虫软件：也称为spider，crawler和robot等，定向搜索各类信息前

主流开源SQL引擎分析

主流开源SQL引擎分析本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Oracle Big Data SQL 和IBM Big SQL，IBM 尚未将后者更名为“Watson SQL”。

使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop”也不适用，虽然Hive 和Impala 主要使用Hadoop，但是Spark、Drill、HAWQ 和Presto 还可以和各种其他的数据存储系统配合使用。不像关系型数据库，SQL 引擎独立于数据存储系统。相对而言，关系型数据库将查询引擎和存储绑定到一个单独的紧耦合系统中，这允许某些类型的优化。另一方面，拆分它们，提供了更大的灵活性，尽管存在潜在的性能损失。下面的图1展示了主要的SQL 引擎的流行程度，数据由奥地利咨询公司Solid IT 维护的DB-Engines 提供。DB-Engines 每月为超过200个数据库系统计算流行得分。得分反应了搜索引擎的查询，在线讨论的提及，提供的工作，专业资历的提及，以及tweets。来源：DB-Engines，2017年1月https://www.360docs.net/doc/ff6546191.html,/en/ranking

虽然Impala、Spark SQL、Drill、Hawq 和Presto 一直在运行性能、并发量和吞吐量上击败Hive，但是Hive 仍然是最流行的（至少根据DB-Engines 的标准）。原因有3个： ?Hive 是Hadoop 的默认SQL 选项，每个版本都支持。而其他的要求特定的供应商和合适的用户； ?Hive 已经在减少和其他引擎的性能差距。大多数Hive 的替代者在2012年推出，分析师等待Hive 查询的完成等到要自杀。然而当Impala、Spark、Drill 等大步发展的时候，Hive只是一直跟着，慢慢改进。现在，虽然Hive 不是最快的选择，但是它比五年前要好得多； ?虽然前沿的速度很酷，但是大多数机构都知道世界并没有尽头。即使一个年轻的市场经理需要等待10秒钟来查明上周二Duxbury 餐厅的鸡翅膀的销量是否超过了牛肉汉堡。在下面的图2中可以看出，相对于领先的商业数据仓库应用，用户对顶尖的SQL 引擎更感兴趣。来源：DB-Engines，2017年1月https://www.360docs.net/doc/ff6546191.html,/en/ranking

基于Sphinx+MySQL的千万级数据全文检索(搜索引擎)架构设计

[文章作者：张宴本文版本：v1.0 最后修改：2008.07.27 转载请注明原文链接：https://www.360docs.net/doc/ff6546191.html,/post/360/] 前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器/ 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条件进行SQL查询，速度非常之快，只耗费0.01秒。出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。一、搜索引擎架构设计： 1、搜索引擎架构图： 2、搜索引擎架构设计思路： (1)、调用方式最简化：尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。 (2)、创建索引、查询速度快： ①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。 Sphinx的特征： ?Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）?高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果） ?高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录） ?支持分布式检索 ?支持基于短语和基于统计的复合结果排序机制

垂直搜索引擎的研究与设计

第27卷第7期计算机应用与软件 Vol 127No .72010年7月 Computer App licati ons and Soft w are Jul .2010 垂直搜索引擎的研究与设计刘运强 (贵州大学计算机学院　贵州贵阳550025) 收稿日期:2009-10-09。贵州省科技计划工业攻关基金项目(黔科合GY 字[2008]3035);贵州省2008年省级信息化专项基金项目 (0830)。刘运强,硕士生,主研领域:数据库技术与软件工程。摘　要通过对垂直搜索引擎的原理和关键技术的研究,运用Lucene 等JAVA 开源工具设计并实现了一个手机信息检索系统。对于构建垂直搜索引擎必须要面对和解决的一些关键问题进行了分析,并给出了解决方案,如防止重复爬取网页和专业词库的扩展等,具有较强的实用性。关键词搜索引擎　垂直搜索　爬虫　Lucene RESEARCH AND D ES I GN O F VERT I CAL SEARCH ENG I NE L iu Yunqiang (College of Co m puter Science,Guizhou U niversity,Guiyang 550025,Guizhou,China ) Abstract This paper p resents the design and i m p le mentati on of an infor mati on retrieval syste m f or mobile phones by app lying JAVA open -s ource t ools such as Lucene and thr ough studying the p rinci p les of vertical search engine and critical technol ogies .I n additi on,the analyses are made on s ome key p r oblem s which have t o encounter and res olve when constructing the vertical search engine .The s oluti ons pertaining t o these p r oble m s are given as well,for exa mp le,the p reventi on of cra wling sa me homepage repeatedly and the expansi on of s pecialised ter m s li 2brary .The system has high p racticality . Keywords Search engine Vertical search Sp ider Lucene 0　引　言随着信息技术的快速发展,互联网已经成为人们获知信息的重要渠道。面对互联网如此庞大复杂的信息资源,仅依靠浏览器浏览的方式来获得我们所关心的信息是非常困难的,这就促使了网络搜索引擎的出现和快速发展。搜索引擎整合了众多网站的信息,将大量信息整合在一个平台上供用户检索,起到了信息导航的作用,已成为人们获取信息的有效工具。但是互联网的信息量呈爆炸趋势增长,每天都有数以万计的网页出现在互联网,使得搜索引擎对网络信息的覆盖率和搜索出结果的相关性、准确性在整体上呈下降趋势。检索出的结果集数量之多,经常都是几十万条甚至是几百万条记录,其中存在着大量的重复信息或是与检索主题无关的信息,要想从中快速、准确地找出所需要的信息变得越来越困难。人们需要更具有针对性、能快速准确定位信息的搜索引擎———垂直搜索引擎。本文通过对垂直搜索引擎原理的深入了解,设计并实现了一个用于手机信息检索的垂直搜索引擎。与其它一些垂直搜索引擎的研究相比,本文更为深入和实际地研究了垂直搜索引擎亟待解决的关键问题,并给出了解决方案,通过手机垂直搜索引擎实例也很好地证明了方案的可行性和实用性。 1　垂直搜索引擎的原理和关键技术 1.1　垂直搜索引擎的原理垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务[1]。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。可以简单地把垂直搜索引擎说成是搜索引擎领域的行业化分工,它为用户提供的并不是上百甚至上千万相关网页,而是范围极为缩小、极具针对性的具体信息。垂直搜索引擎通过网络爬虫在互联网上爬取某一特定领域的专业信息网页,并对爬取到的网页进行解析和处理,形成专业信息数据库,并对这些数据进行索引,形成索引库。用户在搜索引擎的客户端键人要查找的关键词,搜索引擎就会在索引库中找出与该关键词相匹配的摘要信息和URL,并将结果显示给用户,用户可根据输出的结果选择并访问相关站点。 1.2　垂直搜索引擎的关键技术 1.2.1　网络爬虫技术网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。爬虫通常是从一个或若干初始网页的URL 开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL 放入队列,直到满足系统的一定停止条件。网络爬虫的实现需要一个支持HTTP 协议的编程工具包,本文所使用的是H tt pClient,它是Apache 的一个开源项目,用来