搜索引擎工作原理

一、搜索引擎引题

搜索引擎是什么？

这里有个概念需要提一下。信息检索(Information Retrieval 简称IR) 和搜索(Search) 是有区别的，信息检索是一门学科，研究信息的获取、表示、存储、组织和访问，而搜索只是信息检索的一个分支，其他的如问答系统、信息抽取、信息过滤也可以是信息检索。

本文要讲的搜索引擎，是通常意义上的全文搜索引擎、垂直搜索引擎的普遍原理，比如Google、Baidu，天猫搜索商品、口碑搜索美食、飞猪搜索酒店等。

Lucene 是非常出名且高效的全文检索工具包，ES 和Solr 底层都是使用的Lucene，本文的大部分原理和算法都会以Lucene 来举例介绍。

为什么需要搜索引擎？

看一个实际的例子：如何从一个亿级数据的商品表里，寻找名字含“秋裤”的商品。

使用SQL Like

select * from item where name like '%秋裤%'

如上，大家第一能想到的实现是用like，但这无法使用上索引，会在大量数据集上做一次遍历操作，查询会非常的慢。有没有更简单的方法呢，可能会说能不能加个秋裤的分类或者标签，很好，那如果新增一个商品品类怎么办呢？要加无数个分类和标签吗？如何能更简单高效的处理全文检索呢？

使用搜索引擎

答案是搜索，会事先build 一个倒排索引，通过词法语法分析、分词、构建词典、构建倒排表、压缩优化等操作构建一个索引，查询时通过词典能快速拿到结果。这既能解决全文检索的问题，又能解决了SQL查询速度慢的问题。

那么，淘宝是如何在1毫秒从上亿个商品找到上千种秋裤的呢，谷歌如何在1毫秒从万亿个网页中找寻到与你关键字匹配的几十万个网页，如此大的数据量是怎么做到毫秒返回的。

二、搜索引擎是怎么做的？

Part1. 分词

分词就是对一段文本，通过规则或者算法分出多个词，每个词作为搜索的最细粒度一个个单字或者单词。只有分词后有这个词，搜索才能搜到，分词的正确性非常重要。分词粒度太大，搜索召回率就会偏低，分词粒度太小，准确率就会降低。如何恰到好处的分词，是搜索引擎需要做的第一步。

正确性&粒度

分词正确性

“他说的确实在理”，这句话如何分词？

“他-说-的确-实在-理”[错误语义]

“他-说-的-确实-在理”[正确语义]

分词的粒度

“中华人民共和国宪法”，这句话如何分词？

“中华人民共和国-宪法”，[搜索中华、共和国无结果]

“中华-人民-共和国-宪法”，[搜索共和无结果]

“中-华-人-民-共-和-国-宪-法”，[搜索其中任意字都有结果]

分词的粒度并不是越小越好，他会降低准确率，比如搜索“中秋”也会出现上条结果，而且粒度越小，索引词典越大，搜索效率也会下降，后面会细说。

如何准确的把控分词，涉及到NLP 的内容啦，这里就不展开了。

停用词

很多语句中的词都是没有意义的，比如“的”，“在”等副词、谓词，英文中的“a”，“an”，“the”，在搜索是无任何意义的，所以在分词构建索引时都会去除，降低不不要的索引空间，叫停用词(StopWord)。

通常可以通过文档集频率和维护停用词表的方式来判断停用词。

词项处理

词项处理，是指在原本的词项上在做一些额外的处理，比如归一化、词形归并、词干还原等操作，以提高搜索的效果。并不是所有的需求和业务都要词项处理，需要根据场景来判断。

1.归一化

USA - U.S.A. [缩写]

7月30日- 7/30 [中英文]

color - colour [通假词]

开心- 高兴[同义词扩展范畴]

这样查询U.S.A. 也能得到USA 的结果，同义词可以算作归一化处理，不过同义词还可以有其他的处理方式。

2.词形归并（Lemmatization）

针对英语同一个词有不同的形态，可以做词形归并成一个，如：am, are, is -> be

car, cars, car's, cars' -> car

the boy's cars are different colors -> the boy car be different color

3.词干还原（Stemming）

通常指的就粗略的去除单词两端词缀的启发式过程

automate(s), automatic, automation -> automat.

高高兴兴-> 高兴[中文重叠词还原]

明明白白-> 明白

英文的常见词干还原算法，Porter算法。