Solr 学习笔记

Solr笔记

Solr 是一种可供企业使用的、基于Lucene 的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇分两部分的文章中，Lucene Java? 的提交人Grant Ingersoll 将介绍Solr 并向您展示如何轻松地将其表现优异的全文本搜索功能加入到Web 应用程序中。

一旦用户需要某种信息，就可以立即搜索到这些信息，这种要求再也不是可有可无的了。随着Go ogle 和类似的复杂搜索引擎的出现，用户希望得到高质量的搜索结果，帮助他们快速、轻易地找到所需的信息。经理对您的在线购物站点同样抱有很高的期望，要求它能够提供一个可伸缩、高度可用且易于维护的搜索解决方案，并且安装这个解决方案不应太昂贵。对于您而言，只是希望事业进步，让老板和客户满意，以及保持头脑清醒。

使用Apache Solr 可以满足所有的这些要求，它是一种开放源码的、基于Lucene Java 的搜索服务器，易于加入到Web 应用程序中。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON 格式）。它易于安装和配置，而且附带了一个基于HTTP 的管理界面。您可以坚持使用Solr 的表现优异的基本搜索功能，也可以对它进行扩展从而满足企业的需要。Solr 还拥有一个活跃的开发者群体，如有需要，您可以随时向他们寻求帮助。

Solr 的历史

Solr 最初由CNET Networks 开发，2006 年初，Apache Software Foundation 在Lucene 顶级项目的支持下得到了Solr。Solr 于2007 年 1 月酝酿成熟，在整个项目孵化期间，Solr 稳步地积累各种特性并吸引了一个稳定的用户群体、贡献者和提交人。Solr 现在是Lucene（Apache 的基于J ava 的全文本搜索引擎库）的一个子项目。

安装和配置

要开始使用Solr，需安装以下软件：

Java 1.5 或更高版本。

Ant 1.6.x 或更高版本。

Web 浏览器，用来查看管理页面。建议使用Firefox；相比之下使用Internet Explorer 可能要复杂些。

servlet 容器，如Tomcat 5.5。本文中的示例假定您的Tomcat 在8080 端口上运行，这是Tom cat 的默认设置。如果运行的是其他servlet 容器或在其他的端口上运行，则可能要修改给出的URL 才能访问示例应用程序和Solr。我已经假定示例应用程序的各个部分都运行在Tomcat 的本地主机上。另外还要注意Solr 以打包的方式与Jetty 一起提供。

要下载和安装所有这些应用程序，请参阅参考资料。

设置Solr

一旦搭建好运行环境，就可以从Apache Mirrors Web 站点下载Solr 1.1 版。接下来，执行以下操作：

停止servlet 容器。

在命令行选择希望在其中执行操作的目录，从中输入mkdir dw-solr。

输入cd dw-solr。

将Solr 下载版本复制到当前目录中并解压缩。即可得到apache-solr-1.1.0-incubating 目录。不用注意incubating 标记；Solr 早已孵化成熟。

将Solr WAR 文件复制到servlet 容器的webapps 目录中。

下载示例应用程序，将其复制到当前目录，然后解压缩，即可在当前工作目录中得到一个solr 目录。本文将一直把它用作Solr 的主目录。

可以通过以下三种方式之一设置Solr 的主位置：

设置java 系统属性solr.solr.home （没错，就是solr.solr.home）。

配置java:comp/env/solr/home 的一个JNDI 查找指向solr 目录。

在包含solr 目录的目录中启动servlet 容器。（默认的Solr 主目录是当前工作目录下的solr。）

将示例WAR 文件（位于dw-solr/solr/dist/dw.war 中）复制到servlet 容器的webapps 目录中，方法与复制Solr WAR 文件相同。WAR 文件的Java 的代码位于dw-solr/solr/src/java 中，而JSP 和其他Web 文件位于dw-solr/solr/src/webapp 中。

要验证所有程序都正常运行，请启动servlet 容器并将浏览器指向http://localhost:8080/solr/admi n/。如果一切顺利，您应该看到类似图1 所示的页面。如果没有出现管理页面，查看容器日志中的错误消息。另外，确保从dw-solr 目录启动servlet 容器，以便可以正确地设置Solr 的主位置。

图 1. 一个Solr 管理屏幕示例

关于Lucene

要了解Solr 就必须熟悉Lucene。Lucene 是一个基于Java 的高性能文本搜索引擎库，最初由Doug Cutting 编写，后来被捐赠给Apache Software Foundation。很多应用程序都利用Lucene 来增强自身的搜索功能，因为Lucene 高速、易用和具有活跃社区的特点。Solr 构建在这些功能之上，使Lucene 可供企业使用，并具有最小的编程需求。

Solr 基础

因为Solr 包装并扩展了Lucene，所以它们使用很多相同的术语。更重要的是，Solr 创建的索引与Lucene 搜索引擎库完全兼容。通过对Solr 进行适当的配置，某些情况下可能需要进行编码，Solr

可以阅读和使用构建到其他Lucene 应用程序中的索引。此外，很多Lucene 工具（如Luke）也可以使用Solr 创建的索引。

在Solr 和Lucene 中，使用一个或多个Document 来构建索引。Document 包括一个或多个Fi eld。Field 包括名称、内容以及告诉Solr 如何处理内容的元数据。例如，Field 可以包含字符串、数字、布尔值或者日期，也可以包含您想添加的任何类型。Field 可以使用大量的选项来描述，这些选项告诉Solr 在索引和搜索期间如何处理内容。我将在本文中稍后详细讨论这些选项。现在，查看一下表1 中列出的重要属性的子集：

表 1. 字段属性

属性

名称

说明

index ed

Indexed Field 可以进行搜索和排序。您还可以在indexed Field 上运行Solr 分析过程，此过程可修改内容以改进或更改结果。下一节提供了关于Solr 的分析过程的更多信息。

store d

stored Field 内容保存在索引中。这对于检索和醒目显示内容很有用，但对于实际搜索则不是必需的。例如，很多应用程序存储指向内容位置的指针而不是存储实际的文件内容。

Solr 的分析过程

您可以在对应用程序内容索引之前运行Solr 的分析过程来修改这些内容。在Solr 和Lucene 中，Analyzer 包括一个Tokenizer 和一个或多个TokenFilter。Tokenizer 负责生成Token，后者在多数情况下对应要索引的词。TokenFilter 从Tokenizer 接受Token 并且可以在索引之前修改或删除Token。例如，Solr 的WhitespaceTokenizer 根据空白断词，而它的StopFilter 从搜索结果中删除公共词。其他类型的分析包括词干提取、同义词扩展和大小写折叠。如果应用程序要求以某种特殊方式进行分析，则Solr 所拥有的一个或多个断词工具和筛选器可以满足您的要求。

您还可以在搜索操作期间对查询应用分析。一个总体规则是：应该对查询和要索引的文档运行相同的分析。不熟悉这些概念的用户常犯的一个错误就是：对文档标记进行词干提取，但不对查询标记进行词干提取，通常导致零搜索匹配。Solr 的XML 配置使它可以轻易地使用简单声明创建Analyzer，本文稍后会对此作出展示。

有关Solr 和Lucene 的分析工具，以及索引结构和其他功能的更多信息，请参阅参考资料。

示例应用程序

以下各节将使用实际的示例应用程序向您介绍Solr 的功能。该示例应用程序是一个基于Web 的博客界面，您可以使用它来记录条目、给条目指派元数据，然后索引和搜索条目。在索引和搜索过程的每一步，您都可以选择显示发送到Solr 的命令。

要查看示例应用程序，请将浏览器指向http://localhost:8080/dw/index.jsp。如果一切设置正确（如“设置Solr” 描述的那样），则您可以看到一个题为“Sample Solr Blog Search” 的简单用户界面，在标题的正下方有一些菜单项。当您浏览本文的两个部分时，将会了解到菜单中的所有主题。

索引操作

在Solr 中，通过向部署在servlet 容器中的Solr Web 应用程序发送HTTP 请求来启动索引和搜索。Solr 接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。通过HTTP 以同样的方式返回响应。默认配置返回Solr 的标准XML 响应。您也可以配置Solr 的备用响应格式。我将在本文的第2 部分向您展示如何定制请求和响应处理。

索引就是接受输入（本例中是博客条目、关键字和其他元数据）并将它们传递给Solr，从而在HT TP Post XML 消息中进行索引的过程。您可以向Solr 索引servlet 传递四个不同的索引请求：add/update 允许您向Solr 添加文档或更新文档。直到提交后才能搜索到这些添加和更新。

commit 告诉Solr，应该使上次提交以来所做的所有更改都可以搜索到。

optimize 重构Lucene 的文件以改进搜索性能。索引完成后执行一下优化通常比较好。如果更新比较频繁，则应该在使用率较低的时候安排优化。一个索引无需优化也可以正常地运行。优化是一个耗时较多的过程。

delete 可以通过id 或查询来指定。按id 删除将删除具有指定id 的文档；按查询删除将删除查询返回的所有文档。

一个索引示例

浏览到http://localhost:8080/dw/index.jsp 可以查看索引过程的更多细节。首先为表单中的每个字段填入适当的条目并按Submit 按钮。示例应用程序接受条目、创建Solr 请求并显示请求以便在下一个屏幕上查看。清单 1 包含了一个add 命令的例子，当您按下Submit 按钮时向Solr 发送这个命令。

清单1. Solr add 命令样例

http://localhost/myBolg/solr-rocks.html

Solr Search is Simply Great

solr,lucene,enterprise,search

2007-01-06T05:04:00.000Z

10

Solr is a readlly great open source search server.It scales,I t’s easy to configure and the Solr community is really supportive.

on

清单1 的 中的每个field 条目告诉Solr 应该将哪些Field 添加到所创建文档的Lucene 索引中。可以向add 命令添加多个。稍后我将解释Solr 如何处理这些field。现在，知道包含清单 1 中指定的七个field 的文档将会被索引就足够了。

当您在“Solr XML Command” 页面提交命令时，结果将发往Solr 进行处理。HTTP POST 将命令发往在http://localhost:8080/solr/update 运行的Solr Update Servlet。如果一切进展顺利，则会随 返回一个XML 文档。Solr 使用相同的URL 自动更新文档（示例应用程序中的URL 是Solr 识别文档以前是否被添加过所使用的惟一id）。

实践索引

现在再添加几个文档并提交这些文档，以便在下一节中有文档可供搜索。一旦您熟悉add 命令的语法后，就可以取消选择Index 按钮旁边的“Display XML...” 复选框，跳过“Solr XML Command” 页面。本文附带的样例文件包含了一个很多这些示例中使用的索引版本。

您可以通过在http://localhost:8080/dw/delete.jsp 页面输入文档的URL、提交并查看命令，然后将命令提交到Solr 来删除文档。有关索引和删除命令的更多信息，请参阅参考资料中的“Solr Wiki”参考。

搜索命令

添加文档后，就可以搜索这些文档了。Solr 接受HTTP GET 和HTTP POST 查询消息。收到的查询由相应的SolrRequestHandler 进行处理。出于本文的讨论目的，我们将使用默认的StandardRe questHandler。在本文的第2 部分，我将向您展示如何为其他的SolrRequestHandler 配置Solr。

要查看搜索运行，返回到示例应用程序并浏览到http://localhost:8080/dw/searching.jsp。此屏幕应该与索引屏幕非常类似，只是增加了几个搜索相关的选项。与索引类似，可以向各种输入字段中输入值，选择搜索参数并将查询提交给示例应用程序。示例应用程序醒目显示了一些Solr 中更常见的查询参数。这些参数如下所示：

关于查询语法的一点注意

用于StandardRequestHandler 的Solr 查询语法与Lucene QueryParser 支持的查询语法相同，只是前者加入了一些排序支持。示例应用程序对输入的值几乎没有进行验证，而且没有演示如查询增强、短语、范围筛选等功能，所有这些功能在Solr 和Lucene 中都有效。有关Lucene QueryPars er 的更多信息，请参阅参考资料。在本文的第2 部分，我将介绍管理界面中的一些有助于调试查询语法和结果的工具。

布尔运算符：默认情况下，用于合并搜索条目的布尔运算符是OR。将它设为AND 要求匹配的文档中出现所有的条目。

结果数目：指定返回的最大结果数目。

开始：结果集中开始的偏移量。此参数可用于分页。

醒目显示：醒目显示匹配文档字段的条目。参考清单 2 底部的 节点。醒目显示的条目标记为。

一旦输入和提交值后，博客应用程序就返回一个可以立即提交给Solr 的查询字符串。提交字符串后，如果一切正常并且存在匹配文档，则Solr 返回一个XML 响应，其中包含了结果、醒目显示的信息和一些有关查询的元数据。清单2 给出了一个示例搜索结果：

清单2. 搜索结果示例

0

6

10

0

*,score

true

content:”faceted bowsing”

1.058217

http://localhost/myBlog/solr-rocks-again.html

Solr is Great

solr,lucene,enterprise,search,greatness

Solr has some really great features,like faceted browsing and replication

Solr has some really great features,like faceted browsing and replication

2007-01-07T05:04:00.000Z

solr,lucene,enterprise,search,greatness

Solr is Great

http://localhost/myBlog/solr-rocks-again.html

Solr has some really great features,like faceted

browsingand replication

<./lst>

.

一条查询消息可以包含大量的参数，表2 中对醒目显示的那些参数进行了描述。参阅参考资料中的“Solr Wiki” 参考可以查看参数的完整清单。

表 2. 醒目显示的查询参数

参数描述示例

q

Solr 中用来搜索的查询。有关该语法的完整描述，请参阅参考资料

中的“Lucene QueryParser Syntax”。可以通过追加一个分号和已索引

且未进行断词的字段（下面会进行解释）的名称来包含排序信息。默认

的排序是score desc，指按记分降序排序。

q=myField:Java AND otherField:developer

Works; date asc

此查询搜索指定的两个字段并根

据一个日期字段对结果进行排序。

start 将初始偏移量指定到结果集中。可用于对结果进行分页。默认值为0。start=15

返回从第15 个结果开始的结果。

rows 返回文档的最大数目。默认值为10。rows=25

fq

提供一个可选的筛选器查询。查询结果被限制为仅搜索筛选器查询返回

的结果。筛选过的查询由Solr 进行缓存。它们对提高复杂查询的速度

非常有用。

任何可以用q 参数传递的有效查询，排序信

息除外。

hl

当hl=true 时，在查询响应中醒目显示片段。默认为 false。参看醒目

显示参数上的Solr Wiki 部分可以查看更多选项（见参考资料）。

hl=true

fl

作为逗号分隔的列表指定文档结果中应返回的Field 集。默认为“*”，

指所有的字段。“score” 指还应返回记分。

*,score

层面浏览

最近，似乎所有流行的购物站点都添加了便利的条件列表，帮助用户根据制造商、价格和作者缩小搜索结果的范围。这些列表是层面浏览的结果，层面浏览是一种分类方式，用于对已经返回到有意义的、已证实存在的种类的结果进行分类。层面用于帮助用户缩小搜索结果的范围。

通过浏览到http://localhost:8080/dw/facets.jsp 可以查看层面的运行。在这个页面上，您需要关注两种输入形式：

一个文本区域，您可以在其中输入查询，根据索引中的all 字段发布此查询。将all 字段看作一连串已索引的所有其他字段。（稍后将对此作详细介绍。）

一个可以用于分层面的字段下拉列表。此处并未列出所有的已索引字段，其原因马上就会得到解释。

输入一个查询并从下拉列表中选择一个层面字段，然后单击Submit 与生成的查询一起传递给Sol r。博客应用程序解析结果并返回类似图2 中的结果：

图 2. 层面浏览结果示例

在图2 中，您可以在顶部看见所有非零值的层面计数，底部则是匹配所提交查询的两个搜索结果。单击示例中的层面链接提交原始查询，另外将Facet 关键字作为一个新关键字。如果原始查询是q=S olr 而层面字段是keywords，并且单击图2 中的replication 链接，则新查询将会是q=Solr AND ke ywords:replication。

运行层面不需要打开它或在Solr 中进行配置，但是可能需要按照新的方式对应用程序内容进行索引。在已索引的字段中完成分层，层面对未进行断词的非小写词最为有效。（因此我并未包含content 字段或Facet Field 下拉列表中添加到文档的其他字段。）Facet 字段通常不需要存储，因为分层面的总体思想就是显示人类可读的值。

另外还要注意Solr 没有在层面中创建类别；必须由应用程序自身在索引期间进行添加，正如在索引应用程序时给文档指派关键字一样。如果存在层面字段，Solr 就提供了查明这些层面及其计数的逻辑。

Solr 模式

迄今为止，我已向您介绍了Solr 的特性，但没有实际解释如何配置这些特性。本文的剩余部分主要介绍配置，首先介绍Solr 模式（schema.xml）然后向您展示它如何与Solr 的特性相关联。

在编辑器中，最好是支持XML 标记醒目显示的编辑器，打开位于/dw-solr/solr/ conf 中的schema.xml 文件。首先要注意的是大量的注释。如果您以前使用过开放源码的软件，您将会为模式文件中的文档及整个Solr 中的文档欣喜不已。因为schema.xml 的注释非常全面，所以我主要介绍文件的一些关键属性，具体细节可查阅文档。首先，注意 标记中模式（dw-solr）的名称。Solr 为每个部署支持一个模式。将来它可能支持多个模式，但是目前只允许使用一个模式。（参阅参考资料中的“Solr Wiki” 参考，了解如何简单地配置Tomcat 和其他容器，以便为每个容器使用多个部署。）

模式可以组织为三部分：

类型

字段

其他声明

部分是一些常见的可重用定义，定义了Solr（和Lucene）如何处理Field。在示例模式中，有13 个字段类型，按名称从string 到text。 部分顶部声明的字段类型（如sint 和bo olean）用于存储Solr 中的原始类型。在很大程度上，Lucene 只处理字符串，因此需要对整型、浮点型、日期型和双精度型进行特殊处理才能用于搜索。使用这些字段类型会警告Solr 使用适当的特殊处理索引内容，不需要人为干涉。

类型

本文前面的内容中，我简要介绍了Solr 的分析过程的基础。仔细观察一下text 字段类型声明，您可以看见Solr 管理分析的细节。清单3 给出了text 字段类型声明：

清单 3. 文本字段类型声明

ignoreCase=”true”words=”stopwords.txt”/>

generateNumbers=”1”catenateWords=”1”catenateNumberParts=”1”catennateWords=”1”catenate Numbers=”1”catenateAll=”0”/>

.

类属性

在Solr 模式中的很多实例中，类属性简化为类似solr.TextField 的样子。这是org.apache.solr.s chema.TextField 的简略表达形式。在本文的第2 部分中您将看到，类路径中扩展org.apache.solr.sc hema.FieldType 类的任何有效类都可能使用到。

首先，注意我在清单3 中声明了两个不同的Analyzer。虽然Analyzer 对于索引和搜索并非完全相同，但是它们只是在查询分析期间的同义词添加方面有所差别。词干提取、停止词删除以及相似的操作都被应用于标记，然后才进行索引和搜索，导致使用相同类型的标记。接下来，注意我首先声明断词工具，然后声明使用的筛选器。示例应用程序的Solr 配置按以下步骤进行设置：根据空白进行断词，然后删除所有的公共词（StopFilterFactory）

使用破折号处理特殊的大小写、大小写转换等等。（WordDelimiterFilterFactory）；将所有条目处理为小写（LowerCaseFilterFactory）

使用Porter Stemming 算法进行词干提取（EnglishPorterFilterFactory）

删除所有的副本（RemoveDuplicatesTokenFilterFactory）

示例分析加入了很多用于改进搜索结果的常见方法，但不应被看作分析文本的惟一方式。每个应用程序都可能有一些自己的分析需求，这个示例或者甚至是Solr 或Lucene 中的任何现有Analyzer 都可能没有涉及相应需求。请参阅参考资料中的“More Info On Solr Analysis”，了解关于分析的更多选项以及如何使用其他Analyzer 的信息。

字段

继续介绍模式的 部分，查看Solr 如何处理索引和搜索期间使用的8 个（实际上是7 个，外加一个all）字段。清单4 中重复了这些字段：

清单4. 博客应用程序的声明字段

理解字段类型后，您可以清晰地看见如何处理每个字段。例如，url 字段是一个经过索引、存储和未经分析的string 字段。同时，使用清单 3 中声明的Analyzer 来分析text 字段。all 字段如何处

理？all 字段是一个text 字段，如title 或content 一样，但是它包含了连接在一起的几个字段的内容，便于使用备用搜索机制（记住层面搜索使用的是all 字段）。

对于字段的属性，在表 1 中您已经了解了indexed 和stored 的意义。multiValued 属性是一个特殊的例子，指Document 可以拥有一个相同名称添加了多次的Field。比如在我们的示例中，可以多次添加keywords。omitNorms 属性告诉Solr（和Lucene）不要存储规范。省略规范对于节省不影响记分的Field 的内存非常有用，比如那些用于计算层面的字段。

在结束 部分之前，简要介绍一下字段声明下方的 声明。动态字段是一些特殊类型的字段，可以在任何时候将这些字段添加到任何文档中，由字段声明定义它们的属性。动态字段和普通字段之间的关键区别在于前者不需要在schema.xml 中提前声明名称。Solr 将名称声明中的glob-like 模式应用到所有尚未声明的引入的字段名称，并根据其 声明定义的语义来处理字段。例如， 指一个m yRating_i 字段被Solr 处理为sint，尽管并未将其声明为字段。这种处理比较方便，例如，当需要用户定义待搜索内容的时候。

其他声明

最后，schema.xml 文件的最后部分包含了字段和查询相关的各种声明。最重要的声明是url。该声明用于告诉Solr 先前声明的url 字段是用于确定何时添加或更新文档的惟一标识符。defaultSearchField 是查询条目没有前缀任何字段时Solr 在查询中使用的Field。示例所使用的查询与q=title:Solr 类似。如果您输入q=Solr，则应用默认搜索字段。最终结果与q=all:Solr 相同，因为all 是博客应用程序中的默认搜索字段。

机制让您能够创建all 字段而无需将文档的所有内容手工添加到单独的字段。复制字段是以多种方式索引相同内容的简便方法。例如，如果您希望提供区分大小写的精确匹配和忽略大小写的匹配，则可以使用一个复制字段自动分析收到的内容。然后严格按照收到的内容进行索引（所有的字母使用小写）。

下一步：用于企业的Solr

目前为止，您已经安装了Solr 并学习了如何使用它在示例应用程序中索引和搜索文档。您也了解了Solr 中层面浏览如何工作，并学习了如何使用Solr 的schema.xml 文件声明索引结构。本文附带的示例应用程序演示了这些功能和介绍了如何为Solr 格式化命令。

在文章的第2 部分，我将会介绍一些特性，它们将Solr 从一个简单的搜索界面扩展成一个可供企业使用的搜索解决方案。您将学习Solr 的管理界面和高级配置选项，以及性能相关的特性（如缓存、复制和日志记录）。我还将简要讨论扩展Solr 以满足企业需求的一些方法。同时，充分利用示例应用程序，帮助自己熟悉Solr 的基本功能。

配置和管理

本部分介绍了可用于监视和控制Solr 功能性的诸多选项，首先来看看Solr 的Administration St art Page，该页可在http://localhost:8080/solr/admin/ 找到。一旦找到了起始页，在继续之前，请务必花些时间熟悉一下上面的各种菜单选项。在起始页中，根据这些选项所提供的信息的不同对它们进行了分组：

Solr 给出了有关这种活动模式（请参见第 1 部分）、配置以及当前部署的统计数据的详细信息。

App server 给出了容器的当前状态，包括threading 信息以及所有Java 系统属性的列表。

Make a Query 提供了调试查询所需的快捷界面以及到功能更加全面的查询界面的链接。

Assistance 提供了到外部资源的有用链接以便理解和解决使用Solv 可能遇到的一些问题。

如下的章节详细介绍了这些菜单选项并重点突出了其中的管理特性。

要使用Solr 的配置选项，可以单击初始页上的CONFIG 链接，这会显示当前的solrconfig.xml 文件。您可以在示例应用程序的dw-solr/solr/conf 目录找到该文件。现在，让我们先来看看与索引和查询处理有关的一些常见的配置选项，而与缓存、复制和扩展Solr 有关的配置选项则留到后面的章节再介绍。

索引配置

mainIndex 标记段定义了控制Solr 索引处理的低水平的Lucene 因素。Lucene 基准发布（位于Lucene 源代码的contrib/benchmark 之下）包含了很多可用来对这些因素的更改效果进行基准测试的

工具。此外，请参阅参考资料一节中的“Solr 性能因素” 来了解与各种更改相关的性能权衡。表1 概括了可控制Solr 索引处理的各种因素：

表 1. 对性能因素进行索引

因素描述

useCompou ndFile

通过将很多Lucene 内部文件整合到单一一个文件来减少使用中的文件的数量。这可有助于减少Solr 使用的文件句柄数目，代价是降低了性能。除非是应用程序用完了文件句柄，否则false 的默认值应该就已经足够。（设置为混合索引格式）writer.setUseCompoundFile();

mergeFacto r

决定低水平的Lucene 段被合并的频率。较小的值（最小为 2）使用的内存较少但导致的索引时间也更慢。较大的值可使索引时间变快但会牺牲较多的内存。

maxBuffere dDocs

在合并内存中文档和创建新段之前，定义所需索引的最小文档数。段是用来存储索引信息的Lucene 文件。较大的值可使索引时间变快但会牺牲较多的内存。

maxMergeD

ocs

控制可由Solr 合并的Document 的最大数。较小的值(< 10,000) 最适合于具有大量更新的应用程序。

maxFieldLen gth

对于给定的Document，控制可添加到Field 的最大条目数，进而截断该文档。如果文档可能会很大，就需要增加这个数值。然而，若将这个值设置得过高会导致内存不足错误。

unlockOnSt artup

unlockOnStartup 告知Solr 忽略在多线程环境中用来保护索引的锁定机制。在某些情况下，索引可能会由于不正确的关机或其他错误而一直处于锁定，这就妨碍了添加和更新。将其设置为true 可以禁用启动锁定，进而允许进行添加和更新。

查询处理配置

在 部分，有一些与缓存无关的特性，这一点您需要知道。首先， 标记定义了可组合在一起形成一个查询的子句数量的上限。对于大多数应用程序而言，默认的102 4 就应该已经足够；然而，如果应用程序大量使用了通配符或范围查询，增加这个限值将能避免当值超出时，抛出TooManyClausesException。

通配符和范围查询

通配符和范围查询是可自动扩展以包括所有可能匹配查询条件的条目的Lucene 查询。通配符查询允许使用* 和? 通配符运算符，而范围查询则要求匹配文档必须要在指定的范围之内。例如，若查找b*，可能导致潜在的数千个不同项都组合进这个查询，进而会导致TooManyClausesException。

接下来，若应用程序预期只会检索Document 上少数几个Field，那么可以将 属性设置为true。懒散加载的一个常见场景大都发生在应用程序返回和显示一系列搜索结果的时候，用户常常会单击其中的一个来查看存储在此索引中的原始文档。初始的显示常常只需要显示很短的一段信息。若考虑到检索大型Document 的代价，除非必需，否则就应该避免加载整个文档。

最后， 部分负责定义与在Solr 中发生的事件相关的几个选项。首先，作为一种介绍的方式，Solr（实际上是Lucene）使用称为Searcher 的Java 类来处理Query 实例。Searcher 将索引内容相关的数据加载到内存中。根据索引、CPU 以及可用内存的大小，这个过程可能需要较长的一段时间。要改进这一设计和显著提高性能，Solr 引入了一种“温暖” 策略，即把这些新的Searcher 联机以便为现场用户提供查询服务之前，先对它们进行“热身”。 部分中的 选项定义n ewSearcher 和firstSearcher 事件，您可以使用这些事件来指定实例化新搜索程序或第一个搜索程序时应该执行哪些查询。如果应用程序期望请求某些特定的查询，那么在创建新搜索程序或第一个搜索程序时就应该反注释这些部分并执行适当的查询。

solrconfig.xml 文件的剩余部分，除 之外，涵盖了与缓存、复制和扩展或定制Solr 有关的项目。admin 部分让您可以定制管理界面。有关配置admin 节的更多信息，请参看Solr Wiki 和solrconfig.xml 文件中的注释。

监视、记录和统计数据

在http://localhost:8080/solr/admin 的管理页，有几个菜单条目可以让Solr 管理员监视Solr 过程。表 2 给出了这些条目：

表 2. 用于监视、记录和统计数据的Solr 管理选项

菜单名Admin URL 描述

Statisti cs

http://localhost:8080/

solr/admin/stats.jsp

Statistics 管理页提供了与Solr 性能相关的很多有用的统计数据。这些数据包括：

关于何时加载索引以及索引中有多少文档的信息。

关于用来服务查询的SolrRequestHandler 的有用信息。

涵盖索引过程的数据，包括添加、删除、提交等的数量。

缓存实现和hit/miss/eviction 信息。

Info

http://localhost:8080/

solr/admin/registry.jsp

有关正在运行的Solr 的版本以及在当前实现中进行查询、更新和缓存所使用的类

的详细信息。此外，还包括文件存于Solr subversion 存储库的何处的信息以及对该

文件功能的一个简要描述。

Distrib ution

http://localhost:8080/

solr/admin/distribution

dump.jsp

显示与索引发布和复制有关的信息。更多信息，请参见“发布和复制” 一节。

Ping

http://localhost: 8080

/solr/admin/ping

向服务器发出ping 请求，包括在solrconfig.xml 文件的admin 部分定义的请求。

Loggin g

http:// localhost:8080

/solr/admin/logging.jsp

让您可以动态更改当前应用程序的日志记录等级。更改日志记录等级对于调试在执

行过程中可能出现的问题非常有用。

Java p ropertie s

http: //localhost:8080

/solr/admin/get-proper

ties.jsp

显示当前系统正在使用的所有Java 系统属性。Solr 支持通过命令行的系统属性替

换。有关实现此特性的更多信息，请参见solrconfig.xml 文件。

Threa d dum p

http://localhost:8080/

solr/admin/threaddum

p.jsp

thread dump 选项显示了在JVM 中运行的所有线程的堆栈跟踪信息。

调试此分析过程

经常地，当创建搜索实现时，您都会输入一个应该匹配特定文档的搜索，但它不会出现在结果中。在大多数情况下，故障都是由如下两个因素之一引起的：

查询分析和文档分析不匹配（虽然不推荐，但对文档的分析可能会与对查询的分析不同）。

Analyzer 正在修改不同于预期的一个或多个条目。

可以使用位于http://localhost:8080/solr/admin/analysis.jsp 的Solr 分析管理功能来深入调查这两个问题。Analysis 页可接受用于查询和文档的文本片段以及能确定文本该如何分析并返回正被修改的文本的逐步结果的Field 名称。图1 显示了分析句子“The Carolina Hurr icanes are the reigning St anley Cup champions, at least for a few more weeks” 以及相关的查询“Stanley Cup champion s” 的部分结果，正如为示例应用程序schema.xml 中指定的content Field 分析的那样：

图 1. 对分析进行调试

分析屏幕显示了每个条件在被上述表结果Tokenizer 或TokenFilter 处理后的结果。比如，StopF ilterFactory 会删除字The、are 和the。EnglishPorterFilterFactory 会将字champions 提取为cha mpion，将Hurricanes 提取为hurrican。紫色的醒目显示表明在特定文档中查询条件在何处有匹配。

查询测试

admin 页的Make a Query 部分提供了可输入查询并查看结果的搜索框。这个输入框接受第 1 部分中讨论到的Lucene 查询解析器语法，而Full Interface 链接则提供了对更多搜索特性的控制，比如返回的结果的数量、在结果集中应该包括哪些字段以及如何格式化输出。此外，该界面还可用来解释文档的计分以更好地理解哪些条件得到了匹配以及这些条件是如何得分的。要实现这一目的，可以查看Debug: enable 选项并滚动到搜索结果的底端来查看相关解释。

智能缓存

智能缓存是让Solr 得以成为引人瞩目的搜索服务器的一个关键性能特征。例如，Solr 在提供缓存服务之前可通过使用旧缓存中的信息来自热缓存，以便在服务于现有用户的同时改进性能。Solr 提供了四种不同的缓存类型，所有四种类型都可在solrconfig.xml 的 部分中配置。表3 根据在sol rconfig.xml 文件中所用的标记名列出了这些缓存类型：

表 3. Solr 缓存类型

缓存

标记

名

描述能否自热？

filter Cache

通过存储一个匹配给定查询的文档id 的无序集，过滤器让Solr 能够有效提高查询

的性能。缓存这些过滤器意味着对Solr 的重复调用可以导致结果集的快速查找。更常

见的场景是缓存一个过滤器，然后再发起后续的精炼查询，这种查询能使用过滤器来

限制要搜索的文档数。

可以

query

Result

Cache

为查询、排序条件和所请求文档的数量缓存文档id 的有序集合。可以

docu mentC ache

缓存Lucene Document，使用内部Lucene 文档id（以便不与Solr 惟一id 相混

淆）。由于Lucene 的内部Document id 可以因索引操作而更改，这种缓存不能自

热。

不可以

Name

d cac hes 命名缓存是用户定义的缓存，可被Solr 定制插件所使用。

可以，如果实现了org.

apache.solr.search.Cac

heRegenerator 的话。

每个缓存声明都接受最多四个属性：

class 是缓存实现的Java 名。

size 是最大的条目数。

initialSize 是缓存的初始大小。

autoWarmCount 是取自旧缓存以预热新缓存的条目数。如果条目很多，就意味着缓存的hit 会更多，只不过需要花更长的预热时间。

而对于所有缓存模式而言，在设置缓存参数时，都有必要在内存、CPU 和磁盘访问之间进行均衡。统计信息管理页对于分析缓存的hit-to-miss 比例以及微调缓存大小的统计数据都非常有用。而且，并非所有应用程序都会从缓存受益。实际上，一些应用程序反而会由于需要将某个永远也用不到的条目存储在缓存中这一额外步骤而受到影响。

发布和复制

对于收到大量查询的应用程序，单一一个Solr 服务器恐怕不足以满足性能上的需求。因而，Solr 提供了跨多个服务器复制Lucene 索引的机制，这些服务器必须是负载均衡的查询服务器的一部分。复