第06章 查询处理技术

信息检索第06章查询处理技术软件学院教研室陈鄞本章内容• 6.1 引言• 6.2 查询构造方法• 6.3 相关反馈与查询重构• 6.4 自动查询扩展技术6.1 引言•查询（query）–由用户提交的用来刻画用户需求的信息，这些信息形式化地描述了用户感兴趣的内容，它是用户与检索系统交互的最关键部分，也是必不可少的部分。

•查询处理–查询规范化•从用户的角度来讲，自然语言显然是最合适的描述查询的表达方式，这种方式能最大限度的方便用户•从系统的角度来讲，处理的反应时间依赖于查询语言的简明性–查询重构•在绝大多数系统中，索引过程和检索过程对于用户来说都是不透明的。

用户不了解检索系统内部文档的分类，特征项的选取等情况。

所以很难根据自己的需求来构造精确的查询•为了提高检索系统的性能，必须对用户输入的查询进行进一步的修改和调整查询处理的意义•查询处理的意义–当系统确定了其索引形式和相似度计算方法后，性能的提高主要依赖于查询的表示和处理。

其中，构造精确的用户查询是非常困难的。

提纲• 6.1 引言• 6.2 查询构造方法• 6.3 相关反馈与查询重构• 6.4 自动查询扩展技术6.2 查询构造方法条件查询的构造方法•Example–“database”后面紧跟着“systems”–“database”和“systems”之间不能间隔超过3个词–“database”和“architecture”在同一个句子里提纲• 6.1 引言• 6.2 查询构造方法• 6.3 相关反馈与查询重构• 6.4 自动查询扩展技术6.3 相关反馈与查询重构•查询重构–手工方式•经验•精力•很难控制–相关反馈（Relevance Feedback）技术•根据用户对最初检索出的文档的相关性评估产生新的查询•这一过程并不需要用户有意识地构造新的搜索策略，而是通过从用户处得到的相关性和非相关性的反馈信息来实施Relevance Feedback: Example •Image search engine/imsearch/imsearch.htmlResults for Initial QueryRelevance FeedbackResults after Relevance FeedbackQuery修改的基本思路•通过移走不需要的信息和加入更多用户需要的信息来改善检索的结果–出现在相关文档中的terms•被添加到原始的query向量中,•或者这些term的权重在创建新的query时有某种程度的增长–出现在不相关文档中的terms•被从原始query中删除，•或者这些term的权重某种程度地降低步骤•1) 用户提出一个简短的查询•2) 用户将检索返回的文档表示为“相关”或“不相关”•3) 根据用户的反馈结果，检索系统计算出一个更好的查询的表达形式•4) 以上过程可以反复多次本节主要内容• 6.3.1 向量空间模型中的反馈与查询重构• 6.3.2 概率模型中的反馈与查询重构• 6.3.3 布尔模型中的反馈与查询重构• 6.3.4 伪相关反馈与隐式相关反馈6.3.1向量空间模型中的反馈与查询重构•Rocchio ，1971年提出•用R 表示文整个档集中所有相关文档的集合，用N 表示整个文档集合中所有不相关文档的集合，d i 表示单一文档i•我们的目标就是希望寻找到查询•这样我们可以把用来区分相关文档和不相关文档的最佳查询向量定义为∑∑∈∈−=Nd i R d i opt i i d d N R Q ||1 ||1 )],(),([max arg ˆN Q sim R Q sim Q Q−=新的查询向量•新的查询向量是由原始查询向量与那些最能区分相关文档和不相关文档的关键词共同构成的–新的查询向量引入了一些新的关键词，这些关键词主要来自相关文档；–同时，查询向量中的每个关键词都被赋予了新的权重。

（更新）–如果一个关键词的权重由正值减为0或者负值，它将被从查询中剔除•如果直接使用这个公式来确定最佳查询，显然会遇到很大麻烦，因为R 是一个未知量，而任何对R 的理想估计都会带来一定的误差•Rocchio 利用迭代求精的方法来解决这个问题参数用来调节各部分权重的、、的集合用户标明为不相关文档次检索返回的文档中，第集合用户标明为相关文档的次检索返回的文档中，第→→→γβαk N k R k k ) ||1() ||1( 1∑∑∈∈+−+=ki k i N d ik R d i k k k d d N R Q Q γβα利用迭代求精优化查询的步骤•首先定义一个初始的查询向量q 1，提交给检索系统•然后根据返回的检索结果，通过用户的选择，确定R 1和N 1•通过更新公式，确定查询向量q 2•重复执行以上步骤，直到获得理想的检索结果为止•从原始查询q 1开始，每一个新产生出的查询都使用户更加靠近相关文档集合的质心，同时更加远离不相关文档集合的质心x 相关文档不相关文档根据原始的query 检索出5篇文档需要确定的参数•如何确定α, β和γ?)∑∈ki N d idExample•Initial query: New space satellite applications1. 0.539, 08/13/91, NASA Hasn ’t Scrapped Imaging Spectrometer2. 0.533, 07/09/91, NASA Scratches Environment Gear From Satellite Plan3. 0.528, 04/04/90, Science Panel Backs NASA Satellite Plan, But Urges Launches of Smaller Probes4. 0.526, 09/09/91, A NASA Satellite Project Accomplishes Incredible Feat: Staying Within Budget5. 0.525, 07/24/90, Scientist Who Exposed Global Warming Proposes Satellites for Climate Research6. 0.524, 08/22/90, Report Provides Support for the Critics Of Using Big Satellites to Study Climate7. 0.516, 04/13/87, Arianespace Receives Satellite Launch Pact From Telesat Canada8. 0.509, 12/02/87, Telecommunications Tale of Two Companies•User then marks relevant documents with “+”.+++Expanded query after relevance feedback• 2.074new 15.106space•30.816satellite 5.660application• 5.991nasa 5.196eos• 4.196launch 3.972aster• 3.516instrument 3.446arianespace• 3.004bundespost 2.806ss• 2.790rocket 2.053scientist• 2.003broadcast 1.172earth•0.836oil 0.646measureResults for expanded query1. 0.513, 07/09/91, NASA Scratches Environment Gear From Satellite Plan2. 0.500, 08/13/91, NASA Hasn ’t Scrapped Imaging Spectrometer3. 0.493, 08/07/89, When the Pentagon Launches a Secret Satellite, Space Sleuths Do Some Spy Work ofTheir Own4. 0.493, 07/31/89, NASA Uses ‘Warm ’Superconductors For Fast Circuit5. 0.492, 12/02/87, Telecommunications Tale of Two Companies6. 0.491, 07/09/91, Soviets May Adapt Parts of SS-20 Missile For Commercial Use7. 0.490, 07/12/88, Gaping Gap: Pentagon Lags in Race To Match the Soviets In Rocket Launchers 8. 0.490, 06/14/90, Rescue of Satellite By Space Agency To Cost $90 Million2186.3.2 概率模型中的反馈与查询重构)|()|(),(i q i q i d P d R P q d sim =}1,0{)(])]|(1)[|()]|(1)[|(lg)([),(lg 1∈×=−−=∑=qj ij i j nj q j q j q j q j i j i w w d g R t P R t P R t P R t P d g q dsimRN r n R r j j j −−分析•优点–与向量空间模型的相关反馈相比，概率模型的反馈过程与索引词的新权值直接相关–在索引词是相互独立的和利用二元文档索引两个前提下，对词语的重新加权是最优的•缺点–概率模型的相关反馈只对索引词语进行了重新的加权，而没有扩展查询–采用二值标引忽略了索引词在文档和原始查询表达式中的权值；而这两种信息显然对查询的重构是非常有用的}1,0{)()]|(1)[|()]|(1)[|(lg )([),(lg 1∈×=−−=∑=qj ij i j n j q j q j q j q j i j i w w d g R t P R t P R t P R t P d g q d sim6.3.3 布尔模型中的反馈与查询重构•布尔模型是基于布尔逻辑代数和集合论的检索模型。

在该模型中，查询是由索引词通过逻辑操作符否（not）、与（and）、或（or）等连接在一起的•在将相关反馈的方法应用于布尔模型的时候遇到了一些问题–布尔查询的相关反馈不仅要求选择适当的索引词充实到查询中去，同时还必须为这些索引词选择合适的布尔操作符，将索引词联系起来Dillon 方法•计算各关键词在相关或者不相关文档中出现的频率来确定其权重•关键词在相关文档集合中出现的频率越大，同时在不相关文档集合中出现的频率越小，则其权重越大min(,)min(,)ln k k k kr n r R freq N R freq value freq −−−=查询重构方法•将每个关键词的权重根据事先确定的阈值分类，如果关键词的权重位于第一级阈值区间，则将该关键词单独作为单个的子查询表达式；•如果关键词的权重位于第二级阈值区间，则把关键词按照权重的高低依次组合成两两的关键词对，并用and 连接共同作为一个子查询表达式；•如果关键词的权重位于第三级阈值区间，则把关键词按照权重的高低依次组合成每三个关键词一组，并用and 连接共同作为一个子查询表达式；•依此类推。