基于超链接引导和链接图分析的主题搜索引擎

Research on F ocused Search Engine Based on Hyperlink Induced andW eb Structure
TANG Su , L IU X un
( D ep . t o f Com puter Science , Sichuan U n ive rsity, Chengdu 610064 , Ch ina)
摘 要: 主题搜索引擎是专为查询某一学科或主题信息而出现的查询工具。针对目前各种主题搜索引擎在主题搜索上的
优缺点 , 提出将基于文字内容启发的超链接引导技术与基于 W eb链接图的 Page R ank 算法相结合的 IPageRank – I ND 算 法 , 以提高链接相关度判断的准确性和主题资源搜索的覆盖率 , 并将网页按照 VS M 算法进行内容相关度判断和自动分类, 从而提高检索效率。最后构建一个搜索引擎进行实验, 通过比较该算法与其他几种算法的实验结果, 能够看到 IPageRank - I ND 算法的优势是明显的。 关键词 : 主题搜索引擎; 超链接分析 ; P ageRank 算法 ; 自动分类 中图分类号: TP31 文献标识码 : A 文章编号 : 1673- 629X ( 2011) 02- 0155- 04
[7] [ 5] [ 6]
主题搜索引擎
主题或主题进行查询的工具。鉴于主题搜索引擎的搜 索只局限于一个特定的主题或专门领域。在搜索过程 中, 是不需要遍历整个网站的, 只要选择含有要访问的 主题网页, 因此, 以哪 种爬行 策略接 入网 络, 使其 抓取 尽可能多的网页, 尽量少抓取无关网页, 并确保网页的 质量, 是主题搜索引擎设计的关键问题之一。 目前常用的主题搜索爬行策略主要有 2类: 基于 文 字 内 容的 启 发 策 略 和 基于 W eb 超 链 接 图评 价 策 略
[ 2]
;
PageR ank 计算独立于 用户 查询, 没有 考虑 用户 查询 的具体要求, 从而不能够应用于特定主题获取信息, 算 法过分强调网页的链 入链接 而贬低 链出 链接、 忽 视专 业站点以及偏重旧网页等
[8]
。基于文字内容 的启发策 略起源 于文本检 索中
[ 3] [ 4]
对文 本相 似度 的评 价, 以 J . Cho、 H erseov ici等人 的研 究成果 Best f irst search 及 S hark 为 代表, 其 原理是
2 主题搜索引擎模型
主题搜索引擎与 普通搜 索引 擎的结 构非常 相似, 但主题搜索引擎通过配备一个主题模型来进行主题相 关资源的优先检索, 实 现了对 网页 中出现 的超链 接进 行链接相关度分析, 保 证尽可 能全 面准确 地检索 到与 主题相关的网络信息。并对网页内容进行内容相关度 分析并进行自动分 类, 提 高检索 的准确 率和 效率。其 体系结构如图 1所示。
[ 10]
( V SM ) 将 网页 进行 筛选 并自
) 信息
动分类, 这样就能利用基于内容和主题相似性评价, 来 提高搜索的相关性, 同 时又以 链接 结构为 基础来 提高 主题资源搜索的检出率。
来预测链接的相关度, 但是由于链接描述文本 ( A nchor T ext)通常包括很短的文本, 单单利用这些很少 的文本 不能准确推测其与主题相关度。文中通过对主题样本 网页集进行分析, 将所有链 接中的链 接描述 文本 ( A ncho r T ex t) 进行分词后得到的引导词集合, 计算出每个 引导词对主题的平均 指示度, 从而得 到链 接的主 题相 关度。 3. 1 主题指示度算法 目前, 在信息处理方向上, 文本的表示主要采用向 量空间模型 ( V SM ), 文 本被表示 为向量 空间中的 一个 向量 ( W 1, W 2, W 3, , W n ) , 其中 将 文本 分 词 后得 到 的特征项作为向量的 维数来 表示文 本, 用 词频来 表示 特征项对应的向量分量。文中采用基于特征向量的主 题表示, 即用主题相关 的网页 集合进 行特 征提取 得到 的主题特 征向量来表 示主题, 然后 根据下面的 I ND 算 法计算链接和主题的相关度。 定义 1 : 样本网页链接 图 G = ( V, E ) 是有 向图, G 由非空 的网页节 点集合 V = { v1, v2, 合 E = { l1, l2, , vn } 和链 接集 E) , lm } 组成, 其中 每个链接 lk ( lk E, vi , vj
收稿日期 : 2010 - 06- 09 ; 修回日期 : 2010- 09- 13 基金项目 : 国家自然科学基金 ( 60773169 ) 作者简介 : 唐 苏 ( 1984- ) , 男 , 四川南充人 , 硕士研 究生 , 研究方 循 , 博 士, 副 教授 , 研 究方 向为图 像处理、 向为智能信息处理 ; 刘
k= 1 n
E, vi, vj
V ), 表示一条从网页 vi 指 向网页 vj 的链接,
其链接引导词集合为 A。 链接引导词集合 A 中每个引导词 w 对主题的平均 指示度 I ND (w ) 可由公式 ( 1) 计算: IND (w ) = Si m ( vt, vj )
< vi, vj, A > E w A
A bstract : Focu sed search engin e is a too l designed to query in for m at ion on a particu lar sub ject or th em e info r m ation. C on sidering the ad van tages and disadvan tages of curren t focused search eng ine techno log ies , put for w ard the IPageR ank – I N D algorith m that com b in ing the hyperl ink– induced techno logy b ased on tex t- in sp ired w ith the PageR ank algorithm based on w eb structure an alys is to i m prove the ac cu racy o f relativ ity judgm en t and the cov erage of f ocused resou rces research , and classif yin g the w eb page by sub- top ic in o rder to re trieve ef f icient ly. Th en , experi m en t w ith a search eng ine to bu ild, to com pare the algo rithm w ith several other algorithm s , see th e advan tage of IPageR ank - I N D algo rithm is obv iou s . K ey words : focu sed craw ler ; hyperl ink analy sis ; PageR ank algo rithm; au tom at ic c lassif icat ion
第 21 卷 第 2 期 2011 年 2 月
计算机技术与发展
COM PUTER TECHN OLOGY AN D DEV ELOPM ENT
V o.l 21 N o . 2 Feb. 2011
基于超链接引导和链接图分析的主题搜索引擎
唐 苏, 刘 循
( 四川大学 计算机学院 , 四川 成都 610064)
nW tkk= 1源自W vkn( 2) W vk )
2
W tk ) (
k= 1
2
第 2期
唐
苏等 : 基于超链接引导和链接图分析的主题搜索引擎
157
其 中, W tk 、 Wv k 分别表示特征向量 t和 v的第 k个特 征项的权值, 1 k N。 公式 I ND (w ) 是计算链接引导词集合 A 中每个引 导词 w 对 主 题 的平 均 指 示度, 而 对 于 每 一 条 链 接 L = < vi, vj, A > 与主题的相关度, 可以通过计 算集合 A 中每个引导词 w 的平均指示度之和来得到, 因此, 链接 L 的相关度 IND (L ) 可按照公式 ( 3 ) 计算: I ND ( L ) =
。
另外, 当用户使用搜 索引 擎查找 资料 经常会 面对 着成千上万条的检索 结果, 这 样就很 容易 忽略掉 他们 所要查找的信息。现有搜索引擎的主要缺陷是没有对 检索结果分类和按人 们查询 习惯来 进行 再组织, 检索 结果自动分类能很好地解决这个问题。
模式识别及智能信息处理。
156
计算机技术与发展
1 概
述
[ 1]
利用了 W eb 网页文本内容、 URL 字 符串、 锚文字 等文 的目的 是查找 信息, 对某一 特定 字内容信息来判断 相关性。 然而, 这 些方 法忽略 了链 接结构 信 息, 使 得 预 测值 的 准 确 性 较 差。 以 PageRank 和 H IT S 为代 表的 W eb 链接 结构 为基 础的 搜 索策略, 通过分析网络 页面之 间的相 互作 用关系 来表 示网页的重要性, 以 此来确 定链 接的访 问顺序。 虽然 这种方法考虑了链接 结构与 网页之 间的 引用关 系, 但 忽视了页 面与 主 题相 关的 关 联性。 H IT S 算 法由 于 hub 页面的 多 主 题性 而 使得 主 题存 在 漂移 现 象
第 21 卷
考虑到链接 URL 的 真实价 值并不 能通 过单 一的 评价方法进行有效 预测, 文中 提出 了将基 于内容 评价 的搜索策略和基于 W eb 链接结构的搜索策 略相结合, 并使用向量空 间算法