基于主题划分的网页自动摘要_陈志敏

收稿日期:2005-09-18 修订日期:2005-12-02 基金项目:江苏省高校自然科学基金资助项目(M B20022312)作者简介:陈志敏(1976-),女,江苏扬州人,硕士研究生,主要研究方向:W eb 数据挖掘; 沈洁(1955-),男,江苏泰兴人,教授,主要研究方向:数据仓库、数据挖掘.文章编号:1001-9081(2006)03-0641-04基于主题划分的网页自动摘要陈志敏,沈 洁,林 颖,周 峰(扬州大学信息工程学院,江苏扬州225009)(z m c hen @yzu .edu .cn)摘 要:提出了一种以网页结构为指导的自动摘要方法。

对页面源文件进行解析时,利用文档的结构信息生成DOM 树,并在此基础上划分文档主题。

同时充分挖掘网页标记对主题词提取和句子重要性计算的价值。

最后以主题块为单位,根据句子间的相似度调整句子权重,动态生成摘要。

实验结果表明该方法能有效解决文档摘要分布不平衡问题,减少了文摘内容的冗余。

关键词:W eb 信息检索;文档对象模型;主题划分;句子重要度中图分类号:TP391 文献标识码:AAuto m atic su mm arization ofW eb docu m ent based on topic seg m entati onCHEN Zh-i m i n ,SHEN Jie ,L I N Y i n g ,Z HOU Feng(Co llege of Infor m ation Engineer i ng,Yangzhou Universit y,Yangzhou J iang su 225009,Chi na)Abstract :A me t hod o f auto m atic su mm ar izati on i n W eb i nfo r ma ti on retr i eva lw as proposed based on the structrue o f the W eb docu m en t .T he docu m ent w as partiti oned i nto several topic b l ocks through parsi ng the docu m ent i nto DOM (D ocu m ent Ob j ec tM ode l )tree and co m pa ri ng t he sem antic si m ilarity .The tag i nfo r m ati on was f u lly used to ex tract t op i c w ords and key sentences .F i na ll y the abstract was created dyna m ica ll y through ad j usting the w eigh ts of sentences .The exper i m ent results show that t he new m ethod can sl ove t he i m ba lance proble m of abstract and reduce t he redundancy o f t he con tent e ffectively .K ey words :W eb i nfor m a tion re trieva;l DOM;topic segm enta tion ;sentence significance0 引言将自动摘要技术和搜索引擎有机地结合,用户只需通过浏览返回的摘要信息而非全文就可以作出相关性判断,这无疑会大大提高检索的效率和准确性。

自动摘要[1]是指利用计算机对文档内容进行处理,从中选出最能代表文章主旨的词句,经过重组修饰后以简洁的形式表达出来。

目前,不同的摘要方法大致可以分为两类:基于统计的机械式摘要和基于语法语义分析的理解式摘要。

机械式文摘是基于L uhn 思想[1],使用统计方法获取文档的关键字,并结合位置、提示词等信息直接从原文中挑选出一些句子作为摘要。

由于不受应用领域的限制,大多数的自动摘要系统都采用这种方法[2~4]。

但该方法仅仅依赖文本的表层信息,难以生成高质量的文摘。

此外,由于缺乏对整体结构的分析,生成的文摘内容不全面且存在大量冗余。

基于理解的自动摘要是以人工智能,特别是自然语言处理技术为基础发展起来的摘要方法。

它利用领域知识进行推理判断,得到文档的意义表示并从中生成摘要。

与机械式摘要相比,理解摘要的内容更加精练准确。

典型的有SC ISOR 系统、哈尔滨工业大学开发的面向军事领域的M ATAS 文摘系统[5,6]。

但由于自然语言处理技术至今还不成熟,若想获得高质量的摘要,必须将待处理的语料限制在某个受限领域,而构建相应的领域知识需投入大量的精力,因此系统难以移植。

目前,针对W eb 文档的摘要研究还处于探索阶段[7~9],大多数搜索引擎也只是简单截取文档的前几行作为摘要返回,内容的可靠性和准确性不高。

为此,本文提出了一种基于主题划分的W eb 文档的自动摘要方法,该方法首先以网页结构为指导对文档的主题进行划分,然后将摘要按比例分配到各个主题中去,增大了文摘覆盖面,有效解决了多主题文档内容分布不均匀问题;同时,在摘要生成过程中,充分考虑网页标记对主题词提取和句子重要性计算的贡献,并基于相似度理论提出了一种动态抽取文摘句的新算法,大大减少了文摘内容的冗余。

1 W eb 文档的主题划分1.1 W eb 文档预处理与纯文本文档相比,W eb 文档是使用HTM L 标记的一种半结构化数据,为了增强W eb 页面的显示效果或出于某种商业目的,网页作者通常会在文档中插入大量的非文本信息,如图像、广告条、FLAS H 动画,导航条等链接信息,这些非文本信息对文档主题内容的贡献不是很大,反而会影响文摘的性能和精确度,我们称之为噪声数据。

同时,HTM L 标记(TAG )提供了一些对自动摘要有用的辅助信息。

因此,在去除上述噪声数据的同时,也要充分挖掘网页的结构信息对文本处理的价值。

为此,本文采用DO M (文档对象模型)来解析HTM L 网页[10,11]。

首先对HTM L 文档进行解析,构建相应的DOM第26卷第3期2006年3月计算机应用C o mpu ter App licationsV o.l 26No .3M ar .2006树,然后根据启发性规则设计了一个过滤器,通过DOM 对象遍历整个节点树,去除其中的噪声数据。

图1是一个W eb 文档经过解析和清洗以后生成的DOM 层次树。

树中的每个节点对应着HTM L 文档中的一个标记,其中方框节点体现了W eb 文档的层次结构和内容分布,而圆圈表示的叶节点内的文本信息表达了该页面的主要内容。

图1 HT M L 文档的DOM树图2 文档主题划分示例1.2 文档主题划分对于包含多个主题的W eb 文档,若直接按照句子重要度从高到低抽取文摘,可能会忽略一些次重要主题的内容。

为了增加文摘对原文的覆盖面,本文以DOM 树为依据对文章的主题进行划分,将摘要按比例分配到相应的主题中去,使得文摘内容更加全面完整。

主题划分基于以下两个假设:假设1 在DOM 树中,同一父节点的叶节点内的文本属于同一主题,不同父节点内的内容可能属于不同主题。

假设2 同一主题的词汇分布具有相似性,不同主题之间的词汇分布不相同。

其中,假设1是根据网页设计者在组织页面内容时,为了方便用户浏览,不同主题之间都有清晰的界限。

当主题(子主题)发生改变时,往往利用页面的布局来区分,一般将相同主题的内容组织在一起,形成一个语义相对集中的主题块。

表现在HTM L 文档中,即通常把相同主题的内容放在同一标记内,放在不同标记中的内容有可能属于不同的主题。

假设2表明,某一主题总是与一定的词汇集相对应,当出现新的词汇集时意味着主题发生了迁移,这在平面纯文本的分割中已经得到有效验证。

DOM 树中,从左至右的叶节点内的文本信息构成了一篇语义连贯的文档,根据假设1(同一父节点的叶节点内的文本属于同一主题),图1所示的W eb 文档被分割成若干自然块B i (实线椭圆框所示),分别对应着若干子主题。

若主题发生转移,则必然发生在自然块的边界,因此划分主题时,只需对相邻自然块之间的边界节点进行语义相似性判断,将相似性高的块划在同一主题内。

但由于DOM 树中各文本节点的文本长度不等,有些文本节点包含大量的词汇,而有些节点仅包含少数几个词汇。

词汇量的不均衡性往往造成节点间的相似性比较失去意义。

因此,本文提出了一种新的主题划分方法,首先将长度短小(本文设定为单词数低于20)的边界节点与邻近的边界节点进行合并构成较大的文本块,在此基础上进行相似性比较以便确定主题的转移。

具体算法描述如下:1)标记出DOM 树中所有短小的边界文本节点,放入集合{n 1,n 2, ,n k }。

2)左(或右)边界节点n i 在同一自然块内有兄弟节点,则将n i 和最邻近的右(或左)兄弟节点合并作为新的边界节点;若无,则分别计算n i 和左(或右)相邻自然块的右(或左)边界节点间的词汇重复度,并将n i 与重复度较高的节点合并。

若合并后仍是短小边界节点,则重复2)。

3)设规并后的DOM 树的边界节点共有n 个,记为{b 1,b 2, ,b n },分别计算各相邻块中边界节点间有效词的重复度R (b i ,b i +1),i =1,2, ,n -1。

4)据主题划分的粒度(即概括性)要求设定阈值,将重复度大于该值的两个边界节点所在的自然块划分在同一个主题内。

根据上述算法,如果相邻边界节点的词汇重叠很少,表明语义上相似性很弱,则认为发生了主题的转移。

最终文档被分割成图2中的三个主题块T 1,T 2和T 3(虚线框所示)。

该划分算法避免了相似性比较时由于文本长度相差悬殊而产生的较大误差,同时充分利用了DOM 树中边界节点的自然分割功能,使得网页主题的划分更加合理有效。

2 基于主题的W eb 文档的自动摘要2.1 主题词提取在自动摘要的过程中,主题词的提取是一个重要的环节。

一篇文章中反映主题的词语往往被多次提及,词频是词语重要度的主要体现。

因此,我们以主题块为单位,首先进行停用词过滤和词缀剪枝(ste mm i ng)操作,以获取有效词。

接着采用类似T F -I DF 的词频统计方法计算每个词条T i (本文以一个英文单词为单位)的权重W i ,公式如下:W i =T F i *log 2(n iN+1)(1)其中TF i 是词条T i 在主题块文档中的词频,在统计词语出现次数的同时考虑到文档中不同位置内容的重要性各不相同,因此通过分配适当的比例因子来对词频进行加权调整。