一种基于词聚类信息熵的新闻提取方法

一种基于词聚类信息熵的新闻提取方法作者：牛伟农吴林于水源来源：《软件导刊》2020年第01期摘要：互联网的飞速发展为大众带来便利的同时也产生了大量冗余信息，利用自然语言处理技术对新话题文章进行提取，控制新话题中虚假新闻传播，可为舆情控制提供有效支持。

提出一种基于词聚类信息熵的新闻提取方法，并对“一带一路”相关新闻语料进行实验。

实验通过网络爬虫的方式获取相关报道，利用Pkuseg工具分词进行一系列预处理后训练生成Word2vec词向量，然后利用词频统计筛选出历史高频词进行K-means聚类，将聚类后的词簇作为随机变量计算当前文章的信息熵。

若文章的信息熵高于设定阈值，则为新话题文章，需要重点关注。

结果表明，该方法在阈值设置为0.65时，新闻提取结果的准确率可达到84%。

关键词：新闻提取;新话题;词向量;聚类;信息熵DOI： 10. 11907/rjdk.192209开放科学（资源服务）标识码（OSID）：中图分类号：TP301文献标识码：A文章编号：1672-7800（ 2020）001-0036-050 引言随着第四媒体的迅速发展，新闻行业迎来了新的发展机遇。

自媒体的出现和新闻发布渠道的多样化，为大众获取信息提供了便利。

但与此同时.大量信息的产生导致虚假新闻的有效控制受到了阻碍。

利用计算机技术在大量新闻数据中提取出新话题新闻，将焦点放在新话题新闻上，可以减少相关工作者需要关注的新闻数量，降低舆情控制难度。

自2013年9月“一带一路”倡议提出后，相关报道不断增加，一时间引起轰动[1]。

政府部门在面向有关“一带一路”的报道时，需在大量新闻中掌握新话题新闻，关注事态走向，令其向正确的方向发展，确保“一带一路”倡议顺利实施。

因此，本文针对“一带一路”相关新闻进行验证分析。

20世纪90年代，随着在日本神户第四届机器翻译高层会议的召开，自然语言处理（ Natural Language Processing，NLP）技术由发展期逐渐进入繁荣期[2]。

自然语言处理作为人工智能的一部分，在文本分类[3-4]、问答系统[5]、机器阅读理解[6]和机器翻译[7]等领域有着广泛应用。

近年来，网络媒体的发展使得NLP在新闻行业的应用也取得了一定进展。

目前，部分学者对新闻信息提取进行了研究，包括基于中文命名实体识别和指代消解的新闻事件要素提取[8]、基于篇章主次关系的单文档摘要抽取[9]以及基于PageRank的新闻关键词提取[10]。

当前研究虽然解决了文章关键信息提取的问题，可以帮助读者快速阅读新闻，但并不能很好地处理在多文本中提取新话题新闻的任务。

综上，为减少“一带一路”新闻中相关冗余信息对分析工作带来的干扰，本文提出了一种基于词聚类信息熵的新闻提取方法，用于在多文本中提取新话题新闻。

总体流程如下：①利用分词工具对语料进行分词;②由于实验语料相关性较大，去停止词的同时对背景词进行去除;③生成word2vec词向量;④进行词频统计并筛选出历史高频词;⑤对历史高频词进行聚类，以减少单个词的词频变化以及同近义词对结果的影响;⑥在词聚类的基础上计算新闻的信息熵，将高熵新闻作为新话题新闻。

1 理论方法1.1 Word2vec词向量语言是人类智慧定义的一种高层符号组合而成的数据，这些数据并不是原生态数据。

在自然语言处理领域，需要将其还原成计算机可以理解的形式，即词向量编码，这是进行后续研究的基础。

在进行词编码时，需要保证原始文本信息的同时充分表达文本信息。

传统方法是，构建一个很大的词典，给出特定词的上位词及近义词等[11]。

但是这种做法需要大量的人工干预，而人为判断带有一定的主观性，难以精确计算词之间的相似度。

2013年，Coogle开源了一款用于词向量计算的工具，即Word2vec[12]，其包括CBOW （ Continuous Bag-of-WordsModel）模型和Skip-C ram（ Continuous Skip-C ram Model）模型。

Word2vec的基础是神经语言模型（Neural NetworkLanguage Model，NNLM[13]）。

神经语言模型是用给定的前n一1个词预测第n个词，即输入w1，w2，…，wn-1，预测wn。

NNLM 模型的缺点是复杂度较高，而Word2vec可以降低模型复杂度。

1.1.1 基于CBOW方法的词向量编码CBOW可通过一句话的左右窗口去预测中间的词。

该模型在输入层（INPUT）输入目标词汇左右的词，即周围词的词向量，经过投影层（PROJECTION）后，在输出层（ OUTPUT）输出当前词的词向量。

例如，在“‘一带一路’是实现共同繁荣的合作共赢之路”这句话中，将“繁荣”设置为目标词（target），再设置一个滑动窗口长度为2，即目标词汇前后各取2个词，加上目标词本身，一共5个词。

在这5个词中，除目标词外的其余词为背景词（ context）。

如图1所示，首先，在输入层输人“实现”、“共同”、“的”、“合作”4個词的词向量;然后，在投影层将输入层的4个词向量求和累加，计算公式为：1.1.2 基于Skip-Gram方法的词向量编码Skip-Gram和CBOW相反，Skip-Gram是通过中间的词预测左右的词。

Skip-G ram模型输入是当前词的词向量，输出是周围词的词向量。

由于没有上下文，Skip-C ram模型在投影层是一个恒等投影[14]。

如图2所示，在输入层输人中间词汇“繁荣”的词向量，经过投影层后，在输出层输出“实现”、“共同”、“的”、“合作”4个词的词向量。

Skip-Gram模型的目标函数如式（2）所示，T为语料中的全部词汇数。

本实验语料基于CBOW方法进行词向量训练。

Word2vec虽是基于大量语料基础上学习而来体现相互之间关系的词向量，也存在一定问题，其在训练词向量时对每一个滑动窗口单独训练，没有利用包含在全局词共现矩阵中的统计信息，并且由于使用唯一的词向量表示词，对多义词无法很好地表示和处理。

1.2 基于K-means的词聚类针对Word2vec词向量无法很好表示和处理多义词的缺点以及语言所具有的灵活性[15]，本实验提出基于K-means对词向量进行聚类。

语言的灵活性表现在，文本中存在多个表述同一含义的词汇，例如，“好处”、“利益”、“甜头”等词汇描述的意义相同，这些同义词、近义词的出现对高频词的筛选工作造成了一定干扰。

一方面，表述同一含义的词汇在语料中均大量出现，高频词中可能存在多个表达相同含义的词汇，导致词汇冗余，选定的高频词汇不具有代表性;另一方面，由于表达方式不同，表述同一含义的词汇可能交替出现，新文章中使用了高频词的替代词，导致高频词在新文章中出现次数减少，而替代词出现次数增加，从而引起信息熵的增加，导致计算误差。

为了减少上述干扰，实验采用对历史高频词进行聚类的方式，将相似词及共现词归为一个类别，统计每个类别中的词汇在新文章中出现的概率。

聚类是一种无监督学习算法，将相似对象归类到一个簇中。

聚类与分类算法的最大区别在于聚类的目标类别未知，分类的目标类别已知。

K-means聚类算法，也称k均值聚类算法（ K-means Clustering Algorithm），是一种迭代求解的无监督聚类分析算法[16]。

K-means用来发现给定数据集的k个簇，簇的个数k由用户指定，每个簇中心采用簇中所含值的均值计算而成，即由簇中所有点的中心描述。

其核心原理为：①首先随机确定k个点作为质心;②将数据集中的每一个点分配到每一个簇中，为每个点找到距离其最近的质心;③将每个簇的质心更新为该簇中所有数据点的平均值;④重复第②③步，直到每个簇中的数据点和质心都不再发生变化。

1.3 信息熵在NLP中的应用1948年，香农借用热力学中熵的概念，提出了“信息熵”的概念，解决了信息的量化度量问题[17]。

信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。

一个系统包含了许多不确定性因素（x1，x2，…，xn），这些因素称为随机变量X。

要消除随机变量的不确定性，就要引入更多信息，这些信息的度量用“信息熵”表示。

需要引入的消除不确定性的信息量越多，信息熵越高，系统越不稳定;反之，信息熵越低，系统越稳定。

在自然语言处理中，信息熵反映内容的不确定性。

信息熵描述的是随机变量的不确定性，对于同一个随机变量，不同观测者从不同粒度上观察，得到的信息熵不一样。

对于文本而言，表达语义的最小粒度是词语，因此，本实验从词语的粒度计算文章信息熵。

经过词聚类后，信息熵计算如式（5）、式（6）所示，其中，p（Xk）为第k类中所有词汇出现的频率，labelk表示第k个类别，count（words）为待计算文章中的总词汇数。

值得注意的是，当作为随机变量的词汇在待计算文章中出现次数为0时，设置该词的概率为1 /count（words）2，相较于设置固定极小概率值更具灵活性。

2 实验过程2.1 数据来源本实验数据通过网络爬虫技术获取。

网络爬虫是指通过一段程序或者脚本，自动获取网络中的信息。

本实验结合Selenium模拟浏览器和Scrapy爬虫框架进行新闻抓取。

Selenium可以模拟真实浏览器，支持对js加载页面的抓取;Scrapy是一个为爬取网站数据而编写的应用框架，可以极大提高爬取速度。

本爬虫框架的核心工作流程是通过谷歌搜索“一带一路”相关新闻，然后通过xpath规则抽取返回的网页新闻列表链接，将获取到的URL存放到相应数据库中，通过读取数据库中的URL进行下一步新闻详情内容抓取。

详情内容抓取主要包括文章标题、日期、来源、正文4个部分。

新闻抓取流程如图3所示。

2.2 数据预处理实验语料根据日期对新闻进行正序排序，并对正文内容进行处理分析。

在对正文进行分析前，需要首先对语料进行一系列的分词、去停用词等预处理操作。

其中，分词使用了Pkuseg工具[18]的新闻领域模型，去停用词采用了停用词典的方式。

此外，在预处理阶段还进行了背景词的去除。

实验语料围绕“一带一路”这一主题展开，具有一定的特殊性。

因此，文本的高频词中存在大量背景词，即在所有文章中都频繁出现，但对文章区分度并不大的词汇[19]，这些背景词无法满足利用历史高频词发现新话题文章的需求。

因此，本实验剔除了语料中对于新话题文章提取造成干扰的背景词，将剔除背景词后的历史高频词作为计算信息熵的随机事件。

表1中列出了语料中的部分背景词。

2.3 词频统计对于给定新闻，在计算信息熵前，首先需要确定与信息熵相关的随机变量，即能表达文章信息的词汇。

新闻的高频词在一定程度上表达了文章的主要内容以及一段时间内的新闻话题，因此本实验选取历史高频词作为计算文章信息熵的随机变量。

由于新闻语料的时效性，选取待计算文章前6天内新闻的高频词作为关键词。