Web挖掘技术 分类

Web挖掘技术Web挖掘技术是实现Web个性化服务的核心技术之一。

Web挖掘的一般过程可以分成三个阶段：1.预处理：需要对收集的数据进行必要的预处理，如清除“脏”数据。

2.模式发现：应用不同的Web挖掘算法发现用户访问模式。

3.模式分析：从发现的模式集合中选择有意义的模式。

Web挖掘通常可以分成三大类，如图12-2所示。

图12-2 Web挖掘的分类Web内容挖掘是从Web资源中发现信息或知识的过程。

在创建个性化服务系统时，人们通常应用Web内容挖掘对网页内容进行分析，其中网页的自动分类技术在搜索引擎、数字化图书馆等领域得到了广泛的应用。

根据实现方法的不同可以分成基于代理的方法和数据库方法。

Web内容挖掘由于直接处理数据对象的内容，因此得到的结果一般比较精确，在个性化系统中得到较广泛的应用。

Web使用挖掘技术通常可以应用到两个领域: 当用来分析Web服务器的访问日志时，可以利用挖掘得到的服务模型来设计适应性Web站点；当应用到单个用户时，通过分析用户的访问历史来发现有用的用户访问模式。

Web使用挖掘由于处理数据对象通常为用户的访问历史或服务器的访问日志，无法得知数据对象代表的内容，因此得到的结果一般比较粗糙，但是由于该方法比较成熟而且实现起来也较内容挖掘简单，在个性化系统中也得到了较广泛的应用。

Web使用挖掘的基本方法包括：聚类、关联规则、序列模式、分类、依赖性建模、统计分析等。

Web结构包括页面内部的结构以及页面之间的结构。

挖掘Web结构信息对于导航用户浏览行为、改进站点设计、评价页面的重要性等都非常重要。

PageRank 算法和HITS算法利用Web页面间的超链接信息计算“权威型”（Authorities）网页和“目录型”（Hubs）网页的权值。

Web结构挖掘通常需要整个Web的全局数据，因此在个性化搜索引擎或主题搜索引擎研究领域得到了广泛的应用。

基于Web挖掘的个性化技术所谓Web个性化，实质上就是一种以用户需求为中心的Web服务。

如图12-1所示。

首先，不同Web用户通过各种途径访问Web资源，如图12-1中箭头a所示。

其次，系统学习用户的特性，创建用户访问模型，如图12-1中箭头b所示。

最后，系统根据得到的知识调整服务内容，以适应不同用户的个性化需求，如图12-1中箭头c所示。

因此创建Web个性化服务系统的一般步骤为：1.收集用户的各种信息，如注册信息，访问历史等；2.分析用户数据，创建符合用户特性的访问模式；3.结合用户特性，向用户提供符合其特殊需求的个性化服务。

用户对系统提供的服务做出反馈信息，系统根据反馈信息调整服务。

通过用户与系统之间循环往复的交互，系统最终能够为用户提供个性化服务。

从上面的分析可以看出，通过分析用户的各种信息建立用户访问模式是建立个性化服务系统的关键。

因为只有首先客观地描述了用户的需求，然后才能根据这些特性向用户提供个性化服务。

图12-1 Web个性化的实质截尾算法对于一篇待分类文档，应用m元分类算法通常得到多个类别。

一般情况下都要求从这些候选类别中选择部分类别为该文档的最终分类结果。

这个过程使用的方法通常被称为阈值策略。

下面简单介绍三个比较常见的阈值策略。

1、位置截尾法（rank-based thresholding，记为RCut）假设分类系统预先定义的类别数为m。

整数k大于1并且小于m。

对于每一个待分类的文档D，分类系统都返回一个长为m的候选类列表，取候选类列表的前k 项（按类和文档的相似度排序），这篇文档就被认为属于这k个类。

这种阈值策略就被称为位置截尾法。

RCut方法的优点是实现非常简单，能够胜任在线分类工作。

但它存在严重的缺陷：假设待分类的文档数目为n，候选类列表的每个位置都对应m个候选类。

即使k变化1，每篇文档的类关系都要发生变化。

因此，无法平滑地调整分类系统的性能。

我们称RCut算法是以文档为中心的。

2、比例截尾法（proportion-based thresholding，记为PCut）假设待分类的文档数目为n，预先定义的类别数为m。

Pi表示训练集中属于类i 的文档所占的比例。

系统首先计算出每篇待分类文档的候选类列表，然后生成每个类的候选文档列表（按类和文档的相似度排序）。

对于类i，取这个类的候选文档列表中的前n*Pi*x篇文档属于这个类，其他的文档则不属于这个类。

其中x是经验比例因子（为一实数），通过改变它的大小，可以平滑地调整系统的性能。

PCut算法的基本思想是控制分入各个类的文档数，使它们保持训练集中各个类文档数的比例关系。

这种算法最大的问题是过分依赖于这种比例关系，而没有考虑类和文档的相似度以及类在候选类列表中的位置。

可以看到，PCut算法是以类别为中心的。

同RCut算法相比，PCut算法的系统性能比较平滑，但是不适用于在线分类。

3、最优截尾法（score-based local optimization thresholding，记为SCut）同PCut算法一样，Scut算法也是以类别为中心。

假设待分类的文档数目为n，预先定义的类别数为m。

系统首先计算出每篇待分类文档的候选类列表，然后生成每个类的候选文档列表（按类和文档的相似度排序）。

对于候选类列表里的每一个类，如果这篇文档和这个类的相似度大于这个类的最优截尾相似度，那么这篇文档就属于这个类。

否则，这篇文档就不属于这个类，其中，每个类的最优截尾相似度是这样预先取得的：将训练集分成两部分，其中一部分仍然作为训练集，另一部分作为测试集，对每一个类，评价分类系统在这个测试集下对于这个类的分类性能，调整截尾相似度，使得系统的性能达到最优，此时截尾相似度的值就是这个类的最优截尾相似度。

SCut算法性能比较优异，但是不能很好地处理那些稀有类别（就是比较少见的类别）。

表11-5 RCut和SCut截尾算法的比较文献[Yang,2001]比较研究了上述三种阈值策略，结果发现SCut算法效果明显优于PCut和RCut算法。

由于本文使用的训练样本分布比较均匀，每个类平均有17个训练网页，对于这种基本按比例分布的样本集，PCut方法就没有什么作用了,因此，我们比较研究了RCut和SCut方法,总体分类结果如表11-5所示。

从表11-5可以看出，SCut方法比RCut方法在分类质量上要好，而分类效率却要差些，但是两者的差别不是十分明显。

这里，RCut方法的分类质量同基本kNN 方法的分类质量完全一样，因为通过实验测试发现，当R=1时，分类器的分类质量最好，RCut的这种取大的一个文档类别的计算方法同普通kNN的计算方法一样。

所以，两者的分类结果是一样的。

具体达到12个大类，两者分类结果的比较见图11-15所示，从中可以看出，SCut比RCut方法的效果要好一些。

图11-15 RCut和SCut截尾算法的比较网页自动分类算法在本章第二节，我们有了一个关于各种文档自动分类算法的概貌。

下面对几个比较典型的分类算法进行具体的介绍，并给出了 kNN与NB算法的分类质量与效率的实验结果比较。

一、典型分类算法1、kNN分类算法kNN分类算法是一种传统的基于统计的模式识别方法。

算法思想很简单：对于一篇待分类文档，系统在训练集中找到k个最相近的邻居，使用这k个邻居的类别为该文档的候选类别。

该文档与k个邻居之间的相似度按类别分别求和，减去一个预先得到的截尾阈值，就得到该文档的类别测度。

用kNN也表示所选k个最相近文档的集合，公式（11-9）刻画了上述思想。

其中，x为一篇待分类网页的向量表示；di为训练集中的一篇实例网页的向量表示；cj 为一类别；y(di,cj)∈{0,1}（当d属于cj时取1；当d不属于cj时取0）；b j 为预先计算得到的cj的最优截尾阈值；sim(x,di)为待分类网页与网页实例之间的相似度，由文档间的余弦相似度公式（11-10）计算得到：kNN算法本身简单有效，它是一种lazy-learning算法，分类器不需要使用训练集进行训练，训练时间复杂度为0。

kNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么kNN的分类时间复杂度为O(n)。

2、NB（Naïve Bayes）算法NB算法是基于贝叶斯全概率公式的一种分类算法。

贝叶斯全概率公式的定义如公式(11-11)所示。

给定一个类c以及文档d(a1，a2，…，an)，其中ai表示文档d中出现的第i个特征项的权值，n为文档中出现的特征项的总数。

根据全概率公式，可以得到公式(11-12)：其中，P(c|d)表示文档d属于类别c的概率；P(c)表示待分类的文档所处的领域中文档属于这个类的概率，在具体的计算时，可以分别用训练集中属于这个类的文档所占的比例代替。

P(ai |c)表示在类别c中特征项ai出现的概率，可以近似地用训练集中包含有该特征项的类别c中的文档个数与训练集中类别为c的文档总数的比值表示。

由此可以看出，NB算法假设文档之间的特征项都是相互独立的。

但是，这一假设对语义丰富的语言文字信息往往过于简单，这也在一定程度上限制了算法的性能。

NB算法需要使用训练集对分类器进行训练，也就是需要分别计算每个P(a|c)。

i假设训练集共有m个类别，n个特征项，待分类文档共有k个特征项，那么训练的时间复杂度为O(m*n)。

分类的时间复杂度为O(k)。

3、决策树（Decision Tree，Dtree）算法决策树算法通过对训练数据的学习，总结出一般化的规则，然后再利用这些规则解决问题。

用决策树进行文档分类的基本思路是这样的：先用训练集为预先定义的每一个类构造一棵决策树，构造方法如下：1.以训练集作为树的根结点，它表示所有的训练文档，将它标记为“未被检测”；2.找到一个标记为“未被检测”的叶结点，如果它表示的所有文档都属于这个类，或者都不属于这个类，将这个叶结点的标记改为“已被检测”，然后直接跳到第三步；否则，挑选当前最能区分这个结点表示的文档集中属于这个类的文档和不属于这个类的文档的特征项作为这个结点的属性值，然后以这个结点为父结点，增添两个新的叶结点，都标记为“未被检测”，父结点表示的训练文档集中含有这个特征项的所有文档用左子结点表示，所有不含有这个特征项的文档用右子结点表示；3.重复第二步操作，直到所有的叶结点都被检测过。

对每棵决策树，从它的根结点开始，判断结点的属性值（特征项）是否在待分类的文档中出现，如果出现，则沿着左子树向下走；否则沿着右子树向下，再继续判断当前结点的属性值是否在待分类的文档中出现，直到到达决策树的某个叶结点，如果这个叶结点表示的训练文档都属于这个类，则判定这篇待分类的文档也属于这个类；反之亦然。

4、Rocchio算法其基本思想是使用训练集为每个类构造一个原型向量，构造方法如下：给定一个类，训练集中所有属于这个类的文档对应向量的分量用正数表示，所有不属于这个类的文档对应向量的分量用负数表示，然后把所有的向量加起来，得到的和向量就是这个类的原型向量，定义两个向量的相似度为这两个向量夹角的余弦，逐一计算训练集中所有文档和原型向量的相似度，然后按一定的算法从中挑选某个相似度作为界。