半监督学习方法研究

分类号O29 学号 09020027 ＵＤＣ 密级公开

理学硕士学位论文

半监督学习方法研究

硕士生姓名 杨伟

学科专业 应用数学

研究方向 现代统计理论与应用

指导教师 吴翊教授

国防科学技术大学研究生院

二〇一一年十一月

半监督学习方法研究

国防科学技术大学研究生院

Researches on Semi-supervised Learning

Candidate：YANG WEI

Supervisor： Prof. WU YI

A thesis

Submitted in partial fulfillment of the requirements for the degree of Master of Natural Science

in Applied Mathematics

Graduate School of National University of Defense Technology Changsha，Hunan，P.R.China

（November，2011）

目录

摘要 (i)

ABSTRACT (iii)

第一章绪论 (1)

1.1 研究背景与意义 (1)

1.1.1 问题的提出和研究意义 (1)

1.1.2 半监督学习基本思想及其基本假设 (3)

1.1.3 半监督学习算法的分类 (4)

1.2 国内外研究现状及发展方向 (6)

1.2.1 国内外研究现状 (6)

1.2.2 主要研究方向 (9)

1.3 论文的组织和安排 (11)

1.3.1 主要的研究内容和创新成果 (11)

1.3.2 论文结构安排 (11)

第二章几种经典的半监督学习方法 (13)

2.1 引言 (13)

2.2 生成式模型算法 (13)

2.2.1 方法简介 (13)

2.2.2 高斯混合模型的EM参数估计 (14)

2.2.3 模型的可确认性和正确性 (15)

2.3 半监督支持向量机算法 (17)

2.3.1 方法简介 (17)

2.3.2 基于组合的半监督支持向量机 (18)

2.3.3 基于连续的半监督支持向量机 (19)

2.4 基于图的半监督算法 (21)

2.4.1 方法简介 (21)

2.4.2 半监督判别分析 (22)

2.4.3 SDA算法的实现 (25)

2.5 协同训练算法 (26)

2.5.1 方法简介 (26)

2.5.2 标准协同训练算法 (27)

第I页

2.5.3 协同训练算法的可行性分析 (28)

2.6 本章小结 (29)

第三章半监督判别特征选择算法 (31)

3.1 引言 (31)

3.2 线性判别特征选择算法 (32)

3.2.1 从特征变换到特征选择 (32)

3.2.2 线性判别特征选择 (33)

3.3 半监督判别特征选择算法 (34)

3.3.1 图视角的线性判别特征选择 (34)

3.3.2 半监督判别特征选择 (35)

3.4 实验及结果分析 (37)

3.4.1 物体识别实验 (37)

3.4.2 人脸识别实验 (38)

3.4.3 结果分析 (39)

3.5 本章小结 (40)

第四章一种利用Universum的半监督分类算法 (41)

4.1 引言 (41)

4.2 利用Universum的半监督分类算法 (41)

4.2.1 利用Universum的线性回归模型 (42)

4.2.2 利用图优化框架下的子空间学习模型 (43)

4.2.3 利用Universum的半监督分类算法 (44)

4.2.4 扩展到多类问题 (45)

4.3 实验及结果分析 (45)

4.3.1 仿真实验 (45)

4.3.2 物体识别实验 (47)

4.3.3 人脸识别实验 (48)

4.4 本章小结 (49)

第五章结束语 (51)

致谢 (53)

参考文献 (55)

作者在学期间取得的学术成果 (60)

第II页

表目录

表4.1 COIL-20实验分类准确率（%） (47)

表4.2 Yale实验分类准确率（%） (48)

第III页

第IV页

第V 页

图目录

图2.1 错误的模型假设导致学习性能降低 (16)

图2.2 半监督支持向量机的分类结果示意图 .......................................................... 17 图2.3 2max(0,1||)i o ?损失函数 ................................................................................ 20 图2.4 标签传播示意图 .............................................................................................. 21 图2.5 协同训练示意图 .............................................................................................. 26 图2.6 协同训练中的视图独立性假设 ...................................................................... 27 图2.7 非标签数据帮助探查相容性 .......................................................................... 29 图3.1 COIL-20样本示例 .......................................................................................... 37 图3.2 COIL-20实验结果（含2个标签数据） ...................................................... 38 图3.3 COIL-20实验结果（含3个标签数据） ...................................................... 38 图3.4 Yale 样本示例.................................................................................................. 39 图3.5 Yale 实验结果（含2个标签数据）.............................................................. 39 图3.6 Yale 实验结果（含3个标签数据）.............................................................. 39 图4.1 仿真实验数据 .................................................................................................. 46 图4.2 仿真实验结果 .. (46)

第VI页

摘要

机器学习是人工智能的核心研究领域，是智能信息处理的重要途径。本文研究的内容是机器学习的一个重要分支——半监督学习。半监督学习主要关注的问题是如何有效地综合利用标签数据和非标签数据进行学习。本文从理论、方法和应用等三个层次上讨论了半监督学习问题，并提出两种半监督学习方法。主要贡献如下：

1. 广泛地考察了半监督学习领域的国内外研究现状及发展趋势，调查和研究了半监督学习的产生和发展过程，对前人的成果进行了分类、总结和比较。对现有的半监督学习方法的理论、方法及应用进行了初步的研究，总结了目前一些方法存在的不足和需要解决的问题。

2. 深入探讨了半监督维数约简方法，着重研究了基于特征选择的维数约简方法。在此基础上提出了一种新的半监督特征选择方法——半监督判别特征选择，有效地提高了对高维数据的维数约简效果。

3. 深入探讨了半监督学习方法的扩展问题，重点研究了Universum这种数据对半监督学习的帮助作用。综合利用传统半监督方法和Universum的优点，基于线性回归模型和图优化框架，提出了一种利用Universum的半监督分类算法，取得了较好的分类效果。

关键词：半监督学习，维数约简，特征选择，分类，Universum，图优化框架．

第i页

第ii页

ABSTRACT

Machine learning is a core of artificial intelligence, a significant way of artificial information processing. In this thesis, we study on an important branch of machine learning called semi-supervised learning, which mainly focuses on the problem of learning with both labeled data and unlabeled data. We propose some systemic researches about semi-supervised learning in theory, method and application. More concretely, the main contribution includes:

1. This thesis extensively sees about the current state and future trend of semi-supervised learning. It reviews the appearance and development process of semi-supervised learning, and gives a summarization to the existing work. We primarily analyze current researches about semi-supervised learning in theory, method and application and conclude the shortages of some methods.

2. On the problem of semi-supervised dimensionality reduction, we concern the methods based on feature selection. And we propose a novel semi-supervised method of feature selection, which is called Semi-supervised Discriminant Feature Selection. Experiment shows the effectiveness of SDFS.

3. On the problem of expansion of semi-supervised learning, we mainly think over the assistance of a new kind of data called the Universum. Combining the advantages of traditional semi-supervised methods and the Universum and basing on linear regression and graph optimization framework, we present a novel method for classification called Semi-Supervised Classification with the Universum. The effectiveness is verified by both simulation and real-world data.

Key words: Semi-supervised Learning; Dimensionality Reduction; Feature Selection; Classification; Universum; Graph Optimization Framework.

第iii页

第iv页

第 1 页

第一章 绪论

1.1 研究背景与意义

自从1946年第一台电子计算机ENIAC 在美国问世以来，计算机技术的发展日新月异，人类采集、储存数据的能力空前提高。互联网的飞速发展和普及，极大地加速了信息的传递和交流。可以说，信息大爆炸的今天，人们生活在被各种数据包裹的现实生活中。因此，如何利用计算机对收集到的数据进行分析和提取有价值的信息受到愈发密切人们的关注，机器学习技术由此产生并迅速发展。

机器学习(machine learning)是人工智能的核心研究领域，是智能信息处理的重要途径。传统的机器学习技术一般只利用标签样本集或非标签样本集进行学习，而实际问题中大多是有标签和无标签的样本并存，为了更好地利用这些数据，半监督学习技术应运而生，近年来，半监督学习(semi-supervised learning)技术成为机器学习邻域的一个被广为研究的热点领域。

本章中，我们首先阐述半监督学习技术的重要性和现实意义；然后详细介绍半监督学习的概念及分类；最后在考察国内外研究现状的基础上总结半监督学习的主要发展方向。

1.1.1 问题的提出和研究意义

随着信息科学技术的不断发展，人们收集和存储信息的能力和手段大大增加，无论是在科学研究中还是在社会生活中，都积累了海量的数据。通常情况下，数据多呈现复杂性和高维性，传统的机器学习面临两个问题：一是获得标签数据的成本高，二是维数灾难[1]问题。

传统的机器学习可以分为两类：一类是无监督学习(unsupervised learning)，一类是监督学习(supervised learning)。

我们以分类为例来讨论这两种方法。设有数据集12{,,,}D n X =∈ …x x x ，其中

(1,,)i x i n =…独立同分布(i.i.d., independently and identically distributed)是D 维列向量，i x 的每个分量(共有D 个)称为样本i x 的一个特征。又设数据12{,,,}n …x x x 可以分为c 类，类别标记分别记为1,2,,c …。如果i x 属于第j 类(1)j c ≤≤，则称i x 的标签(label)是j ，一般用i y 表示i x 对应的标签，即i y j =。已知对应标签的数据称为

标签数据(labeled data)，未知对应标签的数据成为非标签数据(unlabeled data)。

第 2 页

无监督学习一般基于这样的数据设置：样本(sample)数据和待分类的类别已知，但样本数据都是非标签数据(称为非标签样本)，也就是不知道样本对应的标签。无监督学习的基本目标是利用这些非标签样本来进行学习训练，进而得到一个分类器，用来估计出样本的标签。非标签样本数据的分类通常成为聚类(clustering)。典型的无监督方法有k -聚类(k -means)，主成分分析(Principal Component Analysis, PCA)等。

监督学习一般基于这样的数据设置：样本数据和待分类的类别已知，且样本数据都是标签数据(称为标签样本)，也就是已经知道样本对应的标签。监督学习的目标是从这些标签数据中学习建立一个从样本到标签的映射，进而得到一个分类器，用来对新来的非标签样本数据(称为测试数据)进行分类。更一般地，监督学习也可以学习建立从标签样本到实数值(不必是标签)的映射，此时称之为回归(regression) [2]。典型的监督学习方法有支持向量机(Support Vector Machine, SVM)、线性判别分析(Linear Discriminent Analysis, LDA)等。

半监督学习一般基于这样的数据设置：样本数据和待分类的类别已知，其利用的样本数据集12{,,,}()n X n l u ==+…x x x 可以分为两部分：一部分是标签数据集

12{,,,}l l X =…x x x ，其中样本点(1,2,)i i l =…,x 的类别标签i y 是已知的；另一部分

是非标签数据集12{,,,}u l l l u X +++=…x x x ，其中样本点(1,2,,)i i l l l u =+++…x 的类

别标签是未知的。根据实际情况，一般地，假设非标签数据远比标签数据多，即u l 。半监督学习的目标是从所有这些样本数据中学习建立一个从样本到标签的映射，进而得到一个分类器，用来对测试数据进行分类。

在现实应用中，往往无标签的样本点数目要远远多于有标签样本点的数目，这是因为对某些样本点进行标记的代价和复杂度都很高。两个典型的例子为计算机网络入侵检测问题和蛋白质调控关系问题。在计算机网络入侵检测问题中，通过检查服务器日志等手段可以获得大量的网络访问数据，这些数据既包括正常访问，也包括入侵模式。因此人们需要对数据分类以构建能够检测入侵模式的数据模型。通常情况下，这类数据的容量异常大，即使花费相当的人力物力也只能标记少部分数据。而在生物信息学中，当研究蛋白质之间的调控关系式，对某种蛋白质的结构或功能鉴定一般需要花生物学家多年的工作，而无标签的数据却是随手可得。

非监督学习不需要样本的标签信息，因此需要耗费的成本（人力、物力和财力等）比较少，但往往效果不是很理想。监督学习将样本的标签信息用来指导学习，结果比较可靠，但往往需要耗费大量的成本来标记训练样本的标签信息，在

第 3 页

某些情况下甚至难以做到。半监督学习在一定程度上克服了传统的非监督学习和监督学习的缺陷[3],能够在只有少量标签样本数据的情况下，利用非标签样本数据的信息，来提高学习效果。由于实际问题中的需要，对半监督学习技术的研究变得甚为重要。

1.1.2 半监督学习基本思想及其基本假设

上一节中我们从理论和实际两个方面讨论了为什么要做半监督学习，这一节我们来介绍什么是半监督学习。

半监督学习的基本思想是利用数据分布上的模型假设，建立学习器对无标签的样本进行标记。其形式化描述是给定一个来自某未知分布的样本集12{,,,}()n X x x x n l u ==+…，其中有标签的数据集为12{,,,}l l X x x x =…，即样本点

(1,2,,)i x i l =…的类别标签i y 是已知的，无标签的数据集为12{,,,}u l l l u X x x x +++=…，即样本点(1,2,,)i x i l l l u =+++…的类别标签是未知的，l u X X X =∪。设X 对应的

真实标签集为Y ，希望得到这样的函数:f X Y →，可以准确地对样本x X ∈预测其标签y Y ∈。半监督学习即是在训练样本集X 上寻找最优的学习器。

同传统的非监督学习和监督学习一样，半监督学习首先基于数据独立同分布假设，即样本独立的采样于同一分布。

另外，在半监督学习中还有两个常用的基本假设，用来建立预测样本和学习目标之间的关系，即聚类假设[4](Cluster Assumption)和流形假设[4](Manifold Assumption )。

聚类假设是指同一聚类中的样本点很可能具有相同的类别标签。也就是说，如果高密度区域某两个点可以通过区域内某条路径相连接那么这两个样本点拥有相同标签的可能性就比较大。这样决策边界就应该尽量地通过数据较为稀疏的地方，从而尽可能避免把稠密的聚类中的数据点分到决策边界的两侧。

流形假设是指处于一个很小的局部邻域内的样本具有相似的性质[4]。另一种说法是高维数据存在低维特征，高维数据的低维特征是通过局部邻域相似性来体现的。和聚类假设着眼整体特性不同，流形假设主要考虑模型的局部特性。考虑在一个三维空间的二维纸带，高维的数据全距离度量由于维度过高而显得没有较好的区分度，但是假若仅考虑局部范围的度量，就会有一定的意义。

上述两种假设从本质上是一致的，只是各自关注的侧重点不同。其中流形假设强调的是相近的样本具有相似的输出而不是完全相同的标签，因而具有更强的普遍性[4]。在流形假设下，大量无标签的样本数据可以使得数据空间更加稠密，从

而能够更加准确地刻画局部特征。

1.1.3 半监督学习算法的分类

根据不同的分类标准，半监督学习算法的分类也不同。总的来说，可以分为两条主线：根据学习方式和根据学习目标。

1. 根据学习方式分类

根据半监督学习算法的学习方式，大致可以将半监督学习算法分为以下几类：（1）生成式模型算法

此类算法基于聚类假设。它以生成式模型为分类器，以样本的标签对于样本的输入特征的条件概率建模，然后利用EM算法(期望值最大，Expectation Maximum)来进行标签估计和模型的参数估计[5]。这种半监督学习的思路是直接关注于半监督学习和决策中的条件概率问题，从而避免了对于边缘概率或者联合概率进行建模和求解。此类算法可以看成是在少量已标签样本周围进行聚类。比如，Chapelle 等人提出的基于核的半监督学习方法[6]。

（2）基于图优化框架的半监督学习算法

此类算法直接或间接地利用了流形假设或局部与全局一致性假设。它们通常先根据训练样本及某种相似度度量建立一个图，图中结点分别对应于标签样本和非标签样本，图中的边反映了样本间的相似度，然后定义所需优化的目标函数，并使用决策函数在图上的光滑性作为正则化项来求取最优模型参数[7-10]。

（3）协同训练（Co-Training)算法

此类算法隐含地利用了上文提到的三类假设。它们利用两个或者多个学习器，通过在不同的视图下的数据集进行学习的两个分类器之间的交互来提高分类器的精度，无标签的样本被逐步的进行标记，选出确信度最高的样本加入训练集，不断重复，直到无标签的样本集全部标记为止，从而使得模型得以更新[5,11]。

（4）多视图（Multiview）算法

此类算法认为数据具有明显的多视图特征，可以划分成彼此之间“相对独立的”几个单视图。传统的学习方法基本上都是在数据是单视图的假设下展开的，即数据是在单一的“观测角度”下获得的。Blum和Mitchell提出的数据不同视图的思想[11]受到了机器学习界的很大重视，为多视图学习这一新的研究领域奠定了基础。

（5）最小化熵方法

此类算法的基本思想是通过使用最小化非标签样本的熵作为正则化项来进行

第 4 页

半监督学习[12]。由于熵仅与模型在非标签样本上的输出有关，因此，最小化标签熵的直接结果就是降低模型的不确定性，迫使决策边界通过数据稀疏区域。这个方法的重要假设是关注不同类别的重叠最小化。Lee等人针对图像像素分类问题，提出了在二维条件随机场中半监督学习的最小化熵准则, 即训练样本在最大化条件似然估计的同时，对于非标签图像像素的标签预测的条件熵也最小化[7]。梁吉业等人从信息粒度的角度定义了信息熵[13,14]，这为研究半监督学习问题提供了新的角度和工具。

2. 根据学习目的分类

根据半监督学习算法的学习目的，大致可以将半监督学习算法分为以下几类：（1）半监督聚类

半监督聚类算法是研究无监督学习中如何利用少量的监督信息来提高聚类的性能[10,15-18]。少量的监督信息可以是数据的类别标签或者是一对数据是否属于同一类的连接约束关系。现有的半监督聚类算法大致可分为三类：第一类是基于约束的半监督聚类算法，该类算法一般使用must-link和cannot-link成对约束来完成聚类过程，其中must-link约束表示被约束的样本在聚类时必须被分配到同一个类，cannot-link约束表示被约束的样本在聚类时必须被分配到不同的类；第二类是基于距离的半监督聚类算法, 这类算法利用某一种特定的距离度量，使各样本之间的距离在该距离度量下趋于“同类相近，异类疏远”，从而使之有利于聚类；第三类是集成了约束与距离的半监督聚类算法，实际上，可以说它就是前两类方法的优化组合。

（2）半监督分类

半监督分类是从有监督学习的角度出发，当标签训练样本不足时，如何利用大量非标签样本信息辅助分类器的训练。目前常见的半监督分类方法很多，包括上文已提及的基于EM算法的生成式模型参数估计法[5]、图切割方法[8,9]和协同训练方法[19,20]等。此外Joachims等人提出了直推式支持向量机方法(TSVM)[21]，在训练过程中通过不断修改SVM的超平面和超平面两侧某些样本的可能标签，使得SVM在所有标签和非标签数据上的间隔最大。

（3）半监督回归

半监督回归与半监督分类的目的有较大的相似性，但是半监督回归中样本的标签都是实值输出并且具有平滑性，聚类假设一般不成立，而流形假设仍然成立[4]。Zhou提出了一个采用协同训练思想的半监督回归方法COREG算法[22]，分别利用两个k-NN回归器对非标签样本做出预测。由于回归是实值问题，将标签置信度最

第 5 页

第 6 页

高的非标签样本添加到标签样本集中，用于训练另一个回归器，两者不断交互最终可得一个半监督回归器。Brefeld 等人提出了多视图回归[23]，其中的正则项是由不同视图中回归器的不一致性决定的。杨剑等人提出了基于一类广义损失函数的Laplacian 半监督回归方法[24]，利用数据所在流形的内在几何结构进行回归估计。

（4）半监督维数约简

维数约简是指原数据特征中求出那些对分类识别最有效的部分特征，从而实现特征空间维数的压缩。半监督维数约简则是利用半监督方法来探求高维数据在

低维流形上的坐标描述。设1{}N D i i X x ==? 是D 维空间中的一个容量为N 的数据

集合，假设其来自（或近似于来自）维数为()d d D 的某一低维流形的采样，半监督维数约简将原数据集投影到低维空间，获得了尽量描述原数据特征的低维简洁表示。Cai 等人的半监督判别分析(SDA ）[25]是一种典型的半监督维数约简方法。

1.2 国内外研究现状及发展方向

在长期的研究和实践中，已经产生了许多半监督学习方法，下面首先简要介绍一下当今半监督学习方法的研究发展基本情况，然后归纳半监督学习的主要研究方向。

1.2.1 国内外研究现状

一般认为，半监督学习的研究始于Shahshahani 和Landgrebe 的工作[26]，但是，非标签样本的价值实际上早在上世纪80年代末就已经被一些研究者意识到了[27]。Miller 和Uyar [28]认为，半监督学习的研究起步相对较晚，可能是因为在当时的主流机器学习技术（例如前馈神经网络）中考虑非标签样本相对比较困难。随着统计学习技术的不断发展，以及利用非标签样本这一需求的日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。

Miller 和Uyar 在1997年首先从数据分布估计的角度给“为什么可以利用非标签样本来改善学习性能”这一问题做出了解释。他们假设所有数据服从于某个由c 个高斯分布混合而成的分布，即

1

(|)(|)c

l l l f f θαθ==∑x x (1.2.1)

其中12,,,c ααα…为混合系数且11c

l l α==∑，{}l θθ=为参数(1l c ≤≤)，设样本数据

12{,,,}n …x x x （包括标签样本和非标签样本）为i x 的标签为i y (1i n ≤≤)。这样，