半监督学习综述

1
模式识别


模式识别（英语：Pattern Recognition），就是通过 计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。随着计算机技术 的发展，人类有可能研究复杂的信息处理过程。信息 处理过程的一个重要形式是生命体对环境及客体的识 别。对人类来说，特别重要的是对光学信息（通过视 觉器官来获得）和声学信息（通过听觉器官来获得） 的识别。这是模式识别的两个重要方面。市场上可见 到的代表性产品有光学字符识别、语音识别系统 模式识别是指对表征事物或现象的各种形式的(数值 的、文字的和逻辑关系的)信息进行处理和分析，以 对事物或现象进行描述、辨认、分类和解释的过程， 2 是信息科学和人工智能的重要组成部分。
• 国外研究表明：
– 如果婴儿以前经常听到某个单词，那么当他再学习该词的时候就会 很快
人类是否进行半监督学习？
•
简单的推理（Rajat Raina 2007）： – 人大脑中有1014个神经元连接 – 人的寿命109秒 – 每秒需要学105个参数 – “被指导学习”的时间很有限 结论：人类大部分的思维都是非监督的，监督 学习起加速作用 -> 人的思维方式=半监督学习 ？？
9
• •
半监督学习背景
传统机器学习算法需要利用大量有标记的样本进行 学习。 随着信息技术的飞速发展，收集大量未标记的 （unlabeled）样本已相当容易，而获取大量有标记的示 例则相对较为困难，因为获得这些标记可能需要耗费大 量的人力物力。 如何利用大量的未标记样本来改善学习性能成为当 前机器学习研究中备受关注的问题。 优点：半监督学习（Semi-supervised Learning）能够充 分利用大量的未标记样本来改善学习机的性能，是目前 利用未标记样本进行学习的主流技术。
无监督的学习：无标记样本，仅根据测试样本的在特征空间分布情况 来进行标记，准确性差。
半监督学习的过程：
有少量标记样本，学习机以从标记样本获得的知识为基础，结 合测试样本的分布情况逐步修正已有知识，并判断测试样本的 类别。
7
人类是否进行半监督学习？
• “熟读唐诗三百首，不会写诗也会吟”
– 相当于往大脑中装入大量的未标注语料
机器学习：机器模拟人的学习
机器学习(Machine Learning, ML)是一门多领域交叉 学科，涉及概率论、统计学、逼近论、凸分析、算法复 杂度理论等多门学科。专门研究计算机怎样模拟或实现 人类的学习行为，以获取新的知识或技能，重新组织已 有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途 径，其应用遍及人工智能的各个领域，它主要使用归纳、 综合而不是演绎。
两个基本假设

半监督学习问题从样本的角度而言是利用少量标注样 本和大量未标注样本进行机器学习，从概率学习角度 可理解为研究如何利用训练样本的输入边缘概率 P( x )和条件输出概率P ( y | x )的联系设计具有良好 性能的分类器。这种联系的存在是建立在某些假设的 基础上的，即聚类假设(cluster assumption)和流形 假设(maniford assumption)。

为在当时的主流机器学习技术（例如前馈神经网络）中考虑未标记示例相对 比较困难。随着统计学习技术的不断发展，以及利用未标记示例这一需求的 日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。
D. J. Miller, H. S. Uyar. A mixture of experts classifier with learning based on both labelled and unlabelled data. In: M. Mozer, M. I. Jordan, T. Petsche, eds. Advances in Neural Information Processing Systems 9, Cambridge, MA: MIT Press, 1997, 571-577
3
机器学习：按学习方式分类
• 监督学习（Supervised learning）
– 训练集：标注
• 非监督学习（Unsupervised learning）
– 训练集：无需标注（同一分布）
• 半监督学习（Semi-supervised learning）
– 训练集：标注+未标注(同一分布)
4
有监督的学习：学习器通过对大量有标记的训练例进行学习，从而建 立模型用于预测未见示例的标记(label)。很难获得大量的标记样本。
17
半监督学习的主要方法





半监督学习算法按照不同的模型假设,可以大致将现 有的半监督学习算法分为五类： 自学习(Self-training) 基于生成模型的方法(EM with generative mixture models) 协同训练(Co-training) 直推式支持向量机 (Transductive Support Vector Machines) 基于图的方法(Graph-based methods)

半监督学习的基本思想是利用数据分布上的模型假设, 建立学 习器对未标签样本进行标签。 形式化描述为： 给定一个来自某未知分布的样本集S=L∪U, 其中L 是已标签样本集L={(x1,y1),(x2,y2), „ ,(x |L|,y|L|)}, U 是一个未标签样本集U={x’1,x’2,„,x’|U|},希望得到函数 f:X → Y可以准确地对样本x预测其标签y，这个函数可能是参 数的，如最大似然法；可能是非参数的，如最邻近法、神经网 络法、支持向量机法等；也可能是非数值的，如决策树分类。 其中, x与x’ 均为d 维向量, yi∈Y 为样本x i 的标签, |L| 和|U| 分别为L 和U 的大小, 即所包含的样本数。半监督 学习就是在样本集S 上寻找最优的学习器。如何综合利用已标 签样例和未标签样例,是半监督学习需要解决的问题。

12
半监督学习应用实例



语音识别（Speech recognition） 文本分类（Text categorization） 词义解析（Parsing） 视频监控（Video surveillance） 蛋白质结构预测（Protein structure prediction）
13
基本思想
20
21
ห้องสมุดไป่ตู้
当前半监督学习面临的问题
第一， 半监督学习分类算法的现实价值 半监督学习从诞生以来，主要用于处理人工合成数据、只在实验 室试用，还没办法在某个现实领域得到应用，也就是说，其现 实意义没体现出来；因此，半监督学习的实际应用价值问题值 得更多的研究。 第二，新假设的提出 文中前面叙述到的各种半监督分类算法的假设，提出新的模型假 设可能会改进半监督分类算法。 所以对半监督学习分类算法的 模型假设的研究将是十分有价值的。 第三，半监督学习的抗干扰性比较弱 无噪声干扰的样本数据是当前大部分半监督学习方法使用的数据， 而在实际生活中用到的数据却大部分不是无干扰的 ，通常都比 较难以得到纯样本数据。 上面谈论的三个基本假设显然是有效 的，不过过于简约，这些假设没能把噪声干扰下未标记样本数 据分布的不确定性以及它的复杂性充分的考虑全。
18
自训练（Self-training）

定义：首先利用已标记的样本训练分类器，然后利 用已有未标记训练样本建立的模型标记，使用分类 器选出置信度高的样本加入训练集中重新训练，迭 代这个过程，得到一个比较理想的分类器。 适用：用监督学习分类器时很复杂或者是很难修正 优点：简单 、容易实现 。 缺点：误差也同时会自我迭代放大。
半监督学习综述
(Semi-supervised Learning )
机器学习领域中，传统的学习方法有两种：监督学习和无 监督学习。半监督学习（Semi-supervised Learning） 是模式识别和机器学习领域研究的重点问题，是监督学习 与无监督学习相结合的一种学习方法。它主要考虑如何利 用少量的标注样本和大量的未标注样本进行训练和分类的 问题。
两个基本假设


聚类假设：是指处在相同聚类中的样本示例有较大的 可能拥有相同的标记。根据该假设，决策边界就应该尽 量通过数据较为稀疏的地方，从而避免把稠密的聚类中 的数据点分到决策边界两侧。 在这一假设下,大量未标记样本的作用就是帮助探 明样本空间中数据分布的稠密和稀疏区域,从而指导学 习算法对利用有标记样本学习到的决策边界进行调整, 使其尽量通过数据分布的稀疏区域。 流形假设：是指处于一个很小的局部区域内的示例具 有相似的性质，因此，其标记也应该相似。这一假设反 映了决策函数的局部平滑性。和聚类假设着眼整体特性 不同，流形假设主要考虑模型的局部特性。 在该假设下,大量未标记示例的作用就是让数据空 间变得更加稠密,从而有助于更加准确地刻画局部区域 的特性,使得决策函数能够更好地进行数据拟合。
一般认为，半监督学习的研究始于B. Shahshahani和D. Landgrebe的 工作，最早是在这篇文章当中提到的。

B. Shahshahani, D. Landgrebe. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(5): 1087-1095.
半监督学习的主要方法




从不同的学习场景看，SSL 可分为四大类： 1) 半 监 督 分 类 (Semi-Supervised Classification)：在无类标签的样例 的帮助下训练有类标签的样本，获得比只用有类标签的样本训练得到的 分类器性能更优的分类器，弥补有类标签的样本不足的缺点 2) 半 监 督 回 归 (Semi-Supervised Regression)：在无输出的输入的帮 助下训练有输出的输入，获得比只用有输出的输入训练得到的回归器性 能更好的回归器 3) 半 监 督 聚 类 (Semi-Supervised Clustering)：在有类标签的样本的信 息帮助下获得比只用无类标签的样例得到的结果更好的簇，提高聚类方 法的精度； 4)半监督降维(Semi-Supervised Dimensionality Reduction) ：在有类标签的样本的信息帮助下找到高维输入数据的低维结构，同时 保持原始高维据和成对约束(Pair-Wise Constraints)的结构不变，即在高 维空间中满足正约束(Must-Link Constraints)的样例在低维空间中相距很 近，在高维空间中满足负约束(Cannot-Link Constraints)的样例在低维空 间中距离很远。