一种新的基于多示例学习的场景分类方法

一种新的基于多示例学习的场景分类方法
王刚 1，许信顺 1
（1.山东大学计算机科学与技术学院，山东省 济南市 邮编 250101）
摘要：多示例学习是近年来才出现的一种新的学习框架，并以其对多义性对象的出色表示能力成功用在图像分类任务中。 论文首先提出了一种新的图像多示例包生成方式， 方法采用特征的概率分布表示图像， 并对图像像素分布学习一个高斯混合 模型，将每个高斯分布作为一个示例，从而生成图像的多示例包。然后，论文在对图像进行分类时，采用了信息瓶颈聚类把 多示例包转化成单示例，从而将传统的单示例分类器用在该问题上。最后，为了提高分类器的泛化能力，对多个分类器进行 了集成。为测试论文提出方法的有效性，文章选取了五类自然场景图像进行试验，结果显示所提出的方法平均性能优于当前 常用的一些多示例学习算法。 关键词： 多示例学习； 信息瓶颈聚类； 高斯混合模型； 期望最大化算法；场景分类；K-L 散度 文献标识码：A
p(zk = 1 ) = α k 就表示 zk=1 的先验概率， 而 p(x | z k = 1 ) = N(x; μ k ,σ k ) ，则是 x 对 z 的条件分布。因此，
zk=1 的后验概率可以表示为：
γ(z k ) = p(zk = 1 | x) =
p(zk = 1 )p(x | z k = 1 )
p(z
j=1 K j
K
j
= 1 )p(x | z j = 1 )
（3）
=
α k N(x; μ k ,σ k )
α
j=1
N(x; μ j ,σ j )
EM 算法通过迭代更新参数集 θ = ( α, μ, σ ) 和后验概率 γ(zk ) ，具体过程如下： E-步：计算式（3）中的后验概率 γ(zk ) 。 M-步：利用公式（3）得到的 γ(zk ) 重新计算参数集 Θ：
2 提出的算法
论文提出的算法可分为三个部分：1. 多示例包的生成：传统的方法都将图像表示为离散的特征向量， 难免丢失图像信息。为表示更多的图像信息，提出的算法将图像看作一个高斯混合分布，其中每个高斯分 布看作一个示例，整个高斯混合分布作为一个多示例包。2. 多示例问题的转化：为了使传统的单示例学习 算法能够对多示例问题进行学习分类，算法第二步通过聚类将每个多示例包转化成一个 d 维特征向量，从 而将多示例问题转化成传统的单示例问题。但是，由于第一步生成的多示例包是概率分布的形式，传统的 聚类算法不再适用，因此算法中使用了信息瓶颈法来对多示例包进行聚类。3.分类器的集成：在第二步通 过聚类将多示例转化为单示例过程中，通过设置不同的聚类中心数，可以生成不同向量长度的单示例，不 同的特征长度也往往具有不同的信息表达能力，为了充分利用不同长度的单示例表示能力，论文使用了集 成的学习方法，将基于不同长度特征的分类器进行了集成，从而得到更好的泛化能力。以下内容是对每一 步的详细介绍。 2.1 多示例包的生成 传统图像包的生成方式中每个包都是图像子区域的离散特征，对图像信息表示力度不够，论文提出的 多示例包生成方式将示例建模成一个图像特征的概率分布。假设一副图像的像素是从多个高斯分布中抽取 的，每个像素用像素颜色、空间位置表示，那么一副图像可以表示为如下高斯混合模型：
f(x;θ) = α k Ν(x; μk ,σ k )k=1KFra bibliotek（1）
其中 x 是 D 维的像素特征(像素颜色和空间位置)，θ 是高斯混合分布的参数集，另外，
N(x; μk ,σ k ) =
1 ( 2π )
D/2
σ k
1/ 2
1 exp (x μk )T σ 1 (x μk k 2
1 相关工作
1.1 多示例学习算法 T. G. Dietterich 等 [1] 提出了三个 APR (axis-parallel rectangle) 学习算法来解决多示例药物活性预测问 题。他们指出，忽略问题的多示例本质的算法表现非常不尽人意。之后，诸多研究者提出了针对多示例学 习的算法，比如 O.Maron 和 T. Lozano Pé rez [2] 提出了多样性密度算法 (Diverse Density)；Q.Zhang 和 SA.Goldman [3] 将 EM (Expectation Maximization) 算法和 DD 结合，提出了 EM-DD 算法。另外，有很多 研究者拓展传统的单示例学习算法用到多示例学习任务中[4-7]。2006 年 Z.H.Zhou 等 [8] 提出了一个基于 聚类的多示例学习算法 CCE。CCE 通过聚类将多示例问题转化成单示例问题，用传统单示例分类器作预 测。Z.H.Zhou 等实验证明 CCE 方法在多示例问题中表现出色。 1.2 图像多示例包生成 1998 年 O.Maron 和 A.L.Ratan [9] 将多示例学习用在了场景分类问题上。他们把每一副图像都看作 一个包，其中的每个示例是图像的某一部分子图的特征，然后用 DD 算法进行分类。他们同时提出了多种 产生包的方式(图 2)，并且指出不同的生成包的方法对实验结果有显著的影响。
收稿日期：yyyy-mm-dd 基金项目：项目名称（编号）山东省自然科学基金（Q2008G06），教育部留学归国人员科研启动基金，山东大学自主创新基金（2009TS033） 作者简介：王刚（1987-），男，硕士研究生，研究方向为图像标注、机器学习.Email: g.wang1108@ 许信顺（1975-），男，副教授，博士，研究方向为机器学习、数据挖掘、信息检索和生物信息学. Email: xuxinshun@
)
（2）
是一个 D 元高斯分布，均值为 μ k ，方差为 σ k ， α k 是第 k 个高斯分布的混合概率。 为了估计以上高斯混合模型的参数 θ = ( α, μ, σ ) ,论文使用 EM 算法。首先， 假设 zn 是一个与第 n 个像 素对应的 K 维二值变量，其中仅有一维是 1，其它维均是 0，如果 znk=1 表示像素点 n 属于第 k 个高斯分 布。为了表述方便，在此假设 z 是某个像素所对应的 K 维二值变量，那么
图 1. 具有多义性的图像示例 Figure 1. Example of an ambiguous image 多示例学习中包的生成方式是影响分类器性能的一个重要方面。因此，文章首先提出了一种新的图像 多示例包生成算法。算法将一副图像的像素点看作是从多个高斯分布中提取的，对每一副图像学习一个高 斯混合模型作为多示例包，混合模型的所有混合部件作为相应示例。然后，为了利用生成的多示例包进行 分类，文章使用信息瓶颈聚类将多示例包的表示转化成单示例的特征向量，从而可以利用传统的单示例学 习算法进行学习。另外，为了提高分类器的泛化能力，论文生成了不同长度的单示例特征向量，在不同长 度的单示例特征向量上训练得到了多个分类器，并对这些分类器进行了集成。为了测试提出的包生成方式 的有效性，文章将我们的方法与 Iterated-discrim APR 算法、多样性密度 (Diverse Density，简称 DD) 法、 Citation-kNN、miSVM 进行了比较，在五类图像的数据集上的实验结果显示该方法平均性能优于上述四 种算法。 论文后续组织如下：第二节介绍一些多示例图像分类的相关工作，第三节详细讲述文章提出的算法。 第四节是算法的实验结果，分析和比较。最后对论文进行总结。
图 2. O.Maron 等[9]的 5 种多示例包生成方式 Figure 2. O.Maron et al.’s 5 ways of generating MI bags 图像分割和聚类常被用作生成图像多示例包，比如 C. Yang 和 T. Lozano Pérez [10]将图像分割成 多个相交的子区域，对区域进行滤波、采样得到特征向量作为示例，所有示例组合起来形成包，最后使用 加权相关系数来衡量图像相似度。2003 年，Z.H.Zhou 等[11]提出了一个基于 SOM 聚类的包生成方法。图 像像素按照颜色和位置特征聚类，聚类融合成指定数目的子区域，统计每个子区域的颜色特征作为示例。 O.Maron 等[9]证明多示例图像分类中图像包的生成方式对分类结果非常重要。前人工作中包的生成 基本都是对图像的子区域提取颜色等特征，是一个离散表示，图像信息难免丢失。因此，本文使用图像 特征的概率分布表示一个包：算法对每幅图像提取一个高斯混合分布作为一个包，混合分布中的每个高 斯分布看作一个示例。为使用生成的多示例包进行分类，算法通过信息瓶颈聚类将多示例包转化成一个实 数表示的 d 维特征向量，利用传统单示例学习算法进行学习。下一节将详细讲述所提出的算法。
0 引言
多示例学习是 T. G. Dietterich 等在研究药物活性预测问题[1]时提出的。在多示例学习框架中，每个样 本被称作一个包，每个包由多个示例组成。自提出后，多示例学习在现实问题中得到普遍应用，特别是当 描述的对象具有多义性时。而在场景分类任务中，图像的内容往往是具有多义性的，比如，图 1 中所包含 的高层语义有“云” 、 “山”和“海” 。在这种情况下，如果用单示例来表示该图像，分类会造成分类准确 度的下降。而如果采取多示例的表示方法，比如可以把图 1 分割为 3 个子图，然后从每个子图中提取有效 的特征向量组成一个示例，这样整幅图像被表示为一个包含三个示例的包，图像的所有语义信息就都被包 含进了图像表示中。
中图分类号：TP391.4
A new Multi-Instance learning method for scene classification
Gang Wang1，Xinshun Xu1
（1.School of Computer Science and Technology, Shandong University，Jinan 250101，China） Abstract: Multi-Instance learning (MIL) is a learning framework proposed recently, and has been successfully used in scene classification. This paper first proposes a new image Multi-Instance (MI) bag generating method, which models an image with a Gaussian Mixed Model (GMM). The generated GMM is treated as an MI bag and the components of the GMM are the instances of the corresponding bag. Then, information bottleneck clustering is employed to transform the MIL problem into single-instance learning problem so that single-instance classifiers can be used for classification. Finally, ensemble learning is involved to further enhance classifiers’ generalization ability. Experimental results show that the proposed method is superior to some common MI algorithms on average in a 5-class scene classification task. Key Words: Multi-Instance learning; Information Bottleneck; Gaussian Mixed Model; Expectation Maximization; scene classification; Kullback-Leibler Divergence