一种基于支持向量机的三维物体识别方法

第23卷 第4期 电子测量与仪器学报 Vol. 23 No. 4

2009年4月

JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT

· 43 ·

本文于2008年7月收到。

* 基金项目: 2008德州仪器创新基金资助项目。

一种基于支持向量机的三维物体识别方法*

徐 胜 彭启琮 管 庆 赵明渊

(电子科技大学通信与信息工程学院, 成都 610054)

摘 要: 提出从三维物体的二维图像中提取仿射不变傅氏描述子、色彩矩及纹理特征, 组成一个25维的特征向量, 送入支持向量机训练并用于三维物体识别。算法利用了仿射不变傅氏描述子在物体发生仿射形变时具有不变性, 利用色彩矩和纹理特征区分形状相似但有不同颜色及纹理的物体, 并引入支持向量机作为分类器。基于三维物体图像数据库COIL-100测试了算法的识别性能, 当每个物体训练样本图像数量为36个(视角间隔10°)时达到了100％的识别率, 进一步减少训练视角数量也达到较满意的识别性能。

关键词: 三维物体识别；仿射不变傅氏描述子；色彩矩；纹理分析；支持向量机 中图分类号: TP391.4 文献标识码: A 国家标准学科分类代码: 520.2060

A method for 3-d object recognition based on support vector machine

Xu Sheng Peng Qicong Guan Qing Zhao Mingyuan

(School of Communication and Information Engineering, Univ. of Electron. Sci. & Tech. of China, Chengdu 610054, China)

Abstract: To improve the performance of 3D objects recognition system, a method is proposed to extract the af-fine-invariant Fourier descriptors (AIFD), color moments and texture features from the 2D images of 3D objects. These features are combined into a feature vector of 25 components and sent to support vector machines for training and rec-ognition. The invariance properties of AIFD under affine transformation (translation, scaling, rotation and shearing) for an object are used in this method. And color moment and texture features are used to distinguish the object of similar shape and different appearance. Support vector machines are used as classifier. Based on the public 3D objects dataset COIL-100 the method was assessed. 100% correct rate of recognition is achieved when the number of presented train-ing views for each object is 36 (10 degrees interval). When the number of training views is reduced, the correct rate of recognition is also satisfied.

Keywords: 3D object recognition; AIFD; color moments; texture analysis; support vector machine

1 引 言

目前出于城市规划、电子交通监控、工业测量自动化、军事侦察及医疗仪器等各个领域的大量应用需求, 三维物体识别已成为一个较活跃的研究领域, 具有很大的实用价值和重要意义[1]。基于外观(appearance-based)或基于视图(view-based)的三维物体识别算法研究, 近来成为人们研究的热点[2-5]。虽

然基于视图的方法不易克服物体重叠问题, 但当物体的几何建模很困难或根本不可能得到时, 就可利用该方法来识别三维物体[6]。在一副二维图像中, 三维物体的外观取决于其形状, 反射特性, 姿态和环境亮度等, Murase 等较早的提出了参数化的特征空间方法, 直接从三维物体的外观进行识别[7]。20世纪90年代初期,Vapnik 等在统计学习理论基础上提出了一种新的机器学习方法, 即支持向量机SVM (Sup-

·44 ·电子测量与仪器学报2009年

port Vector Machine)[8], 开始应用于三维物体识别问题。Roobaert[9]等比较了支持向量机在各种物体表达输入下的性能。文献[4]通过小波变换将图像分解为子图, 并对每个子图进行奇异值分解来提取特征向量, 然后送入支持向量机进行分类。Yang等[5,10]提出的基于视图的算法使用含有线性单元的网络SnoW (sparse network of winnows)来学习物体的表达, 转换二维彩色图像为32×32像素分辨率的灰度图像后, 使用基于象素和基于边缘的物体表达进行物体识别实验。

总结起来, 这些方法都从一个基本思想出发, 即通过视觉相似性来识别物体, 通过三维物体在二维图像中呈现出的不同姿态和不同光照条件来学习或训练系统, 然后在一副未知的二维图像中判断是否存在目标物。本文从这个基本思想出发, 对之前的工作[11]进行改进, 提出从三维物体的二维图像中仅提取少数几个显著特征, 包括仿射不变傅氏描述子、色彩矩和纹理特征组合作为三维物体的特征向量, 送入支持向量机进行训练并用于三维物体识别。仿射不变傅氏描述子对物体形状畸变不敏感, 在任意仿射变换下能保持不变的特性, 包括物体的平移(translation), 旋转(rotation), 缩放(scale)和剪切(shear)[12]; 颜色和纹理是物体最为直观的视觉属性, 包含了丰富的信息, 颜色的不同空间分布能够影响人对图像的理解, 纹理特征可对局部区域的象素关系进行刻画。因此算法选用了上述三种特征向量的组合进行三维物体识别, 理论上能够区分外观相似并具有不同颜色和纹理的三维物体。本文方法基于哥伦比亚物体图像库COIL-100 (columbia object image library)[7]的所有100个具有复杂外形的三维物体进行了测试, 在训练样本图像数量为每物体36个(视角间隔10°)情况下达到了100%的识别率。2相关理论基础

2.1仿射不变傅氏描述子

在实际场景中有相当多因素会影响物体的成像, 包括距离、天气、照相设备以及视觉角度等, 导致三维物体的二维成像发生仿射变形。对于二维空间中的任意一条曲线[x, y], 若[x', y']为其仿射变换后的曲线, 则仿射变换为:

[]T

11121

21222

,

a a b

x x

x y

y y

a a b

????

'

????

=+=+

????

????

'

????

????

????

A B(1)

仿射不变傅氏描述子(affine-invariant Fourier descriptors,下文简称AIFD)[12]是一种仿射不变量, 对物体形状畸变不敏感, 在仿射变换下能保持不变的特性, 本文将其用于抵抗三维物体在不同视角下投影为二维图像时产生的不可避免的失真。

提取AIFD特征首先要获得物体边缘轮廓的参数化描述, 这种参数必须相对于仿射变换是线性的, 只有这样后续的傅氏变换才能够保持仿射变换的线性; 另外这种参数能够使得所提取的不变特征量与仿射变换参数A,B及初始点选择无关。可利用文献[12]给出的一种参数化方法:

1

det((),()d

2

1

(()()()()d

2

t p p

x y y x

ξξξ

ξξξξξ

'

==

''

-

(2) 式中: 二维向量()

pξ由轮廓曲线坐标{(),()}

x y

ξξ构成, (),()

x y

ξξ

''分别是(),()

x y

ξξ的一阶导数。如果式(1)中0

B≠, 需要将坐标原点移到轮廓曲线的面积中心c p:

2()det((),())d

3det((),())d

c

p p p

p

p p

ξξξξ

ξξξ

'

=

'

(3) 参数化后, 边缘轮廓上的点可表示为:[]T

() ()

u t v t

=

p, 对两个分量分别作傅氏变换可以得到傅氏级数系数:

03

12

03

12

U U

U U

V V

V V

??

=??

??

F

文献[12]给出了如何由傅氏系数F构造仿射不变量AIFD的方法: 令*

det,

k k p

I F F k p

??

=≠

??

, 其中F k,

c

ò?

c

ò?

c

ò?

c

ò?

第4期 一种基于支持向量机的三维物体识别方法 · 45 ·

F p 为任意两个傅氏系数, 则:

,1,2,3,;k k p Q I I k == p 为任意常数

(4)

即得到与任意仿射变换参数A , B 和起始点无关的仿射不变量Q k 。 2.2 色彩矩

同几何特征相比, 物体的颜色特征更为稳健, 对于物体的大小和方向均不敏感, 表现出较强的鲁棒性, 并且用颜色特征描述图像中的物体简便有效。根据概率论, 一个概率分布可唯一的由其矩来表征。一副图像的色彩分布也可认为是一种概率分布, 所以颜色分布也可由其矩来决定。利用Stricker [13]提出存储一副图像的每个颜色通道的前三阶矩的方法来提取物体特征, 对于一副RGB 或HSI 格式的图像, 仅需计算9个矩值。每个颜色通道的第一阶矩是图像的色彩均值, 第二阶中心矩是图像的方差, 第三阶矩是图像每个通道的偏度。为了让矩值具有相同的单位, 可以使用图像的标准差和偏度的三次方根。

为了提取物体的色彩特征, 首先需要选择适宜的色彩空间。RGB 色彩空间是计算机图像处理中最常用的色彩模型, 但本文方法推荐使用HSI 色彩空间(即色度Hue, 饱和度Saturation 和亮度Intensity)。HSI 色彩模型更适合计算色彩矩, 因为色度和饱和度分量较为接近人类对色彩感知方式, 另外亮度分量与图像的色彩信息无关。若p ij 为离散图像f (x ,y )的象素, A 为图像区域, 则每个图像通道的前三阶矩定义如式(5)所示:

(

)(

)1/2

21/3

31

1, ,

1

ij ij i j i j

ij i j

p p A A s p A μσμ

μ??

==-??

??

??

??

=-??

??

??

∑∑∑∑∑∑ (5)

2.3 基于灰度共生矩阵(GLCM)的纹理特征

纹理分析广泛应用在遥感, 自动检测和医疗图像处理等领域。纹理是物体在图像中的一个重要特征, 可对图像中的空间信息进行一定程度的定量描述, 两幅颜色相似的图像通常可以利用其纹理进行

区分, 本文将其应用到了三维物体识别。灰度共生矩

阵GLCM(gray level co-occurrence matrix)[14]是一种使用较为广泛的纹理分析方法, 它使用二阶统计量来估计图像属性。构造灰度共生矩阵P d (i ,j )方法是: 其每个元素(i ,j )代表在原始图像中灰度值为i 和j 、相距为d 的象素对的数量。Haralick [14]提出从GLCM 中提取出14个统计特征, 用来估计各个不同灰度值i 和j 、相距不同距离d 的象素对的灰度共生矩阵的相似性。为减少计算复杂性, 本文仅选择了其中4个纹理特征作为二维图像中的三维物体的特征, 如表1所示。

表1 基于GLCM 的纹理特征

Table 1 Texture feature based on GLCM

2,Con ()(,)d i j

i j P i j =-∑

2,En (,)d i j

P i j =∑

,()()(,)

Cor x y d i j

x y

i u j u P i j σσ--=

∑

,(,)Hom 1d i j P i j i j

=+-∑

1) 对比度(contrast): 度量灰度共生矩阵的局部方差, 即测量整个图像中某个象素与其邻域的亮度对比度。

2) 相关性(correlation): 度量指定象素对出现的联合概率, 即测量整个图像中某个象素与其邻域相关性如何。表中u x , u y , σx , σy 分别是P x , P y 的均值和标准差, P x 是P d (i , j )每行之和, P y 是P d (i , j )每列之和。

3) 能量(energy): 计算灰度共生矩阵每个元素的平方和。

4) 同质性(homogeneity): 度量灰度共生矩阵各

元素分布与其对角线的靠近程度。 2.4 支持向量机

从二维图像中得到三维物体上述各种特征后, 根据特征进行三维物体的识别从模式识别角度看是一个分类问题。近年来, 支持向量机SVM(support vector machines)的研究广泛开展, 在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势[4]。支持向量机以统计学理论为基础[8], 因而具有严格的理

· 46 · 电子测量与仪器学报 2009年

论和数学基础, 与神经网络结构设计相比, 无需依赖于设计者的经验及先验知识, 避免了神经网络实现中的经验成分; 算法可最终转化为凸优化问题, 因而可保证算法的全局最优性, 避免了神经网络无法解决的局部最小问题

[9,15]

。

设给定大小为l 的训练样本集{(x i , y i ), i =1,2,…,l }由两类模式组成, 如果x i ∈R N

属于第一类, 标记为正(y i =1); 如果属于第二类, 则标记为负(y i =-1)。如果训练样本集线性可分, 则存在分类超平面w ·x i +b =0使得

()1, 1,2,,i i y b i l ?+= ≥w x

(6)

式中: w ∈R N 。由统计学习理论, 如果所有训练样本集被超平面正确的分开, 并且距离超平面最近的样本数据与超平面之间的距离达到最大, 则该超平面为最优超平面, 如图1所示。

图1 最优分类超平面

Fig. 1 Optimal Separating Hyperplane (OSH)

由于要求分类超平面不仅能将两类样本正确的分开, 而且要使间隔最大, 分类间隔等于2/||w ||, 因此最大化分类间隔等价于最小化||w ||2/2, 这样最优超平面的求解就变为如式(7)的二次规划问题:

2

1min

, 2..:()1, 1,2,,b i i s t y b i l

?+=w, ≥w w x (7)

本文所研究的三维物体识别属于非线性分类问题。当训练样本集非线性可分时, 可通过某一非线性函数φ(·)将训练集数据x 映射到一个高维线性特征空间, 在这个维数可能为无穷大的线性空间中构造最优分类超平面w ·φ (x i )+b =0

最优分类超平面问题(7)变为式(8)的形式:

2

11min , 2..:(())1,1,2,...,,0

l i b i i i i i C s t y b i l ξφξξ=??+ ???

?+-=∑,≥≥w w w x (8) 式中: ξi ,i =1,2,…,l 为非负松弛变量, C 为惩罚系数。采用拉格朗日乘子法, 求解该具有线性约束的二次规划问题, 可以得到: *

*11

(), ..:0,0l

l

i i i

i i i i i y s t y C αφαα====∑

∑≤≤w x (9)

因此判别函数为:

**1()sgn (,)l i i i i y x y K b α=????

=+??????

∑x x

(10)

式中:(,)()()i i K φφ=x x x x 为核函数。尽管通过非线性函数将样本数据映射到具有高维甚至无穷维的特征空间, 并在特征空间中构造最优分类超平面, 但在计算判别函数时, 并不需要显示计算该非线性函数, 而只需计算核函数, 从而避免特征空间维数灾难问题。选择满足Mercer 条件的不同的内积核函数, 就可构造不同的支持向量机。本文采用高斯核宽度为σ的高斯径向基RBF(radial basis function):

22(,)exp(||||/2)i i K σ=--x x x x

(11)

3 计算机仿真实验

基于哥伦比亚物体图像数据库C O I L -100 (Columbia object image library)[7]测试了本文方法的识别性能。COIL-100是目前使用较为广泛的用于评估三维物体识别算法的三维物体图像数据库, 包含100个外形和反射特性都有很大差异的物体, 每个物体有72个不同视角、分辨率为128×128的真彩图像, 共计7 200幅。该数据库的生成是将物体置于一个旋

转台面, 每隔5°拍摄一个视角的图像, 为每个物体得到72个不同视角的姿态图。各物体在视角为30° 时的姿态如图2所示, 其余姿态图略过。

第4期一种基于支持向量机的三维物体识别方法·47 ·

图2 COIL-100数据库各物体视角为30°时姿态

Fig. 2 All objects in COIL-100 dataset with view

angle=30°

实验选择各三维物体每隔10°视角的图像作为训练样本集, 即0°, 10°,…, 350°, 每个物体36个训练视角, 100个物体共计3 600幅, 将其余3 600幅视角为5°, 15°,…, 355°的图像作为测试图像。

将3 600幅训练样本图像进行预处理后, 根据式(2)~(4)计算仿射不变傅氏描述子AIFD, 考虑到高阶AIFD计算量较大, 并且经过实验发现高阶AIFD对识别性能贡献也较小, 所以仅计算了k=1,2,3前3个AIFD作为物体特征。根据式(5)计算3 600幅训练样本图像的色彩矩, 选用HSI每个色彩通道的第一阶矩和第二阶中心矩, 共6个色彩特征向量。最后计算训练样本图像的不同象素距离在水平、垂直和两个对角线共4个方向上的灰度共生矩阵P d(i, j), 然后根据表1计算4个方向的对比度, 相关性, 能量和同质性, 得到16个纹理特征量。至此得到3种特征分量, 组合为一个25维的特征向量, 送入支持向量机进行训练, 然后送入测试图像测试识别性能。

初次实验中, 测试样本图像共3 600幅, 支持向量机对COIL-100数据库中所有100个物体达到了100％的识别正确率, 如表2测试结果第一行第一列所示。较之本文先前的工作[11]利用BP神经网络仅能识别COIL-100库中40个物体, 本文利用支持向量机大大提高了系统的识别性能, 体现出支持向量机在高维模式识别问题中的优势。

为了研究本文方法在更为真实情况下的性能, 进一步实验测试比较了支持向量机输入不同数量训练样本图像的识别性能, 即从每个物体36个训练视角(间隔10°)减少到2个训练视角(间隔180°)。训练视角为4个时物体姿态如图3所示, 识别性能测试结果如表2所示。可见训练视角减少为每物体18个时, 支持向量机仍达到99.81%的正确率(即5 400幅测试图像中仅有10幅图像误识)。在最困难的情况下, 视角间隔增大到180°, 即只使用0°和180°视角图像进行训练, 此时训练样本数量减少为200幅, 支持向量机仍达到了72.29％的正确识别率, 体现出支持向量机在小样本情况下的优势。表2中“边界SNoW”方法, “亮度SNoW”方法和“最近邻分类(NNC)”方法的识别结果引用于文献[5]。

图3 训练样本视角间隔90°时物体姿态Fig. 3 The views of 90°interval in training set for an

object

表2不同数量训练视角下的正确识别率

Table 2 Correct rate of recognition with varying view angles

每个物体训练视角数量

(训练样本图像数/测试样本图像数)

36

(3 600/3 600)

18

(1 800/5 400)

8

(800/6 400)

4

(400/6 800)

2

(200/7 000)

本文方法100% 99.81% 98.31% 91.38% 72.29%

·48 ·电子测量与仪器学报2009年

边界SNoW[5]96.25% 94.13% 89.23% 88.28% 无

亮度SNoW[5]95.81% 92.31% 85.13% 81.46% 无最邻近分类(NNC)[5]98.50% 87.54% 79.52% 74.63% 无

4结论

通过理论分析和仿真实验表明, 本文方法提取三维物体在二维图像中的仿射不变傅氏描述子、色彩矩和纹理特征, 组合作为三维物体的特征向量, 送入支持向量机进行训练并用于识别, 可达到较好的性能, 当每个物体训练视角数量为36个(间隔为10°)时达到了100％的识别率, 当训练视角数量减少(间隔增大)时, 仍然达到了比较满意的识别性能, 证明本文方法应用在三维物体识别领域是可行的。基于本文的工作, 可进一步研究: 1) 寻找可表达三维物体局部特征的方法来弥补色彩矩方法不能检测物体的局部特征的缺点; 2) 进一步提取三维物体具有其他属性的特征来训练支持向量机, 可以期望得到更高的识别性能, 特别是提高小样本(如仅有两个训练视角)情况下的识别率。

参考文献:

[1]李庆, 周曼丽, 柳健. 三维物体识别研究进展[J]. 中

国图象图形学报, 2000, 5(12): 985-993.

LI Q, ZHOU M L, LIU J. A review on 3d objects recog-

nition [J]. Journal of Image and Graphics, 2000, 5(12):

985-993.

[2]ZH L W, LI S W, LI L ZH. 3d object recognition and

pose estimation using kernel pca[C]. Proceedings of the

Third International Conference on Machine Learning

and Cybernetics. Shanghai, China, 2004: 3258-3262. [3]DELPONTE E, NOCETI N, Odone F, et.al. Appear-

ance-based 3d object recognition with time-invariant fea-

tures[C]. 14th International Conference on Image Analysis

and Processing (ICIAP 2007). Modena, Italy, 2007:

467-474.

[4]JUN H, ZHAO W X, FANG Z S,et al. View-based 3d

object recognition using wavelet multi-scale singular

value decomposition and support vector machine[C].

Beijing: Proceedings of the 2007 International Confe-

rence on Wavelet Analysis and Pattern Recognition.,

2007: 1428-1432.

[5]YANG M H, ROTH D, AHUJA N. Learning to recognize

3d objects with snow[J]. Computer Vision-ECCV, 2000:

439-454.

[6]PONTIL M., VERRI A. Support vector machines for 3d

object recognition[J]. IEEE Transactions on Pattern Anal-

ysis and Machine Intelligence, 1998, 20(6): 637-646. [7]MURASE H, NAYAR S K. Visual learning and recogni-

tion of 3-d objects from appearance[J]. International

Journal of Computer Vision, 1995, 14(1): 5-24.

[8]VAPNIK V. N. The nature of statistical learning theory

[M]. New York: Springer-Verlag, 1995: 180-188.

[9]ROOBAERT D, VANHULLE M M. View-based 3d ob-

ject recognition with support vector machines[C]. IEEE

International Workshop on Neural Networks for Signal

Processing. Madison, USA, 1999: 77-84.

[10]ROTH D, YANG M H, AHUJA N. Learning to recognize

three-dimensional objects [J]. Neural Computation, 2002,

14(5): 1071-1103.

[11]SHENG X P, Q C. 3d object recognition using multiple

features and neural network[C]. Chengdu: 2008 IEEE

International Conferences on Cybernetics & Intelligent

Systems (CIS), 2008: 434-439.

[12]ARBTER K W, SNYDER E, BURKHARDT H, et.al.

Application of affine-invariant Fourier descriptors to

recognition of 3-d objects[J]. IEEE Transactions on Pat-

tern Analysis and Machine Intelligence, 1990, 12(7):

640-647.

[13]STRICKER M A, ORENGO M. Similarity of color im-

ages[J]. Storage and Retrieval for Image and Video Da-

tabases (SPIE), 1995: 381-392.

[14]HARALICK R M, SHANMUGAM K, DINSTEIN I h.

Textural features for image classification[J]. IEEE Transac-

tions on Systems, Man and Cybernetics, 1973, SMC-3(6):

610-621.

[15]孙永奎, 陈光, 李辉. 支持向量机在模拟电路故障诊

断中应用[J]. 电子测量与仪器学报, 2008, 22(2): 72-75.

SUN Y K, CHEN G J, LI H. Support vector machine for

analog circuit fault diagnosis[J]. Journal of electronic

measurement and instrument, 2008, 22(2): 72-75.

作者简介:

第4期一种基于支持向量机的三维物体识别方法·49 ·

徐胜: 男, 2001年于电子科技大学获得学士学位, 2003年于电子科技大学获得硕士学位, 现为电子科技大学博士生。主要研究方向为目标识别, 图像处理和DSP技术应用。E-mail: xs@https://www.360docs.net/doc/8315922079.html,

Xu Sheng:received B.S. in Communication Engineering and M.S. in Signal Processing from University of Electronic Science and Technology of China (UESTC) in 2001 and 2003, respectively. Currently he is a Ph.D. candidate in the School of Communication and Information Engineering of UESTC. His research interests focus on object recognition, image processing and DSP applica-tion.

彭启琮: 男, 1968年于清华大学获

得学士学位, 1983年于电子科技大学获

得硕士学位, 现为电子科技大学教授,

博士生导师。主要研究方向为通信系统

信号处理, 实时信号处理, 自动测试系

统信号处理和DSP技术。

E-mail: qpeng@https://www.360docs.net/doc/8315922079.html,

Peng Qicong:received B.S. from Tsinghua

University in 1968, M.S. from University of

Electronic Science and Technology of Chi-na (UESTC) in 1983, respectively. Now he is professor and Ph.D. tutor in UESTC. His research interests include signal processing in communication systems, real-time signal processing, signal processing in automatic test system, DSP technology.

徐胜

彭启琮