利用SVM_CRF进行高光谱遥感数据分类

第36卷第3期2011年3月武汉大学学报 信息科学版

Geo matics and Info rmat ion Science of W uhan U niver sity V ol.36N o.3M ar ch 2011

收稿日期:2011 01 27。

项目来源:国家自然科学基金资助项目(40901234);中国科学院知识创新工程青年人才领域前沿项目专项资助项目

(O8S01100CX)。

文章编号:1671 8860(2011)03 0306 05文献标志码:A

利用SVM CRF 进行高光谱遥感数据分类

李祖传

1,2

马建文1

张 睿

2,3

李利伟

1

(1 中国科学院对地观测与数字地球科学中心,北京市中关村北一条9号,100190)

(2 中国科学院研究生院,北京市玉泉路甲19号,100049)(3 中国科学院遥感应用研究所,北京市大屯路甲20号,100101)

摘 要:提出了一种改进的随机场模型SV M CRF ,它以支持向量机作为条件随机场的一阶势能项,结合了支持向量机和条件随机场的优点。采用A V IRIS 高光谱遥感数据进行实验,对SV M CRF 模型进行了分析,结果表明,在分类精度上SV M CRF 优于支持向量机和传统条件随机场模型。关键词:支持向量机;条件随机场;高光谱数据中图法分类号:P237.4;T P753

高光谱遥感数据包含丰富的光谱信息,能够对目标进行精细分类。传统的基于像元的高光谱遥感数据分类方法,如支持向量机(support v ec tor machine,SVM )[1],假定数据是独立同分布的[2,3]。但是,遥感数据,特别是高光谱遥感数据,在类别和观测数据上存在很强的相关性,即所谓的上下文信息,不满足独立同分布的假设[4,5]

。同时,如果能有效利用这些上下文信息,可以有效地提高分类精度。

马尔柯夫随机场(Markov random fields,MRF)是传统的描述上下文信息的概率模型,它认为类别的分布满足Gibbs 分布

[6]

。但是,基于

计算可行性考虑,M RF 假定观测数据是条件独立的。对于遥感数据而言,相邻像素之间的观测数据并不独立,存在很强的相关性,特别是高光谱遥感数据。因此,对于遥感数据而言,MRF 条件独立的假设太强。为了解决这个问题,一种新的概率模型 条件随机场(conditio nal random fields,CRF)得到了越来越多的关注[7 10]

。CRF 是一种判别式概率模型,直接把后验概率建模为Gibbs 分布,放宽了M RF 的条件。但是,传统CRF 模型定义的简单一阶势能项(特征的简单线性组合),不适合高光谱遥感数据分类。首先,由于高光谱数据维度很高而且样本有限,因此,传统

CRF 模型对!维度灾难?问题敏感。此外,高光谱遥感数据特征空间极其复杂,一般线性不可分,通过简单的一阶势能项不能得到理想分类结果[11]。针对这些问题,本文提出了一种改进的适用于高光谱遥感数据分类的随机场模型 支持向量机条件随机场(support v ector m achine co nditional random field,SVM CRF)。

1 S VM C RF

SVM 是一种基于结构风险最小的小样本统计学习方法,非常适合于高光谱遥感数据分类。因此,SVM CRF 采用SVM 作为一阶势能项,采用CRF 的方法描述上下文信息。因此,SVM CRF 结合了SVM 和CRF 的优点。根据CRF 的定义,SVM CRF 的定义为:

P (y |x )=1Z

exp {

#i ?S

SP i

(y i

,x

i

)+

#i ?S #j ?

i

I

ij

(y i ,y j ,x ,v)}

(1)

式中,SP i (y i ,x i )表示点i 只考虑当前观测值的后验概率。

SVM 是一种判别式分类器,最终的输出结果不带后验概率。但是,可以通过组合所有的二类

第36卷第3期李祖传等:利用SVM CRF进行高光谱遥感数据分类

分类结果来获取多类分类的后验概率[12]。这种

方法通过二类分类的条件概率 ij=P(y=i|y=i

or j,x)的估计值r ij估计后验概率p i=P(y=i|

x),i=1,%,L(其中L表示类别数)。本文的后

验概率通过优化如下目标函数获取[12]:

min P#i=1#

j:j&i

(r ji p i-r ij p j)2(2)

subject to#L i=1p i=1,p i?0, i(3)其中,

r ij=P(y=i|y=i or j,x)=1/(1+e Af^+B)

(4)式中,f^为决策分类值,采用SVM获得。

在MRF模型中,常采用Ising模型作为描述类别上下文信息的二阶势能项。但是,Ising模型忽视了观测数据的上下文信息。为了能同时捕获类别和观测数据的上下文信息,SVM CRF模型采用一种改进的Ising模型[13]。

I ij(y i,y j,x,v)=#

k,l?{1,%,L}

v T kl ij(x)

(y i=k)(y j=l)(5)式中,v表示模型的参数;v kl=[v kl1 v kl2 % v klN !kl]T(其中,!kl是偏移量);(y i=k)为冲击响应函数(当y i为k时,函数值为1,其他为0); ij(x)表示点对(i,j)的特征。 ij(x)可以采用点对特征向量差值的绝对值,或者是点对(i,j)的特征在特征空间上的连接,由于后者在分类精度上优于前者,因此本文选择后者[10]。最终, ij(x)表示为 ij=[x i1 % x in x j1 % x jn 1],其中,常数1是为了考虑偏移量。

由于遥感数据以及类别空间都比较大,计算分割函数Z是一个NP难问题,因此,本文采用分片学习[14]的方法估计模型参数。采用式(1)的对数形式进行M AP估计,SVM CRF分片学习的目标函数可以写为:

L pw(v)={#i?C

i lg

ex p{SP i(y i,x i)}

#

x

i

ex p{SP i(y i,x i)}

}+

{#(i,j)?C

2lg

exp{I ij(y i,y j,,v}

#

x

i

,x

j

ex p{I ij(y i,y j,,v}

}-v

T v

22

(6)

式中,SP i(y i,x i)通过目标函数式(2)和约束条件式(7)获得;第三项为二阶势能项参数的高斯先验;为规划常数;C1为只有一个结点的派系;C2为有两个结点的派系。二阶势能项参数估计的目标函数可以写成:

IP=#i,j?C

2

lg P(y i,y j| ij(x),v)-v T v/(22)

(7)

P(y i=k,y j=l|u ij(x),v)=

ex p(v T kl ij(x))/#L m=1#L n=1ex p(v T mn ij(x))(8) 由于类别上的上下文信息是鼓励相同类别的出现,压制不同类别,最终达到平滑的目的,因此,当点对的类别不相同时,v kl设置为0。最终,式(7)可以写成[15]:

P((y i,y j)=k| ij(x),v)=

ex p(v T kk ij(x))/(?+#L n=1ex p(v T n n ij(x))),k(L ?/(?+#L

n=1

ex p(v T n n ij(x))),k=L+1

(9)式中,k(L表示y i=y j=k;k=L+1表示y i& y j,?=L(L-1)为常数项。采用拟牛顿法BFGS 可以求解等式(7),最终获得v的最优值v^。

对于随机场概率模型,根据学习的模型参数找到输入新数据的最优类别是一个推理过程。LBP是一种高效的推理算法,本文采用LBP的max pr oduct算法获取新数据的最优类别值[16]。在LBP的推理过程中,模型可以写成:

P(y|x))ex p{(#i?S SP i(y i,x i))+

#(#i?S#j?

i

I ij(y i,y j,x,v^))}(10) 由于本文采用一阶势能项和二阶势能项分开学习的方法,因此,在推理过程中很难确定它们的权重,很容易导致某一项权重过高的问题[17]。因此,在模型中引入常数项#,用于调节上下文信息在SVM CRF模型中的权重。在分类的过程中,可以通过格网搜索和交叉验证的方法获取#的最佳值。

2 实验与分析

2.1 实验数据集

本文选择的实验数据集为1992年获取的AVIRIS高光谱遥感影像,它是高光谱数据分类方法研究中常用的数据集。实验区位于Indiana 西北部地区的一个农业与森林混合地区,拍摄时间在作物生长季节。数据大小为145行?145列,共有220个波段,空间分辨率为30m。把水吸收和噪声波段(104~108、150~163、200)去掉,最终剩下200个波段。实验数据集的假彩色合成影像和地面真实数据如图1(a)、1(b)所示。

推理和学习过程用M atlab编程实现。SVM 选用LIBSVM软件包[18],SVM的核函数选择径

307

武汉大学学报 信息科学版2011年3月

向基函数。通过交叉验证和格网搜索方法获取SVM 的最优模型参数,以总精度作为分类结果的

精度评价标准。

图1 实验数据集与地面真实数据

Fig.1 Ex per imenta l Data Sets and Gr ound T ruth

2.2 SVM CRF 实验分析

由于有些类别像素个数比较少,因此,选择样本数最多的9个类别进行实验,每个类别随机选择一半作为训练数据,剩余部分作为验证数据,如表1所示。为了满足训练二阶势能项的需要,在选择训练样本的过程中,把所选择的点以及四邻域相同类别的点都选上。

表1 类别及样本T ab.1 Classes and Samples

类名描述样本总数训练样

本数类名

描述

样本总数训练样本数

C N Corn notill 1434718S N Soybeans

notill 968484

CM Corn min 834418SM Soybeans

min 24681235

GP Grass/pas tu re 497250SC Soybeans clean

614

310GT Grass/tree 747374WD W oods 1294

650

H W

H ay win drow ed

489

247

总数

93454686

由于训练样本数有限而实验数据波段多,首先通过特征选择算法支持向量机递归特征消去法(support vector machine r ecursive feature elim i natio n,SVM RFE)[19]

对实验数据进行降维。选择前5、10、15、20以及200个波段进行分类实验,结果表明,前20个波段和所有波段的分类结果总精度接近。因此,本文选择前20个波段(181、149、129、29、82、150、184、31、38、17、100、160、136、42、83、192、138、28、35、39)进行后面的实验。以训练数据估计SVM CRF 的模型参数,用验证数据验证模型的分类总精度。用格网搜索的方法计算#和 选择不同值时,对应验证样本的分类总精度如表2所示。

表2中,#=0表示在没有考虑上下文信息的情况下直接用SVM 分类的结果。从表2可以发现,当#从0增加到0.001时,虽然邻域信息权重

表2 不同 和#对应的总精度/%

T ab.2 O ver all Accuracies Obtained wit h D ifferent

and #/%

# /%

0.010.11101001000089.7489.7489.7489.7489.7489.740.00190.0890.1390.3690.8690.9090.900.00590.1190.3691.1492.4092.4492.440.0190.1590.5891.9193.9994.0194.010.0590.5691.6794.7095.6495.6295.620.1

90.6292.8795.3695.4595.4195.410.290.8694.1095.5494.8994.8794.870.391.0994.3695.0094.5194.5194.510.591.31

94.5894.1693.8293.7293.730.890.9293.9393.0992.5192.4292.42190.5692.9892.3691.5991.5091.501048.7460.5971.0931.4028.7228.70最大值

91.32

94.58

95.54

95.64

95.62

95.62

非常小(只有0.001),但是,对于所计算的所有 ,总精度都有所提高,其中,当 为100和1000时,分类总精度提高最多,都提高了1.16个百分点。实验结果表明,SVM CRF 在描述高光谱遥感数据的邻域信息上是有效的,在分类精度上要优于SVM 。

#在SVM CRF 中起到调节邻域信息在SVM CRF 模型中比重的作用,增大#相当于增大邻域信息在模型中的比重。从表2可以发现,总精度开始有一个随#的增大而提高的过程。并且对于不同列,达到最大值所对应的#也有所不同。

在应用邻域信息的过程中,存在过度平滑的共同问题。从表2可以发现,对于不同的列,随#增大在某个点达到最大值以后,总精度会随着#的继续增大而呈现下降的趋势。实验结果表明,在SVM CRF 模型中加入调节邻域信息权重的参数#是必要的;SVM CRF 也存在过度平滑的问题,过高的邻域信息反而会降低分类结果的总精度。

通过本组实验与分析可得出如下结论:+在高光谱遥感数据分类中,SVM CRF 在描述高光谱遥感数据的邻域信息上是有效的,加入邻域信息能提高分类总精度;,在一定范围内增加邻域信息在SV M CRF 中的权重能提高总精度;?邻域信息在SV M CRF 模型中并不是占的比重越大越好,过多的邻域信息会带来过度平滑,导致分类结果总精度下降。2.3 模型稀疏性实验

对于高光谱遥感数据维度高而样本有限的问题,常用的处理方法有两种:+采用具有抗!维度

308

第36卷第3期李祖传等:利用SVM CRF进行高光谱遥感数据分类

灾难?的分类器,如SVM;,采用降维的方法,如SVM RFE[19]。SVM CRF模型的一阶势能项采用的SVM具有抗!维度灾难?能力,因此,数据的维度对一阶势能项影响不大。但是,SVM CRF 的二阶势能项对!维度灾难?敏感,特别是二阶势能项的特征采用相邻结点特征的连接构成。针对这个问题,本文分析了SV M CRF随着二阶势能项特征空间维度变化的表现。通过SVM RFE对200个波段进行排序,选择前1、2、5、10、15、20个波段分别学习SVM CRF的二阶势能项。用200个波段获取一阶势能项的后验概率。把训练样本平分为5份,用格网搜索交叉验证的方法获取和#的最优值。最后,用获取的最优模型参数对验证样本进行分类,结果如表3所示。表3中,波段数为200表示由SVM对200个波段分类的结果,总精度为93.62%。从表3可以发现,对于前1、2、5、10、15、20个波段学习的二阶势能项, SVM CRF所得的结果总精度相当,都在97%左右,波段数为5时最大(97.12%),波段数为1时最小(97.04%),相差只有0.08个百分点。实验结果表明,二阶势能项的特征空间稀疏性很大,很多波段对于二阶势能项都是冗余的,选择部分波段即可以对二阶势能项进行建模。

表3 不同波段的结果

Tab.3 Results Obtained w ith Differ ent N umber of Bands 波段数#总精度/% 1100.197.04

21000.0597.08

5100.0597.12

10100.0597.10

15100.0597.10

201000.0597.08

200--93.62

2.4 与传统CRF的比较

为了说明SVM CRF在高光谱遥感数据分类中的有效性,与传统的CRF模型进行了对比实验。由于本文是多类分类问题,因此,CRF的一阶势能项采用多项式逻辑回归(m ultinomial lo g istic regression,M LR)[15]。采用分片学习和LBP近似推理方法学习CRF的模型参数以及对新的输入数据进行分类。用前20个波段作为实验数据,在#为(0,0.001,0.005,0.01,0.05, 0.1,0.2,0.3,0.5,0.8,1)和为(0.01,0.1, 1,10,100,1000)的参数中搜索最优的分类结果。CRF的最高总精度只有66.07%,与SV M CRF的最高总精度(95.64%)相比,低了29.57个百分点。由于高光谱遥感数据的特征空间极其复杂,而且波段数很多,对于传统的CRF模型来说,简单的一阶势能项MLR不能得到理想的结果。SVM是一种强大的判别式分类器,有很好的抗!维度灾难?能力。SVM CRF以SVM作为一阶势能项局部分类器,吸取了SVM的优点,在获取比较好的一阶势能项的结果的情况下再考虑邻域信息。因此,在高光谱遥感数据的分类中, SVM CRF在精度上优于CRF模型。

3 结 语

针对传统CRF模型的一阶势能项过于简单,不适用于复杂的高光谱数据分类的问题,本文提出了一种改进的随机场模型SVM CRF。它结合了SVM强大的判别式分类能力和CRF模型的描述类别和观测数据上下文信息的特点。本文采用的是分片学习的方法,最终再考虑不同势能项的权重。在后续的研究中,可以考虑直接把SVM 的最大间隔原理引入到CRF模型[20],然后再研究如何用于高光谱遥感影像的分类。

参 考 文 献

[1] V apnik V N.T he N ature o f Stat istical L earning

T heor y[M].N ew Y or k:Spr inger V er lag,1995 [2] Bazi Y,M elgani F.T o war d an O ptimal SVM Classi

ficatio n Sy stem for H yperspect ral Remote Sensing

Imag es[J].IEEE T ransactions o n G eoscience and

Remot e Sensing,2006,44(11):3374 3385

[3] M elgani F,Br uzzone L.Classificatio n of H yperspec

tral Remo te Sensing Imag es wit h Suppo rt V ector

M achines[J].I EEE T ransactions o n Geo science and

Remot e Sensing,2004,42(8):1778 1790

[4] Jackson Q,L andg rebe D A.A daptiv e Bayesian Con

textual Classificatio n Based on M a rkov Rando m

F ields[J].IEEE T ransactions o n Geo science and

Remot e Sensing,2002,40(11):2454 2463

[5] N eher R,Sr ivastav a A.A Bayesian M RF F rame

wo rk for L abeling T er rain U sing Hy per spectr al Im

aging[J].IEEE T ransactions o n Geo science and Re

mote Sensing,2005,43(6):1363 1374

[6] L i S Z.M ar kov Random Field M odeling in Imag e

A na lysis[M].N ew Y or k:Spr inger V erlag,2001

[7] L afferty J,M cCallum A,P ereir a F.Conditio nal

Rando m Fields:P ro babilistic M odels for Seg men

ting and L abeling Sequence Data[C].IEEE Interna

tio nal Conference o n M achine L earning,W illiams

tow n,2001

[8] K umar S,Hebert M.Discriminative Rando m

309

武汉大学学报 信息科学版2011年3月

Fields:a Discr iminativ e F ramew or k fo r Contextual

Interactio n in Classification[C].IEEE International

Conference o n Com puter V isio n,Beijing,2003 [9] Zhong P,Wang R S.A M ultiple Co ndit ional Rando m

Fields Ensemble M odel for U rban Ar ea Detection in

Remot e Sensing O ptical Imag es[J].IEEE T r ansac

tions on G eoscience and Remo te Sensing,2007,45

(12):3978 3988

[10]Zhong P,W ang R S.U sing Combinatio n o f Stat isti

ca l M o dels and M ultilev el St ructur al Infor mation for

Detecting U rban A reas fro m a Single Gr ay L evel

Imag e[J].IEEE T ransactions o n Geo science and

Remot e Sensing,2007,45(5):1469 1482 [11]Zhong P,W ang R S.L earning Sparse CRFs for Fea

ture Select ion and Classificatio n of H yperspectral

Imag ery[J].IEEE T r ansactio ns o n Geo science and

Remot e Sensing,2008,46(12):4186 4197 [12]Wu T F,L in C J,W eng R C.Pr obabilit y Est imates

for M ulti class Classificatio n by Pairw ise Coupling

[J].Jour nal o f M achine L earning Resear ch,2004,

5:975 1005

[13]K umar S,Heber M.A H ierar chical F ield F rame

wo rk fo r U nified Context based Classificatio n[C].

IEEE Inter national Conference on Co mputer V isio n,

Beijing,2005

[14]Sutto n C,M cCallum A.Piecew ise Pseudolikeliho od

for Efficient T r aining o f Conditio nal Rando m F ields

[C].I nter nat ional Co nfer ence on M achine L earn

ing,Cincinnati,Ohio,2007

[15]K umar S,H eber t M.M ulticlass Discr iminativ e

F ields for P arts based Object Det ection[C].Snow

bird Lear ning Wo rkshop,U tah,2004

[16]Sun J,Zheng N N,Shum H Y.Stereo M atching U

sing Belief Pro pag atio n[J].IEEE T ransact ions on

Pat tern A naly sis and M achine Intellig ence,2003,

25(7):787 800

[17]Sho tton J,Winn J,Ro ther C,et al.T ex tonboost:

Joint A ppear ance,Shape and Context M o deling for

M ult i class O bject Recognit ion and Seg mentation

[C].Euro peo n Co nfer ence on Computer V isio n,

G raz,A ustr ia,2006

[18]Chang C C,L in C J,L IBSV M:a L ibr ary for Sup

po rt V ector M achines[EB/O L].htt p://w w w.csie.

https://www.360docs.net/doc/dd16487622.html,.t w/~cjlin/libsvm,2009

[19]Zhang R,M a J.Featur e Selectio n for H y perspectral

Data Based on Recursive Suppor t V ect or M achines

[J].I nter national Journal of Remo te Sensing,

2009,30(14):3669 3677

[20]T sochantaridis I,Jo achims T,Ho fmann T,et al.

L arg e M arg in M ethods fo r Structured and Inter de

pendent O utput V ar iables[J].Jo ur nal o f M achine

L earning R esear ch,2005,6:1453 1484

第一作者简介:李祖传,硕士生,研究方向为遥感数据智能处理。

E mail:z uchuanli@https://www.360docs.net/doc/dd16487622.html,

Classifying Hyperspectral Data Using Support Vector Machine

Conditional Random Field

L I Zuchuan1,2 M A J ianw en1 ZH AN G Rui2,3 L I L iw ei1

(1 Center for Earth Ob servation and Digital E arth,Chin ese Academy of Sciences,9Beiyitiao,Zh onggu ancun,Beijing100190,China)

(2 Graduate U nivers ity of Chines e Acad emy of Sciences,A19Yu qu an Road,Beijing100049,China)

(3 Institute of Remote Sensing Applications,Ch ines e Academy of Sciences,A20Datun Road,Beijin g100101,Chin a)

Abstract:With there problems at hands,an impr oved random field,suppo rt vecto r m achine conditional random field(SVM CRF)w as pro po sed.It uses SVM as its unary potential, com bining the m erits o f SVM and CRF.Ex periments using AV IRIS hyper spectral data as in put w er e carr ied out,and SVM CRF w as analy zed ex tensively.Exper im ental results show that SVM CRF is super io r to SV M and classic CRF in terms of classification accur acies.

Key words:suppor t vector machine;conditional r ando m field;hyperspectral data

About the first author:LI Zuch uan,postgraduate,majors in remote sensing data processing and artificial intelligen t methods.

E m ail:zuchuan li@https://www.360docs.net/doc/dd16487622.html,

310