融合谱-空域信息的DBM高光谱图像分类方法

融合谱-空域信息的DBM高光谱图像分类方法杨建功;汪西莉;刘侍刚【摘要】在高光谱图像分类问题中,提取能够有效表达地物特征的信息是分类方法中的关键问题.为了提高高光谱图像分类精度,提出一种基于深度玻尔兹曼机的高光谱图像分类方法.该方法首先对高光谱图像数据进行主成分分析法白化处理,并提取像元的空域信息,与像元光谱信息组成综合的谱-空域信息;然后通过多层深度玻尔兹曼机模型从像元的谱-空域信息中提取深层次类别特征;最后通过逻辑回归模型对所提取特征进行分类.这种深度玻尔兹曼机模型能够利用数据的先验知识对高维数据进行特征提取,并且所提取的特征内在地表示了地物的空间结构和光谱特征.实验结果表明,这种方法能够有效地提高高光谱图像的分类精度.【期刊名称】《西安电子科技大学学报（自然科学版）》【年(卷),期】2019(046)003【总页数】7页(P109-115)【关键词】高光谱图像;特征提取;深度学习;深度玻尔兹曼机【作者】杨建功;汪西莉;刘侍刚【作者单位】陕西师范大学计算机科学学院,陕西西安 710119;陕西师范大学计算机科学学院,陕西西安 710119;陕西师范大学计算机科学学院,陕西西安710119【正文语种】中文【中图分类】TP751.1随着遥感成像技术的不断进步，高光谱遥感图像已经成为人们生产生活中的重要资源，应用到了许多领域[1-3]。

在这些应用领域中，分类是一个关键技术。

为了实现高光谱图像的分类，研究人员相继提出了大量的分类方法，如随机选择法[4]、马尔科夫随机场[5]、神经网络、支持向量机[6]等。

这些方法在特定的遥感图像中表现出优良的分类能力，但是对于高光谱遥感图像中地物形态变化多样、光谱波段多、维度高以及存在大量冗余的特点，传统模式识别方法分类能力有限。

近年来，深度学习方法在许多应用中取得了瞩目的成绩[7]。

作为一类机器学习算法，它以受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)[8]为基本单元，通过叠加方式构造一个深层次的结构。

常见的深度学习模型包括自动编码器(Auto Encoder, AE)、深度信念网络(Deep Belief Network, DBN)、深度玻尔兹曼机(Deep Boltzmann Machine, DBM)以及卷积神经网络[7]等。

在高光谱图像分类方面，已有多种深度学习方法得到应用[9-10]。

文献[11]中提出基于自动编码模型的高光谱图像场景分类方法。

虽然将多个自动编码模型叠加起来构建的深度学习模型能够学习到高光谱数据的深度特征，但是其侧重于学习数据的重建信息，这限制了其在分类任务中的判别能力。

文献[12]中提出基于深度信念网络模型的高光谱数据分类方法，通过无监督的预训练和有监督的微调过程，深度信念网络模型能够学习到数据的判别信息。

但由于深度信念网络模型的预训练算法中每一隐层的节点只接收来自下面层节点的信息而忽略了上面层节点的信息，从而限制了模型学习数据间依赖关系的能力。

文献[13]使用卷积神经网络进行合成孔径雷达图像的目标检测，该模型具有平移不变性，并且能够解决部分目标的缺失问题。

但对于缺乏有标记样本的高光谱数据，该方法容易陷入过拟合。

针对深度学习模型深度信念网络算法，Salakhutdinov等人指出深度信念网络模型中每层隐节点的激活值只依赖于与其相邻的单侧隐节点的输入信息，而忽略了另一侧隐节点的信息，导致模型难以充分学习数据中的深层关系，并提出了深度玻尔兹曼机[14]。

在深度玻尔兹曼机模型中，每一层隐节点同时接收来自相邻两侧隐层节点的信息，从而使模型在相同数量隐节点的条件下，学习到的特征更具判别性。

由于高光谱数据所固有的高维度性与冗余性的特点，笔者提出一种融合谱-空域信息的基于深度玻尔兹曼机模型的高光谱图像分类方法。

该方法首先构造每个像元谱-空域综合信息，然后通过深度玻尔兹曼机模型对像元的谱-空域信息进行特征提取，获得每个像元的高层级的抽象表示，最后利用逻辑回归(Logistic Regression, LR)模型对提取特征进行分类，获得每个像元的类别标记。

1 深度学习与深度玻尔兹曼机模型1.1 深度学习模型受限玻尔兹曼机(RBM)[8]是一种特殊的玻尔兹曼机，由一组可见层节点和一组隐层节点组成，它限制模型的同层内各节点间无连接，相邻两层间的节点全连接。

图1 受限玻尔兹曼机结构图如图1所示，记可见层节点为v=(v1,v2,…,vm)，隐层节点为h=(h1,h2,…,hn)。

b=(b1,b2,…,bm),c=(c1,c2,…,cn),分别是可见层节点和隐层节点的偏置向量。

W={wij},是两层节点间的连接权值矩阵。

对于所有节点的任一种状态，模型的能量函数为(1)其中，模型参数θ={W,b,c} 。

给定一组训练样本{vi}，可用梯度下降法求取模型参数的最优值。

Hinton等人给出了受限玻尔兹曼机模型的快速学习算法[8]，相应参数的梯度值Δθ可通过下面迭代公式求得：(2)(3)(4)其中，分别是参数在第t步迭代的梯度值;是训练样本v的k步吉布斯采样值。

受限玻尔兹曼机模型只能提取数据的浅层表示。

Hinton等人[15]提出将多个受限玻尔兹曼机以层叠的方式叠加起来形成一种深度结构，前一层的隐层同时作为后一层的可见层，这种结构模型称为深度信念网络(DBN)。

图2(a)所示为由两个受限玻尔兹曼机叠加起来的深度信念网络模型，从深度信念网络角度来看，它包含一个可见层v和两个隐层h1、h2 。

W1,W2分别是可见层v与隐层h1以及两个隐层h1与h2之间的权值连接矩阵。

对于深度信念网络模型，Hinton等人提出了一种快速的逐层贪心预训练算法[13]。

其核心思想是以逐层的方式对深度网络进行训练学习，每次只训练一层，然后不断重复，直到学习完所有层。

完成了预训练过程后，使用反向传播算法对整个模型进行微调。

图2 DBN和DBM模型结构图由于深度信念网络模型所具有的多层级特征，它能够在从低到高的不同层级上提取到数据的不同层级的特征。

因此，随着深度信念网络模型层次的增加，能够提取到目标的具有语义信息的特征，它更利于目标类别判定[15]。

1.2 深度玻尔兹曼机尽管深度信念网络模型以其深度结构能够学习到数据深层次的特征信息，但是在计算隐层节点的激活值时，只考虑来自下面隐层的输入信息，忽略了来自上面隐层的输入信息，导致深度信念网络模型难以充分学习到数据间的深度依赖关系。

针对此问题，Salakhutdinov等人提出了深度玻尔兹曼机模型[14]，其结构和节点连接方式如图2(b)所示。

对深度信念网络模型的学习算法进行了两点改进：①在计算隐层节点的激活值时，同时考虑到了上下两个相邻层节点的双向输入信息；②在采用了深度信念网络预训练过程中的逐层贪心预训练算法后，增加了一个基于平均场(Mean Field ，MF)方法的总训练过程。

因此，在深度玻尔兹曼机模型中，计算各层节点的条件概率公式为(5)(6)(7)式中，函数σ(·)为Sigmoid函数，{ai}、{bj}、{ck}分别为可见层、第一隐层、第二隐层的偏置。

从式(6)可以看出，隐层h1激活概率由下面的可见层和上面的隐层h2输入共同组成。

相对于深度信念网络模型，这种改进使得深度玻尔兹曼机模型在训练过程中能够应用先验知识来指导其学习数据中的深度依赖关系。

2 融合谱-空域信息的深度玻尔兹曼机高光谱图像分类模型在高光谱遥感数据中提取像元的谱信息是直接的，而地物目标有其固有的空间结构属性。

因此，在高光谱数据中提取地物的空域信息用于分类，能有效提高分类的精度。

首先，结合像元的谱信息而构造像元的谱-空域综合信息；然后，通过深度玻尔兹曼机对综合的谱-空域信息进行特征提取；最后，用逻辑回归进行分类。

2.1 构造谱-空域特征向量图3 高光谱图像中像元的空域信息向量构造图假设高光谱图像数据为m×n×l的三维矩阵，其中l为像元的光谱向量的长度，每个像元对应着长度为l的谱向量hspe。

取每个像元的c×c大小的邻域元素，它对应着一个c×c×l的三维局部矩阵，将其拉伸成一维向量，从而得到像元的空域向量hspa，其长度为c×c×l。

由于高光谱图像数据的高维性以及冗余性，上述方法得到的空域特征向量维度过高。

因此，在构造空域特征向量之前先对高光谱数据进行主成分分析法白化处理，达到降维和去冗余目的，具体步骤如下：步骤1 对高光谱遥感数据沿光谱方向进行主成分分析法白化处理，保留前k个主成分，从而矩阵大小压缩为m×n×k，其中 k≪l。

k取值越大，分类精度会越高，但计算量也会增大，反之亦然。

步骤2 截取每个像元的c×c大小的邻域，并拉伸成一维向量，得到长度为c×c×k 的空域特征向量hspa，如图3所示。

像元的光谱特征向量hspe和空域特征向量hspa分别具有像元的谱域信息和空域信息。

根据深度玻尔兹曼机模型的学习方式，将两种类型的特征向量合并为一个综合的特征向量h={hspe,hspa}，因此向量h的长度等于向量hspe和空域特征向量hspa的长度之和。

2.2 深度玻尔兹曼机高光谱图像分类方法图4 融合谱-空域信息的深度玻尔兹曼机分类方法流程图上述方法构造的谱-空域特征向量中，同时包含着像元的光谱信息和空间结构信息。

通过深度玻尔兹曼机模型对该特征向量进行学习，能够得到一个综合光谱和空间结构特征的表示。

其优点在于：①能够同时对谱域和空域信息进行压缩，得到像元信息的有效表示；②用深度玻尔兹曼机模型同时对谱域和空域信息进行特征提取，获得像元的类别特征，更具判别能力，有利于后期分类。

笔者提出的基于深度玻尔兹曼机模型高光谱图像分类方法包含以下步骤：(1) 对高光谱图像数据进行主成分分析法白化处理，并按照2.1节所述构造像元的空域特征向量hspa；(2) 在高光谱图像数据中提取像元的光谱特征向量hspe，并与其空域特征向量hspa合并为综合的谱-空域特征向量h；(3) 将构造的谱-空域特征向量h输入到深度玻尔兹曼机模型中，进行特征学习；(4) 最后，将深度玻尔兹曼机模型学习到的特征输入到逻辑回归模型中进行分类。

详细的流程图如图4所示。

由于深度玻尔兹曼机模型学习算法中在计算隐层节点的激活值时，同时考虑到了上下层节点的输入信息，因此在其预训练阶段，可以应用样本数据的类别作为先验知识。

基于此，在深度玻尔兹曼机模型的顶层之上，再逻辑地增加一个标记层l，该层节点的数目等于样本类别数，则式(7)的计算隐层h2激活值修改为(8)其中,W3为隐层h2与标记层l间的权值矩阵。

这种学习算法使得深度玻尔兹曼机的训练成为有监督的训练。