基于自适应权重的多重稀疏表示分类算法_段刚龙_魏龙_李妮

网络出版时间：2012-08-16 10:45网络出版地址：/kcms/detail/11.2127.TP.20120816.1045.019.htmlComputer Engineering and Applications计算机工程与应用基于自适应权重的多重稀疏表示分类算法段刚龙, 魏龙, 李妮DUAN Ganglong, WEI Long, LI Ni西安理工大学信息管理系, 陕西西安 710048Department of Information Management, Xi’an University of Technology, Xi’an 710048, ChinaAdaptive weighted multiple sparse representation classification approach Abstract：An adaptive weighted multiple sparse representation classification method is proposed in this paper. To address the weak discriminative power of the conventional SRC (sparse representation classifier) method which uses a single feature representation, we propose using multiple features to represent each sample and construct multiple feature sub-dictionaries for classification. To reflect the different importance and discriminative power of each feature, we present an adaptive weighted method to linearly combine different feature representations for classification. Experimental results demonstrate the effectiveness of our proposed method and better classification accuracy can be obtained than the conventional SRC method.Key words：adaptive weight; multiple sparse representation; SRC摘要：提出了一种基于多特征字典的稀疏表示算法。

该算法针对SRC的单特征鉴别性较弱这一不足，对样本提出多个不同特征并分别进行相应的稀疏表示。

并根据SRC算法计算各个特征的鉴别性，自适应地学习出稀疏权重并进行线性加权，从而提高分类的性能。

实验表明：基于自适应权重的多重稀疏表示分类算法，具有更好的分类效果。

关键词：自适应权重；多重稀疏表示；分类算法1 引言近年来稀疏表示理论已经成为各领域的研究热点。

该理论指出，在过完备字典下总存在稀疏表示，即信号在结构上存在大量的冗余，大部分的系数为零，只有少数为非零大系数。

表明当测试样本所在类的训练样本足够多时，重构测试样本可由这些训练样本的同类样本最佳线性加权组合表示，而其他类的样本对重构测试样本的贡献为零，从而更好的刻画样本间的相似性度信息[1]。

基金项目：陕西省科技厅工业攻关项目：面向复杂应用环境的数据挖掘中间件关键技术研究与系统开发，项目号：2011K06-13；陕西省教育厅自然科学研究项目：图像区域复制与拼接篡改盲取证技术研究，项目号：11JK0985。

作者简介：段刚龙（1977-），男，硕士，讲师，主要研究领域为智能信息处理、数据挖掘；魏龙（1988-），男，硕士研究针对这一特性，John Wright [2]将其引入人脸识别领域。

将人脸识别转化为稀疏表示问题[3]，提出了一种基于稀疏表示的分类器SRC 。

SRC 指出稀疏表示通过训练样本构成字典，测试样本的类别通过稀疏系数表示，从而得到测试样本的类别，实现分类。

虽然SRC 是一种比较有效的分类算法，但是SRC 在构建完备字典时，首先大量的随机数据仅一次特征选取，并不能捉捕信号内在本质特征，重构具有不确定性，并且对噪声的影响比较敏感[4]，所以并不能满足实际分类中的需求。

本文提出了一种改进SRC 分类器，自适应权重的多重稀疏表示分类算法，针对SRC 的单特征鉴别性较弱这一不足，对样本提出多个不同特征并分别进行相应的稀疏表示。

同时根据SRC 算法计算各个特征的鉴别性，自适应的学习出稀疏权重并进行线性加权。

从而提高算法的分类效力。

2 稀疏表示分类算法 2.1稀疏表示理论设ii d n i i 1i,i,n =[v v v ]A R×∈,2,,...,为第i 类训练样本集，12=[...]k A A ,A ,,A 为所有的训练样本，i1,11,21,31,2,12,22,32,d n 3,13,23,33,,1,2,3,...........................i i iin n n d d d d n v v v v v v v v A Rv v v v v v v v ×=∈kj j kn n ==∑是总样本数，令d y R ∈为第i 类的测试样本，y 可以通过所有样本的线性组合表示,1,2,1,2,,(,,...,)...i i i i i o i i i n i n x x y A x v v v x ⎛⎞⎜⎟⎜⎟==⎜⎟⎜⎟⎜⎟⎝⎠i即,1,1,2,2,,...i i i i i i i n i n y x v x v x v =+++ （1）由于y 的类别未知，可以将y 表示为所有训练样本的线性组合o y Ax =， 其中121,11,21,3,j d,...,,i k i n A v v v v v =（A ,A ,,A ）=(，...,,...,)0,1,2,x =[0,0,...,,,...,,0,0]i T d i i i n x x x R ∈，非零系数决定y 的类别i ， k 越大0x 越稀疏。

当n i < d ，o y Ax =有且仅有唯一解，当n i ≥d 时，o y Ax =有无穷多个解，采用l 0范数，即稀疏表示的模型[2]表示如下：00xarg min ..x x s ty Ax ∧== （2）该式为NP-HARD 问题，其中001i n i x x ==∑，l 0范数可以表示为x 中非零系数的个数，根据压缩感知原理,当所求系数足够稀疏时，最小化l 0范数的NP-HARD 可以转化为l 1范数问题进行求解。

可以将（2）更改为11xarg min ..x x s t y Ax ∧== （3）其中，||x||1为x 的l 1范数，可以通过线性规划问题解决，但是数据经常包括噪声，所以放宽限制条件，得到如下目标问题：112xarg min ..x-y x x s tA ε∧=≤ （4）其中ε是重构误差，把式（4）转化为l 1范数无约束的最小二乘问题[5-8]。

可以通过matlb 实现该问题求解[11]。

121xarg min x-y +x A x λ∧= （） （5）2.2 SRC 算法实现（1）输入训练样本矩阵id n 1k =[A A A ]A R ×∈2,,...,包含k 类，一个测试样本dy R ∈，重构误差ε﹥0（2）对训练样本A 的每一列进行归一化处理 （3）求解最小化的l 1范数问题112xarg min ..x-y x x s tA ε∧=≤或者121xarg min x-y +x A x λ∧= （）（4）计算残差i i i 12=y-i=1x A x γδ∧∧，（）（），...,k ，其中i 1,1,2,[0,0,...,,,...,,0,0]i T i i i n x x x x δ∧=（）（5）输出：i iidentity y =arg min y γ（）（），identity y （）表示y 的标记 3 多重稀疏表示模型分类算法 3.1 多重稀疏表示模型针对SRC 算法特征提取的单一性问题，本文提出了一种改进的SRC 算法，基于自适应权重的多重稀疏表示分类算法。

与SRC 算法不同，提出的方法试图通过对样本提出多个不同特征并分别进行相应的稀疏表示，同时根据SRC 算法计算各个特征的鉴别性，自适应的学习出稀疏权重并进行线性加权。

从而较好地解决单一特征稀疏表示的不确定性，准确地反映了数据内部存在的特性，减少了不必要信息的干扰，从而提升识别效率。

该算法主要针对数据特征较多的测试样本，例如图像数据：图像特征，文字特征和形状特征等。

自适应权重的多层稀疏表示法主要描述为：（1）对于训练样本进行多特征提取，建立多个完备的特征子字典Ai(i=1,2,3，…,K)。

（2）针对测试样本的通过各个特征子字典，根据SRC算法计算各个特征的稀疏表示系数（3）根据各特征对测试样本的，自适应的学习出稀疏权重并进行线性加权。

（4）计算重构误差，将测试样本归为最小重构误差所属的类别。

训练数据特征提取特征子字典，需要建立KK⎝⎠1122...K KX X Xααα=+++i ii=1KXα=∑（6）K个特征子字典，具有类内强稀疏，类间不相干性。

任一测试数据y可以用K个子字典Ai(i=1,2,3，…,K)对进行稀疏表示，使得变换系数x i最为稀疏。

并通过αi（i=1,2,3,…,K）调整描述各特征对于测试样本分类的贡献率。

训练样本的稀疏表示系数x∧可以表示为各特征的稀疏表示系数和特征权重的线性组合，其中X i表示第 i 特征的稀疏表示系数, αi表示第 i 特征的特征权重。

所以多重稀疏表示可以描述为多特征的l 0范数问题：i*110220k k 0x arg min ++...+x x x x ααα∧= （）ik*i i 0x i=1k ki1122k ki ii=1i=1arg min s.t.y =++...+=x x A x A x A x A xα∧=∑∑∑ （）（7）式（7）描述的优化问题是NP-HARD 问题，根据压缩感知理论，如果变换系数x i 足够稀疏，最小化l 0范数可以转化为l 1范数问题进行求解ik*i i 1x i=1k ki1122k ki ii=1i=1arg min s.t.y =++...+=x x A x A x A x A xα∧=∑∑∑ （）（8）因为数据中存在冗余，噪声，式（8）描述的优化问题可以转化为ik*i i 1x i=1kiii i=1arg m in s.t.-y x x A xαε∧=≤∑∑ （）（） （9）即多重稀疏表示的分类模型：ik2i ii2i i 1x i=1arg minx -y+x A x λα∧=∑ （） （10）其中，k i i=1=1α∑，是用来平衡K 个特征稀疏表示的权重，因为各个特征提取都是随机的，具有不确定性，假设各个特征的权重相等，令i 1/K α=，即为平均权重的多重稀疏表示：ik2i i i 2i 1x i=1arg min x -y +x A x Kλ∧=∑ （） （11）在该模型中关键是决定稀疏表示的特征权重α和重建的稀疏系数。