基于稀疏学习的低秩属性选择算法
基于低秩稀疏表示的目标跟踪算法研究的开题报告
基于低秩稀疏表示的目标跟踪算法研究的开题报告一、选题背景及意义目标跟踪在计算机视觉领域中是一个重要的问题，涉及多个应用，例如视频监控、自动驾驶等。
随着计算机视觉技术的不断发展，目标跟踪的研究也不断深入，并且越来越受到关注。
然而，由于环境复杂多变和目标外观的变化，目标跟踪仍然是一个具有挑战性的问题。
在过去的几十年中，学者们提出了许多目标跟踪算法，其中包括传统的基于相关滤波和卡尔曼滤波的方法，以及基于深度学习的方法。
然而，由于场景的复杂性和目标外观的变化，现有的目标跟踪算法仍然存在着一些问题，例如对于光照变化和视角变化的鲁棒性不足等。
因此，本文打算研究一种基于低秩稀疏表示的目标跟踪算法，该算法可以有效地提高目标跟踪的鲁棒性和准确性。
通过使用低秩稀疏表示方法来提取目标的特征，可以有效地处理目标外观的变化和环境的噪声。
同时，该算法还可以通过多目标跟踪来实现对多个目标同时进行跟踪，从而提高系统的性能和效率。
二、研究内容本文的研究内容包括以下方面：1. 对基于低秩稀疏表示的目标跟踪算法进行研究和分析，包括算法的原理、优势和不足等。
2. 提出一种改进的基于低秩稀疏表示的目标跟踪算法，通过针对算法不足的地方进行优化和改进，提高算法的性能和鲁棒性。
3. 使用多种公开数据集进行实验，比较改进算法与其他常用的目标跟踪算法的性能和精度，验证该算法的有效性。
4. 基于实验结果进一步分析算法的优缺点，并在实际场景中测试该算法的性能。
三、研究方法本文主要采用以下方法进行研究：1. 对基于低秩稀疏表示的目标跟踪算法进行理论分析和推导，深入了解算法的原理和优势。
2. 通过针对该算法的不足之处进行优化和改进，提高算法的性能和鲁棒性。
3. 使用公开的目标跟踪数据集进行实验，比较改进算法与其他常用算法的性能和精度，验证该算法的有效性。
4. 基于实验结果进行分析，评估改进算法的优缺点，并在实际场景中测试该算法的性能。
四、研究成果和预期目标本文的研究成果主要包括以下方面：1. 提出一种改进的基于低秩稀疏表示的目标跟踪算法，能够有效地提高目标跟踪的准确性和鲁棒性。
空间序列低秩稀疏子空间聚类算法
空间序列低秩稀疏子空间聚类算法作者：由从哲舒振球范洪辉来源：《江苏理工学院学报》2020年第04期摘要：研究序列数据的子空间聚类问题，具体来说，给定从一组序列子空间中提取的数据，任务是将这些数据划分为不同的不相交组。
基于表示的子空间聚类算法，如SSC和LRR 算法，很好地解决了高维数据的聚类问题，但是，这类算法是针对一般数据集进行开发的，并没有考虑序列数据的特性，即相邻帧序列的样本具有一定的相似性。
针对这一问题，提出了一种新的低秩稀疏空间子空间聚类方法（Low Rank and Sparse Spatial Subspace Clustering for Sequential Data，LRS3C）。
该算法寻找序列数据矩阵的稀疏低秩表示，并根据序列数据的特性，在目标函数中引入一个惩罚项来加强近邻数据样本的相似性。
提出的LRS3C算法充分利用空间序列数据的时空信息，提高了聚类的准确率。
在人工数据集、视频序列数据集和人脸图像数据集上的实验表明：提出的方法LRS3C与传统子空间聚类算法相比具有较好的性能。
关键词：低秩表示;稀疏表示;子空间聚类;序列数据中图分类号：TP391.4 文献标识码：A 文献标识码：2095-7394（2020）04-0078-08序列数据特别是视频数据往往具有高维属性，利用传统聚类算法进行分析处理时，往往会遇到“维数灾难”的问题，于是研究人员提出了一系列基于表示的子空间聚类算法，如稀疏表示子空间聚类算法（SSC）和低秩表示算法（LRR），较好地解决了高维数据聚类的问题，从而得到了广泛的关注，并在众多领域得到成功的应用。
但是，这类算法是针对一般数据集设计开发的，在许多实际场景中，数据通常具有顺序或有序的属性，例如视频、动画或其他类型的时间序列数据。
然而，传统的方法假设数据点独立于多个子空间，而忽略了时间序列数据中的连续关系。
如何充分利用空间序列数据这一特性提高聚类性能，是计算机视觉领域中一个重要但又具有挑战性的问题。
基于稀疏表示和低秩表示的单样本人脸识别算法研究
AbstractSparse representation has shown an attractive performance in the field of machine learning in recent years, the essence of sparse representation is to measure the sparsity of vector. Low rank representation is driven by sparse representation, its essence is to measure the sparsity of matrix. Face recognition based on sparse representation or low-rank representation is an important research topic，the main idea is to predict the identity of the query image according to the minimum reconstruction error. Those methods effectively improve the recognition accuracy of face recognition with enough training images for each object, however, the performance deteriorate much for Single sampler face recognition(SSFR). While SSFR is the basic condition in many practical face recognition applications. From the perspective of mining the sparsity of data, this paper will propose solutions to improve the effectiveness of sparse representation and low-rank representation for SSFR:(1) SSFR based on sparse representation. The performance of sparse representation will deteriorate much for SSFR. To address this issue, a set of position images for each training image is created with. Then, a robust sparse representation (RSR) for SSFR is proposed based on a series of experiments.(2) SSFR based on low rank representation. Low rank representation can not be applied directly for SSFR due to the lack of training image. To address this, a discriminative projective low rank representation(DPLR) for SSFR is proposed with the virtual sample set which is built under the generic learning framework.Finally, the proposed algorithms are evaluated on AR and Extended Yale B face databases. The experimental results demonstrate the effectiveness and robustness of RSR for occlusion and lighting variations of face image, RSR can effectively improve the accuracy of SSFR. The experimental results also show that DPLR can effectively improve the low rank representation available for SSFR and archive better recognition accuracy and time efficiency.This paper has 20 figures, 4 tables, and 86 references.Keywords: Face Recognition; Single Sample; Sample Expansion; Sparse Representation; Low Rank RepresentationII目录摘要 (I)目录 (III)图清单 ....................................................................................................................... V II 表清单 (IX)变量注释表 (X)1 绪论 (1)1.1 研究背景及意义 (1)1.2 单样本人脸识别国内外研究现状 (2)1.3 研究内容及创新点 (5)1.4 论文组织结构 (6)2 相关理论概述 (7)2.1 引言 (7)2.2 数学基础 (7)2.3 稀疏表示 (10)2.4 低秩表示 (16)2.5 本章小结 (21)3基于稀疏表示的单样本人脸识别算法 (22)3.1 引言 (22)3.2 创建位置图像 (23)3.3 鲁棒稀疏表示 (25)3.4 复杂度分析 (29)3.5 识别 (29)3.6 实验及分析 (30)3.7 本章小结 (37)4 基于低秩表示的单样本人脸识别算法 (38)4.1 引言 (38)4.2 创建虚拟样本 (40)4.3 判别投影低秩表示模型 (43)4.4 复杂度分析 (48)4.5 识别 (48)4.6 实验及分析 (48)4.7 本章小结 (53)5 总结与展望 (54)5.1 总结 (54)5.2 展望 (55)参考文献 (57)作者简历 (64)学位论文原创性声明 (65)学位论文数据集 (66)IVContentsAbstract ........................................................................................................................ I I Contents .. (V)List of Figures ........................................................................................................... V II List of Tables .. (IX)List of Variables (X)1 Introduction (1)1.1 Research Background and Significance (1)1.2 Research Status of Single Sample Face Recognition at Home and Abroad (2)1.3 Research Content and Innovation (5)1.4 Organization of Thesis (6)2 Related Theory Summary (7)2.1 Introduction (7)2.2 Foundations of Mathematics (7)2.3 Sparse Representation (10)2.4 Low Rank Representation (16)2.5 Summary (21)3 Single Sample Face Recognition Based on Sparse Representation (22)3.1 Introduction (22)3.2 The Creation of Location Samples (23)3.3 Robust Sparse Representation (25)3.4 Complexity Analysis (29)3.5 Recognition (29)3.6 Experimental Results and Analysis (30)3.7 Summary (37)4 Single Sample Face Recognition Based on Low Rank Representation (38)4.1 Introduction (38)4.2 The Creation of Virtual Samples (40)4.3 Discriminative Projective Low Rank Representation (43)4.4 Complexity Analysis (48)4.5 Recognition (48)4.6 Experimental Results and Analysis (48)4.7 Summary (53)5 Conclusions and Prospectes (54)5.1 Conclusions (54)5.2 Prospects (55)References (57)Author’s Resume (64)Declaration of Thesis Originality (65)Thesis Data Collection (66)VI变量注释表R 实数集R n n 维实数向量空间R ⨯m n⨯m n 实数矩阵C集合 ,f g函数 ,,A X Y样本集 ,,,,,,x y c d f g z 列向量，样本 b实例，偏置 η学习率 t 迭代次数 N 样本集容量拉格朗日函数 θ常数,,λμρ 模型惩罚参数，常数 123,,,h h h h 向量形式拉格朗日乘子 12,H H 矩阵形式拉格朗日乘子,,αβγ常数形式拉格朗日乘子，模型参数 E 误差，残差 e 误差，常数,i i m n子集中元素数量，坐标 i , j坐标，上标，下标 ,,l m n样本数量 d向量维度 I 单位矩阵 ,ετ 阈值 T 训练集 Z 系数矩阵 σ 奇异值 J 代换变量 Θ 奇异值阈值算子软阈值算子 S 权值矩阵 D 度矩阵 L 拉普拉斯矩阵 Y 单样本人脸训练集 G 通用人脸训练集 P 位置图像集 Q 标签矩阵 W投影矩阵B 偏置矩阵rank矩阵A的秩()ATr A矩阵A的迹()∇f函数f的导数∇f函数f对变量x求导x<>x与y的内积,x ydiag根据向量创建对角矩阵1 绪论1 绪论1 Introduction1.1 研究背景及意义(Research Background and Significance)图像是信息的重要媒介，也是人们获取信息的重要来源。
低秩稀疏求解推导过程
低秩稀疏表示算法求解1. 鲁棒性主成分分析（Robust Principal Component Analysis, RPCA ） min L,E rank (L )+λ‖E ‖0 s.t.X =L +E (RPCA)min L,E ‖L ‖∗+λ‖E ‖1 s.t.X =L +E (RPCA 最终求解模型)假设背景存在单一的子空间，没有考虑到高光谱影像中复杂的背景地物信息2. 低秩表示算法（Low Rank Representation ）min Z rank (Z ) s.t.X =DZ (LRR 初始模型)min Z,E ‖Z ‖∗+λ‖E ‖2,1 s.t.X =DZ +E （LRR 最终求解模型）3. 低秩和稀疏表示（Low Rank and Sparse Representation ）min Z,E ‖Z ‖∗+‖Z ‖1+λ‖E ‖2,1 s.t.X =DZ +E （LRASR 最终求解模型）4. 字典学习的方法上面方法采用整个矩阵作为过完备字典，实际运算计算代价较大，因此采用了学习字典方法，用少量的原子构成字典x =Dα+v (系数α是稀疏的)α̂=argmin ‖x −Dα‖2+γ‖α‖1 (采用稀疏编码方法来求稀疏系数)D (n+1)=D n −μ∑(D n αi −x i )αi T M i=1 (字典学习过程)5. 单/多局部窗口低秩表示模型（SLW_LRRSTO/MLW_LRRSTO ）min Z,E ‖Z ‖∗+η‖Z −Z ̃‖F2+λ‖E ‖2,1 s.t.X =DZ +E, 1d T ∙Z = 1n T矩阵的各种范数含义：‖∙‖∗ 核范数，矩阵的奇异值之和，用于rank (∙)的松弛求解‖∙‖0 0范数，矩阵中非零元素的个数，通常松弛到‖∙‖1之后进行求解‖∙‖1 1范数，矩阵元素的绝对值之和（稀疏规则算子，L1范数是L0范数的 最优凸近似，而且它比L0范数要容易优化求解）‖E ‖2,1 ℓ1,2范数，矩阵中各列的2范数之和‖∙‖F F 范数，矩阵元素的绝对值的平方和，再开方参数λ称为正则化参数，用于控制稀疏解的稀疏度，λ取值越大，解α就越稀疏。
机器学习中矩阵低秩与稀疏近似
3、课程论文用 A4 纸双面打印。字体全部用宋体简体，题目 要求用小二号字加粗，标题行要求用小四号字加粗，正文内容要求 用小四号字；经学院同意，课程论文可以用英文撰写，字体全部用 Times New Roman，题目要求用 18 号字加粗；标题行要求用 14 号字加粗，正文内容要求用 12 号字；行距为 2 倍行距（方便教师 批注）；页边距左为 3cm、右为 2cm、上为 2.5cm、下为 2.5cm；其 它格式请参照学位论文要求。
1.2 l0正则
l0正则是最直接最根本的稀疏学习技术。然而不幸的是，它具有组合的性质，是 个非凸正则子，难于分析。最小化l0范数是一个NP难的问题，在理论和实践中，均只 存在指数复杂度（相对于向量维数）的算法。一般来说，绝大多数算法对求l0只能得 到一个非精确解，有的直接求解最接近l0正则的凸l1正则（显然在lp正则中，p越少越
3
华南理工大学工学博士研究生课程论文
a) p ≥ 1
b) 0 < p < 1
图 1 当p ≥ 1与0 < p < 1时，lp正则子的形状示意图。
接近l0正则），也有的研究者使用如下函数逼近来逼近l0： x 0 ≈ i log(ε + |xi|)，其 中ε是一个很小的正数，它是为了避免出现log 0数值上的无意义。但对于需要直接优
2
华南理工大学工学博士研究生课程论文
统计学习是当今机器学习领域的主流技术。向量空间的统计学习算法已经比较 成熟，近几年来，许多研究者主要把目光放在矩阵空间上。与向量空间相比，基于矩 阵空间的学习技术由于缺少扩展性，会随着问题的大小在空间和时间复杂度上分别 呈二次方与三次方增长，所以如何逼近一个目标矩阵而令机器学习技术更鲁棒更精 确更适合于大规模的情况已成为当今机器学习领域十分热门的话题。受到支持向量 机、压缩感知和非负矩阵分解等技术的启发，基于稀疏和低秩性质的假设，人们开发 了一系列基于矩阵方法的机器学习算法。
基于稀疏与低秩先验特性的高光谱图像异常检测算法研究
基于稀疏与低秩先验特性的高光谱图像异常检测算法研究基于稀疏与低秩先验特性的高光谱图像异常检测算法研究摘要：高光谱图像异常检测作为一种重要的遥感应用技术，广泛应用于农业、环境监测、灾害评估等领域。
本文针对高光谱图像异常检测问题，提出了一种基于稀疏与低秩先验特性的算法。
首先，对高光谱图像进行字典学习，构建原子集合；然后，通过稀疏表示方法对图像进行重构。
在重构过程中，引入低秩约束，以降低噪声对重构结果的影响。
实验结果表明，所提出的算法在异常检测性能上超过了传统的方法。
关键词：高光谱图像；异常检测；稀疏表示；字典学习；低秩约束1. 引言随着遥感技术的发展，高光谱遥感图像成为一种重要的遥感数据来源。
高光谱图像具有高维度、大量波段等特点，对于异常目标的检测和识别有着巨大的潜力。
异常目标的检测在农业、环境监测、灾害评估等领域具有广泛应用。
然而，由于传感器噪声、光照变化等因素的存在，使得高光谱图像中包含大量噪声，从而影响异常目标的检测和识别。
2. 相关工作2.1 高光谱图像异常检测方法针对高光谱图像异常检测问题，已经提出了多种方法。
传统的方法包括像元相似度、统计方法、异常度评估等。
这些方法较为简单直观，但其异常目标的检测精度和鲁棒性有待提升。
2.2 稀疏表示方法稀疏表示方法是一种常用的信号处理技术，利用稀疏表示的能力从噪声污染的信号中恢复出原始信号。
稀疏表示方法为高光谱图像异常检测提供了一种新思路。
2.3 低秩约束方法低秩约束方法通过对图像矩阵进行低秩分解，可以提取出图像的共享结构信息。
在图像处理领域中，低秩约束方法经常被应用于图像去噪、图像恢复等问题。
3. 方法3.1 字典学习字典学习是一种无监督学习方法，用于从数据中自动学习原子集合。
在本研究中，通过字典学习构建了高光谱图像的原子集合。
通过最小化高光谱图像的稀疏表示误差，得到了优化后的字典。
3.2 稀疏表示与重构利用优化后的字典，对高光谱图像进行稀疏表示和重构。
结构化稀疏低秩表征学习方法及应用研究
结构化稀疏低秩表征学习方法及应用研究结构化稀疏低秩表征学习方法及应用研究近年来，随着人工智能和机器学习的迅猛发展，人们对于数据表征学习的需求也越来越高。
传统的表征学习方法，如主成分分析（PCA）和独立成分分析（ICA），常常忽视了数据中存在的结构化信息，导致表示能力受限。
为了克服这一问题，结构化稀疏低秩表征学习方法应运而生。
本文将介绍结构化稀疏低秩表征学习的原理、方法和应用，并点明其在图像处理、自然语言处理等领域的潜在应用价值。
结构化稀疏低秩表征学习方法是一种同时考虑数据结构、稀疏性和低秩性的表征学习方法。
在这种方法中，数据被看作是由结构化成分、稀疏信号和低秩噪声组成的线性组合。
这种假设与现实世界中的很多数据完美契合，例如图像中的纹理和边缘信息、语音信号中的基音和谐波等。
相比于传统的表征学习方法，结构化稀疏低秩表征学习方法可以更好地保留数据中的结构信息，提高表征能力和泛化性能。
在结构化稀疏低秩表征学习方法中，表征矩阵被分解为结构化成分、稀疏信号和低秩噪声三部分。
结构化成分能够提取出数据中的结构信息，稀疏信号能够捕捉到数据的稀疏性，低秩噪声则表示数据中的噪声和无用信息。
为了得到最优的表征结果，通常会通过最小化结构化成分和稀疏信号的范数以及最大化低秩噪声的秩来进行模型优化。
这可以通过求解一个优化问题来实现，如基于交替方向乘子法（ADMM）的方法。
结构化稀疏低秩表征学习方法在许多领域都具有广泛的应用潜力。
在图像处理领域，结构化稀疏低秩表征学习方法可以用于图像去噪、图像恢复、图像分割和图像压缩等任务。
通过结合结构化成分和稀疏信号，可以提取出图像中的纹理和边缘特征，从而实现更好的图像处理效果。
在自然语言处理领域，结构化稀疏低秩表征学习方法可以用于词嵌入和文本分类等任务。
通过学习结构化成分和稀疏信号，可以建立词汇之间的语义关系和文本的语义表示，从而提高文本处理的效果。
然而，结构化稀疏低秩表征学习方法也存在一些挑战和问题。
稀疏低秩原理
稀疏低秩原理是一种在机器学习和数据分析中广泛应用的原理，它基于一个假设：大多数数据可以被解释为稀疏低秩矩阵的表示。
这个原理在许多领域都有应用，包括图像处理、文本分析、推荐系统等。
稀疏性指的是大部分数据项是零或者接近零，只有少数非零项存在。
低秩性则是指矩阵的秩较低，这意味着矩阵中的非零元素相对集中，而零元素占据了大部分空间。
这种特性使得稀疏低秩矩阵能够很好地解释许多实际问题。
在图像处理中，稀疏低秩原理可以用于图像去噪。
假设图像可以被表示为一个低秩矩阵与一些噪声矩阵的乘积，那么通过找到一个稀疏表示（即大部分元素为零）来近似这个矩阵，就可以去除噪声。
这种方法被称为Laplacian pyramid based denoising algorithm，它是一种基于稀疏低秩矩阵分解的方法。
在文本分析中，稀疏低秩矩阵可以用于表示用户行为或物品特征。
例如，用户行为矩阵可以表示每个用户对每个物品的喜好程度，如果我们将用户行为视为一个稀疏低秩矩阵，那么就可以通过学习一个模型来预测用户对未观察到的物品的行为。
这种方法被称为矩阵分解模型，如SVD或ALS方法等。
在推荐系统中，稀疏低秩矩阵也可以用于预测用户对物品的评分。
通过学习一个用户-物品交互矩阵，并假设它是一个稀疏低秩矩阵，我们可以使用这种方法来预测用户对未观察到的物品的评分。
这种方法被称为协同过滤或矩阵分解方法，如SVD、NMF（非负矩阵分解）等。
总的来说，稀疏低秩原理的核心思想是利用稀疏性和低秩性的特点来解释和预测数据。
它提供了一种简洁而有效的框架，可以处理大规模数据集中的复杂问题。
然而，稀疏低秩原理也存在一些挑战和限制。
例如，它需要大量的数据和计算资源来训练模型，而且对于一些特定的问题，可能没有足够的数据来训练一个好的模型。
因此，在实际应用中，需要根据具体的问题和数据来选择合适的方法。
希望这个回答能帮到你！。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于稀疏学习的低秩属性选择算法胡荣耀1，2，刘星毅2，3，程德波1，2，何威1，2HU Rongyao1，2,LIU Xingyi2，3,CHENG Debo1，2,HE Wei1，21.广西师范大学广西多源信息挖掘与安全重点实验室，广西桂林5410042.广西区域多源信息集成与智能处理协同创新中心，广西桂林5410043.广西钦州学院，广西钦州5350001.Guangxi Key Lab of Multi-source Information Mining&Security,Guangxi Normal University,Guilin,Guangxi541004,China2.Guangxi Collaborative Innovation Center of Multi-source Information Integration and Intelligent Processing,Guilin,Guangxi 541004,China3.Qinzhou University,Qinzhou,Guangxi535000,ChinaHU Rongyao,LIU Xingyi,CHENG Debo,et al.Low-rank feature selection algorithm based on sparse learning. Computer Engineering and Applications,2017,53（10）：132-138.Abstact：The traditional regression model does not ensure to output good performance since it conducts feature selectionwithout considering the correlation between labels.To address this issue,this paper proposes a novel robust low-rank feature selection method.Specifically,this paper considers the correlation between labels into a low-rank regression model and then employs an l2,p-norm regularization term to conduct feature selection.Meanwhile,this paper also considers subspace learning method（i.e.,Linear Discriminant Analysis（LDA））into the proposed feature selection model to adjust the result of feature selection.The iteration between feature selection and LDA enables to output optimal features until the algorithm converges.The experimental results on six public datasets show that the proposed feature selection method outperformed four comparison methods.Key words：linear regression;linear discriminant analysis;feature selection;subspace learning;sparse learning摘要：针对回归模型在进行属性选择未考虑类标签之间关系从而导致回归效果不理想，提出了一种新的具有鲁棒性的低秩属性选择算法。
具体为，在线性回归的模型框架下，通过低秩约束来考虑类标签间的相关性和通过稀疏学习理论中的l2,p-范数来考虑属性间的关联结构，以此去除不相关的冗余属性的影响；算法通过嵌入子空间学习方法（线性判别分析（LDA））来调整属性选择结果。
经实验验证，提出的属性选择算法在六个公开数据集上的效果均优于四种对比算法。
关键词：线性回归；线性判别分析；属性选择；子空间学习；稀疏学习文献标志码：A中图分类号：TP181doi：10.3778/j.issn.1002-8331.1512-0056⦾模式识别与人工智能⦾基金项目：国家自然科学基金（No.61170131，No.61450001，No.61263035，No.61363009，No.61573270）；广西自然科学基金（No.2012GXNSFGA060004，No.2015GXNSFCB139011）；广西研究生教育创新计划项目（No.YCSZ2016046，No.XYCSZ2017064）。
作者简介：胡荣耀（1992—），男，硕士，主要研究领域为数据挖掘、机器学习，E-mail：610273948@；刘星毅（1972—），男，通讯作者，副教授，主要研究领域为数据挖掘；程德波（1990—），男，硕士，主要研究领域为数据挖掘、机器学习；何威（1989—），男，硕士，主要研究领域为数据挖掘、机器学习。
收稿日期：2015-12-03修回日期：2016-03-04文章编号：1002-8331（2017）10-0132-07CNKI网络优先出版：2016-03-25,/kcms/detail/11.2127.TP.20160325.2025.074.html1引言在模式识别，计算机视觉，数据挖掘等诸多领域，高维度数据随处可见。
对高维数据的处理大大增加了数据处理的时间和空间复杂度[1]。
因此，在高维数据中进行属性约简以减少数据的维度，寻找到一个规模较小且具有代表性的属性子集成为机器学习的一个重要研究领域[2-4]。
属性约简不仅降低了处理时间，而且能够得到更紧凑和更具有泛化能力的学习模型。
现有属性约简方法通常包括属性选择和子空间学习两种[5-7]方法。
其中，属性选择是通过预设标准对每个属性进行积分排序，然后输出部分能代表整个属性集的子集，常见的属性选择方法有t-test检验法[8]和稀疏逻辑回归方法[9]等；而子空间学习[10]是通过投影实现高维属性从高维空间到低维空间的映射，来保持数据间的关联结构，常见方法如：线性判别分析（Linear Discriminant Analysis，LDA）[11]，典型关联分析（Canonical Correlation Analysis，CCA）[12]算法等。
近年来，有学者提出利用低秩回归模型进行属性选择。
低秩回归模型通过嵌入一个线性等式在预测和响应两者之间来观测数据，使得属性选择效果[13]更佳，而且已经广泛应用到能够获取默认类在相关的模式中。
但低秩回归方法直接在现实应用中易出现以下问题：首先，当输入的数据具有超大的属性时（如：文档数据、人脸数据等），传统的回归模型对于分析如此的高维数据具有很低的性能；其次，一般线性回归模型并不注重在不同的响应之间的相关性，最具代表的是最小二乘回归[14]，该方法仅仅是对每个预测的数据分别产生一个响应。
针对以上问题，提出一种结合属性选择和子空间学习（即LDA）的属性约简方法——基于稀疏学习的低秩属性选择算法（Low-rank feature selection algorithm based on sparse learning，SLR_FS）。
首先，在线性回归的模型框架中直接进行低秩属性选择，其中，低秩属性选择运用了两种方法：稀疏方法（利用l2,p-范数灵活地考虑样本和类标签之间的关系）和低秩方法（通过假设关系矩阵具有低秩，以此来考虑类标签之间的关联性）；其次，为了使得提取出的属性更具有代表性，在模型中有效地嵌入经典子空间学习方法——LDA算法，用来对低秩属性选择的结果进行微调；最后，提出一种新的优化方法，即对目标函数按顺序迭代执行低秩属性选择和子空间学习方法的优化求解算法，不断交替的迭代使得结果达到最优，最终取得全局最优解。
本文提出的SLR_FS算法结合属性选择和子空间学习各自的优点，经实验验证，该算法在分类准确率上能够达到较好的效果。
2稀疏学习简介稀疏学习（Sparse Learning）理论最初应用于图像视觉，由于具有强大的应用价值及内在理论，使得稀疏学习[15]目前得到了迅速的发展，并已经在机器学习与模式识别等领域得到广泛的应用。
在稀疏学习的基本理论中，通过对模型的参数向量w∈R n进行稀疏假设，实现稀疏正则化，再用训练样本对参数w进行拟合，主要实现的目标为：minwg(w)=f(w)+λϕ(w)（1）其中，f(w)是损失函数，ϕ(w)是正则化项，λ为控制损失函数和正则化项之间的平衡参数，通过改变λ的值调节w的稀疏性。
即λ越大，权值矩阵w越稀疏，反之亦然。
当稀疏学习应用于属性选择算法中时，能够将原始数据之间的系数权重作为重要的鉴别信息引入模型，通过对输入数据进行稀疏约束，使之变得稀疏，这样可以去除冗余属性和不相关属性，使得重要属性能够被保存下来，鉴于稀疏学习的正则化因子通常选用能够凸优化求解的范数，如此，更能够保证本文提出的模型求得唯一的全局最优解[16]。
目标函数（1）中的f(w)表示为损失函数，常见的损失函数包括：对数损失函数，据对损失函数等；同时，ϕ(w)表示为正则化项，常见的正则化项包括l2,1-范数，l1-范数等，但l2,p-范数更具灵活性，通过参数p来控制属性间关联结构的度，进而更好地进行属性选择。
3算法描述及求解3.1算法描述传统的线性回归模型，对于分类问题的处理解决如下：minZ||Y-X T Z||2F（2）其中，X=[x1,x2,⋯,x n]∈R m×n表示训练样本矩阵，n和m分别表示样本数和属性数，Y∈R n×k表示类标签矩阵，n和k分别表示样本数和类别数，比如：Y i,j=1n j 代表第i个数据点属于第j个类别，n j表示第j个类的样本数。
最后模型输出的系数矩阵Z∈R m×k表示训练样本和测试样本间重建的系数矩阵。
通常，大多数事物之间都隐含某种联系，在多类分类问题中，这种关系可能会更加明显[6，10]。
因此，为了探测这种隐藏结构，同时利用这种特性来增强已经学习好的模型。
为此，算法引入低秩结构来约束系数矩阵Z，即使用r<min(n,k)约束。
一般地，秩最小化问题是一个非凸状且NP难问题，但是秩约束的目标却是可解的，即该全局解能够得到的[17]。