基于隐空间的低秩稀疏子空间聚类

合集下载

基于稀疏子空间聚类的人脸识别方法

基于稀疏子空间聚类的人脸识别方法

基于稀疏子空间聚类的人脸识别方法张彩霞;胡红萍;白艳萍【摘要】We offer two kinds of sparse subspace clustering optimization algorithm,sparse linear space clustering and sparse affine subspace clustering,based on the existing theory of sparse subspace clustering algorithm. For different data gathering,these two kinds of optimization algorithm has different clustering results. In this paper,different sparse coefficient matrix by sparse expression is obtained. In order to achieve cluster,the sparse coefficient matrix is applied to relatively simple regularization of spectral clustering algorithm. Application of Yale Bdata ,we recognize and classify face image :using sparse linear space clustering algorithm is better than the sparse affine subspace clustering algorithm;Comparing with the traditional sparse subspace clustering ,it is more fast and efficient in the time of execution and error rate of algorithm.%在现有的稀疏子空间聚类算法理论基础上给出两种稀疏子空间聚类优化算法:稀疏线性子空间聚类和稀疏仿射子空间聚类.这两种优化算法针对不同的数据集会有不同的聚类效果.通过稀疏表达得到不同的稀疏系数矩阵,把稀疏系数矩阵应用到较为简单的改进的正则化谱聚类算法中实现聚类.应用Yale B数据对人脸图像进行识别分类得出:采用稀疏线性子空间聚类算法优于稀疏仿射子空间聚类算法;在算法执行时间上和算法聚类错误率比传统的稀疏子空间聚类较为快速高效.【期刊名称】《火力与指挥控制》【年(卷),期】2017(042)004【总页数】4页(P29-32)【关键词】子空间聚类;稀疏子空间聚类;谱聚类算法;人脸识别【作者】张彩霞;胡红萍;白艳萍【作者单位】中北大学理学院,太原 030051;中北大学理学院,太原 030051;中北大学理学院,太原 030051【正文语种】中文【中图分类】TP391在很多实际应用中,高维数据无处不在,如计算机视觉、图像处理、运动分割、人脸识别等。

信号与数据处理中的低秩模型——理论、算法与应用

信号与数据处理中的低秩模型——理论、算法与应用

min rank( A), s.t.
A
( D) ( A)
2 F
,
(2)
以处理测量数据有噪声的情况。 如果考虑数据有强噪声时如何恢复低秩结构的问题,看似这个问题可以用传统的 PCA 解决,但 实际上传统 PCA 只在噪声是高斯噪声时可以准确恢复潜在的低秩结构。对于非高斯噪声,如果噪声 很强,即使是极少数的噪声,也会使传统的主元分析失败。由于主元分析在应用上的极端重要性, 大量学者付出了很多努力在提高主元分析的鲁棒性上,提出了许多号称“鲁棒”的主元分析方法, 但是没有一个方法被理论上严格证明是能够在一定条件下一定能够精确恢复出低秩结构的。 2009 年, Chandrasekaran 等人[CSPW2009]和 Wright 等人[WGRM2009]同时提出了鲁棒主元分析 (Robust PCA, RPCA) 。他们考虑的是数据中有稀疏大噪声时如何恢复数据的低秩结构:
b) 多子空间模型
RPCA 只能从数据中提取一个子空间,它对数据在此子空间中的精细结构无法刻画。精细结构 的最简单情形是多子空间模型,即数据分布在若干子空间附近,我们需要找到这些子空间。这个问 题马毅等人称为 Generalized PCA (GPCA)问题[VMS2015],之前已有很多算法,如代数法、RANSAC 等,但都没有理论保障。稀疏表示的出现为这个问题提供了新的思路。E. Elhamifar 和 R. Vidal 2009 年利用样本间相互表达,在表达系数矩阵稀疏的目标下提出了 Sparse Subspace Clustering (SSC)模型 [EV2009]((6)中 rank( Z ) 换成 Z
* 本文得到国家自然科学基金(61272341, 61231002)资助。

基于低秩子空间表示的高光谱图像分类方法

基于低秩子空间表示的高光谱图像分类方法
高光谱图像的特点在于其具有高度的空间分辨率和光谱分辨率,使得图像中每个像 素都包含丰富的光谱信息。
高光谱图像的数据结构可以看作是一个三维矩阵,其中第一维是行,表示图像的行 数,第二维是列,表示图像的列数,第三维是波段,表示光谱信息。
高光谱图像的应用领域
环境监测
农业应用
高光谱图像可以捕捉到土壤、植被等环境 因素的光谱特征,从而对环境状态进行监 测和评估。
视频处理
将该方法应用于视频处理领域,可以更有效地进 行视频目标检测、行为分析等任务。例如,可以 利用高光谱图像中的时间信息,对视频中的运动 目标进行检测和跟踪。
医学图像处理
将该方法应用于医学图像处理领域,可以更有效 地辅助医生进行疾病诊断和治疗。例如,可以对 医学图像进行分类和分割,提取病变区域并进行 定量分析。
地质勘探
通过对高光谱图像的分析,可以获取农作 物的生长状态、病虫害情况等信息,为农 业生产提供决策支持。
遥感侦查
高光谱图像可以反映不同地物的光谱特征 ,从而进行地质勘探、矿产资源调查等应 用。
高光谱图像具有高度识别能力,可以用于 军事遥感侦查、目标识别等方面。
高光谱图像的挑战性问题
数据量大
高光谱图像数据量巨大,处理 难度较高,需要高效的算法和
将多个分类器的结果进行集成,以获得更好 的分类性能。例如,采用投票法将多个分类 器的结果进行集成,以得到更准确的分类结 果。
参数优化
优化模型的参数,以提高模型的性能。例如 ,使用网格搜索、随机搜索等方法,寻找最 优的模型参数。
应用拓展的方向
遥感图像分析
将基于低秩子空间表示的高光谱图像分类方法应 用于遥感图像分析领域,可以更有效地识别地物 类型、监测环境变化等。
在低秩子空间表示中,数据被表示为多个原子(或基)的线性组合,其 中基的数量远小于数据的维度。这些基可以是数据集中的样本,也可以

一种结构化低秩表示的子空间聚类算法

一种结构化低秩表示的子空间聚类算法

一种结构化低秩表示的子空间聚类算法
常陈陈;宗群
【期刊名称】《计算机仿真》
【年(卷),期】2016(033)004
【摘要】在聚类算法精度优化中,由于低秩表示的子空间聚类模型在处理特征维度小于所有子空间秩之和的数据集时存在不足,引入结构化概念,提出了一种新的结构化的低秩表示子空间聚类模型,结构化低秩表示(SLRR).上述模型不仅拥有以前低秩模型的特征,还可以增加块对角元素和非块对角元素之间的对比度,有效提高聚类的准确度.另外,还提出了一种基于重加权的高效算法,可以极大地提高提出的子空间聚类模型的计算速度.最后,分别用人造模拟数据和实际的图像数据集进行聚类实验,验证了SLRR的有效性.
【总页数】5页(P278-282)
【作者】常陈陈;宗群
【作者单位】天津大学电气与自动化工程学院,天津300072;天津大学电气与自动化工程学院,天津300072
【正文语种】中文
【中图分类】TP301.6
【相关文献】
1.一种基于低秩表示的子空间聚类改进算法 [J], 张涛;唐振民;吕建勇
2.一种新的低秩分块稀疏表示的人脸识别算法 [J], 胡昭华;赵孝磊;徐玉伟;何军
3.基于结构化低秩表示和低秩投影的人脸识别算法 [J], 刘作军;高尚兵
4.基于分布式低秩表示的子空间聚类算法 [J], 许凯;吴小俊;尹贺峰
5.结构约束的对称低秩表示子空间聚类算法 [J], 陶洋;鲍灵浪;胡昊
因版权原因,仅展示原文概要,查看原文内容请购买。

低秩稀疏求解推导过程

低秩稀疏求解推导过程

低秩稀疏表示算法求解1. 鲁棒性主成分分析(Robust Principal Component Analysis, RPCA ) min L,E rank (L )+λ‖E ‖0 s.t.X =L +E (RPCA)min L,E ‖L ‖∗+λ‖E ‖1 s.t.X =L +E (RPCA 最终求解模型)假设背景存在单一的子空间,没有考虑到高光谱影像中复杂的背景地物信息2. 低秩表示算法(Low Rank Representation )min Z rank (Z ) s.t.X =DZ (LRR 初始模型)min Z,E ‖Z ‖∗+λ‖E ‖2,1 s.t.X =DZ +E (LRR 最终求解模型)3. 低秩和稀疏表示(Low Rank and Sparse Representation )min Z,E ‖Z ‖∗+‖Z ‖1+λ‖E ‖2,1 s.t.X =DZ +E (LRASR 最终求解模型)4. 字典学习的方法上面方法采用整个矩阵作为过完备字典,实际运算计算代价较大,因此采用了学习字典方法,用少量的原子构成字典x =Dα+v (系数α是稀疏的)α̂=argmin ‖x −Dα‖2+γ‖α‖1 (采用稀疏编码方法来求稀疏系数)D (n+1)=D n −μ∑(D n αi −x i )αi T M i=1 (字典学习过程)5. 单/多局部窗口低秩表示模型(SLW_LRRSTO/MLW_LRRSTO )min Z,E ‖Z ‖∗+η‖Z −Z ̃‖F2+λ‖E ‖2,1 s.t.X =DZ +E, 1d T ∙Z = 1n T矩阵的各种范数含义:‖∙‖∗ 核范数,矩阵的奇异值之和,用于rank (∙)的松弛求解‖∙‖0 0范数,矩阵中非零元素的个数,通常松弛到‖∙‖1之后进行求解‖∙‖1 1范数,矩阵元素的绝对值之和(稀疏规则算子,L1范数是L0范数的 最优凸近似,而且它比L0范数要容易优化求解)‖E ‖2,1 ℓ1,2范数,矩阵中各列的2范数之和‖∙‖F F 范数,矩阵元素的绝对值的平方和,再开方参数λ称为正则化参数,用于控制稀疏解的稀疏度,λ取值越大,解α就越稀疏。

隐子空间聚类算法的改进及其增量式算法

隐子空间聚类算法的改进及其增量式算法

隐子空间聚类算法的改进及其增量式算法董琪;王士同【期刊名称】《计算机科学与探索》【年(卷),期】2017(11)5【摘要】基于稀疏表示的隐子空间聚类(latent subspace clustering,LSC)算法,相对于传统的子空间聚类算法,具有更快的聚类速度,使其适用于更大的数据集,但是其存在字典训练具有随机性,占用内存过多等缺陷.参照LC-KSVD字典训练算法的思想,通过将一部分信号的标签信息添加进字典训练阶段,以此提高了字典的判别性,进而提出了聚类精度更好的ILSC (improved LSC)算法.但相比于LSC算法,ILSC算法在字典训练阶段的耗时却大幅增加,针对此缺陷,参照增量字典训练的思想,提出了ILSC算法的增量式聚类算法I2LSC (incremental ILSC),在确保聚类精度、NMI(normalized mutual information)、RI(Rand index)值高于LSC且与ILSC 相当的同时,较之ILSC具有更快的运行速度.%Compared with the traditional subspace clustering algorithms,the latent subspace clustering (LSC) algorithm based on sparse representation has faster clusteringspeed,thereby it can be applied into larger data sets.However it still has two shortcomings.One is the randomness and slowness in dictionary training phase and the other is its occupying too much memory.On the basis of the LC-KSVD algorithm,this paper proposes the ILSC (improved LSC) algorithm to obtain its enhanced clustering accuracy by adding some labels into the dictionary training phase to improve its discrimination.However,compared with the LSC algorithm,ILSC algorithmconsumes more time in dictionary training phase.In order to circumvent this drawback,based on the idea of incremental training,this paper develops the I2LSC (incremental ILSC) algorithm to achieve comparable clustering performance to ILSC algorithm in the sense of clustering accuracy,NMI (normalized mutual information) and RI (Rand index),but faster speed than ILSC.【总页数】12页(P802-813)【作者】董琪;王士同【作者单位】江南大学数字媒体学院,江苏无锡214122;江南大学数字媒体学院,江苏无锡214122【正文语种】中文【中图分类】TP391【相关文献】1.改进萤火虫优化的软子空间聚类算法 [J], 张曦;赵嘉;李沛武;王家园;谢智峰2.一种改进的GP-CLIQUE自适应高维子空间聚类算法 [J], 肖红光;谭雯;邓国群;向德华;李宁3.一种基于海量高维数据的软子空间聚类改进算法 [J], 容会;沈江炎;韩珂;周祖坤;殷洪杰4.改进的多样性驱动的多视图子空间聚类算法 [J], 刘金花;王洋;贺潇磊5.基于近邻图改进的块对角子空间聚类算法 [J], 王丽娟;陈少敏;尹明;许跃颖;郝志峰;蔡瑞初;温雯因版权原因,仅展示原文概要,查看原文内容请购买。

改进的稀疏子空间聚类算法

改进的稀疏子空间聚类算法张彩霞;胡红萍;白艳萍【摘要】在现有的稀疏子空间聚类算法理论基础上提出一个改进的稀疏子空间聚类算法:迭代加权的稀疏子空间聚类.稀疏子空间聚类通过解决l1最小化算法并应用谱聚类把高维数据点聚类到不同的子空间,从而聚类数据.迭代加权的l1算法比传统的l1算法有更公平的惩罚值,平衡了数据数量级的影响.此算法应用到稀疏子空间聚类中,改进了传统稀疏子空间聚类对数据聚类的性能.仿真实验对Yale B人脸数据图像进行识别分类,得到了很好的聚类效果,证明了改进算法的优越性.%Based on the existing theory of sparse subspace clustering algorithm,a modified sparse subspace clustering algorithm is put forward:iterative weighted sparse subspace clustering algorithm.In order to cluster data,sparse subspace clustering algorithm clusters high-dimensional data to different subspaces by solving minimization algorithm and applying spectralclustering.Iterative algorithm has more fair punishment value then the traditional algorithm,with balancing the influence of magnitude ofdata.The algorithm is applied to the sparse subspace clustering to improve the traditional sparse subspace clustering performance for data. Simulation experiment recognizing and classify Yale B face data image.The clustering effect is very good,proving the superiority of the improved algorithm.【期刊名称】《火力与指挥控制》【年(卷),期】2017(042)003【总页数】5页(P75-79)【关键词】稀疏子空间聚类;迭代加权;谱聚类算法;人脸识别【作者】张彩霞;胡红萍;白艳萍【作者单位】中北大学理学院,太原 030051;中北大学理学院,太原 030051;中北大学理学院,太原 030051【正文语种】中文【中图分类】TP301.6在很多实际应用中,高维数据无处不在,如计算机视觉,图像处理,运动分割,人脸识别等。

基于SVD和稀疏子空间聚类的视频摘要

基于SVD和稀疏子空间聚类的视频摘要郝雪;彭国华【期刊名称】《计算机辅助设计与图形学学报》【年(卷),期】2017(029)003【摘要】为方便视频的浏览和存储,以概括视频内容为目的的视频摘要技术变得十分重要.针对目前在视频摘要问题中,根据先验知识事先确定和阈值调整2种关键帧数目的确定方法的灵活性及直观性不足这一问题,提出一种基于SVD和稀疏子空间聚类的视频摘要算法.该算法利用SVD对视频在时间维度上进行维数缩减,以累计贡献率为度量标准确定视频在时间维度上的主成分分量个数,将主成分分量个数作为关键帧数目;然后利用稀疏子空间聚类算法对视频帧进行聚类;最后在每一类中选取与其他视频帧相关性最大的帧作为关键帧,生成视频摘要.实验结果表明,文中算法生成的视频摘要内容覆盖率高,可以根据视频长度和类型灵活直观的确定关键帧数目,并且对于不同类型和长度的视频给出了累计贡献率的取值范围,可以为用户提取合适长度的视频摘要提供有效依据.%In order to make video browsing and storing more convenient, the technique of video summariza-tion whose purpose is summarizing the content of video becomes very important. At present, keyframe numbers determination method can be organized into two categories: the one determining the numbers ac-cording to the priori knowledge, and another according to threshold adjustment. However, flexibility and intuition are mostly lacked in both methods. To solve this problem, a video summarization method based on singular value decomposition and sparse subspace clustering is proposed. Firstly, timedimension of the video is reduced by singular value decomposition, and principal component numbers on time dimension which are determined by the cumulative contribution rate are regarded as the keyframe numbers. Secondly, the video frames are clustered by sparse subspace clustering. Finally, in each cluster the frame which has the biggest correlation with other frames is selected as keyframe. Experimental results indicate that the proposed method can generate video summarizations with high content coverage rate, and adjust the lengths of video summarizations flexibly and intuitively according to lengths and types of videos. The range of the cumula-tive contribution rate of videos with different types and lengths is given, which can provide an effective basis for users to extracting a summary with an appropriate length.【总页数】8页(P485-492)【作者】郝雪;彭国华【作者单位】西北工业大学理学院西安 710129;西北工业大学理学院西安710129【正文语种】中文【中图分类】TP391.41【相关文献】1.基于卷积稀疏编码和K-SVD联合字典的稀疏表示 [J], 练秋生;韩冬梅2.基于重要性感知稀疏自编码器的多视频摘要 [J], 冀中;熊凯琳;马亚茹;何宇清3.基于可靠邻居与精确簇数的稀疏子空间聚类 [J], 郑毅;马盈仓;杨小飞4.基于信息熵的加权块稀疏子空间聚类算法 [J], 龙咏红;邓秀勤;王卓薇;刘玉兰5.基于稀疏子空间聚类的多层网络社团检测 [J], 孙登第;凌媛;丁转莲;罗斌因版权原因,仅展示原文概要,查看原文内容请购买。

稀疏编码的特征选择与子空间聚类分析

稀疏编码的特征选择与子空间聚类分析稀疏编码是一种在机器学习和模式识别领域中广泛应用的技术。

它通过对数据进行特征选择和子空间聚类分析,可以提取出数据的重要特征,并将数据分为不同的子空间,从而实现对数据的有效表示和分析。

本文将探讨稀疏编码在特征选择和子空间聚类分析中的应用,并介绍其相关算法和优势。

一、稀疏编码的基本原理稀疏编码是一种通过线性组合的方式来表示数据的方法。

其基本原理是将输入数据表示为一组基向量的线性组合,其中每个基向量的权重是稀疏的,即大部分权重为0。

通过对权重进行稀疏化处理,可以选择出数据中最重要的特征,从而实现特征选择的目的。

二、稀疏编码在特征选择中的应用稀疏编码在特征选择中的应用主要通过对权重进行稀疏化处理来实现。

在特征选择过程中,我们可以将输入数据表示为一组基向量的线性组合,然后通过最小化稀疏编码的误差函数来选择出最重要的特征。

通过这种方式,我们可以选择出对数据分类或回归任务最有用的特征,从而提高模型的性能。

三、稀疏编码在子空间聚类分析中的应用稀疏编码在子空间聚类分析中的应用主要是通过将输入数据分为不同的子空间来实现。

在子空间聚类分析中,我们可以将输入数据表示为多组基向量的线性组合,然后通过最小化稀疏编码的误差函数来将数据分为不同的子空间。

通过这种方式,我们可以将具有相似特征的数据聚类到同一个子空间中,从而实现对数据的有效分类和分析。

四、稀疏编码的相关算法稀疏编码的相关算法主要包括Lasso、L1正则化、基追踪等。

这些算法通过对权重进行稀疏化处理,可以选择出数据中最重要的特征,并将数据分为不同的子空间。

这些算法在特征选择和子空间聚类分析中都有广泛的应用,并取得了很好的效果。

五、稀疏编码的优势稀疏编码具有很多优势,使其在特征选择和子空间聚类分析中得到广泛应用。

首先,稀疏编码可以选择出数据中最重要的特征,从而提高模型的性能。

其次,稀疏编码可以将数据分为不同的子空间,实现对数据的有效分类和分析。

基于稀疏表示的概率子空间聚类人脸识别

基于稀疏表示的概率子空间聚类人脸识别
彭波;谢丽萍
【期刊名称】《电视技术》
【年(卷),期】2014(38)11
【摘要】针对子空间聚类应用中高达数以百万计信号的数据集合问题,为了实现快速聚类,提出了一种基于稀疏表示的概率子空间聚类算法.首先,每个信号由一个稀疏组合的基本元素(原子)表示,这些原子构成了字典矩阵的列;接着利用稀疏表示集推导出一个混合模式的原子和信号的共生矩阵;最后,通过共生矩阵的非负矩阵分解(NNMF)得到混合模式的组件,并根据最大似然(ML)准则估算每个信号的子空间.在YaleB人脸数据库上的实验结果表明,与其他几种最先进的方法相比,所提方法取得了较好的聚类精度.
【总页数】4页(P173-176)
【作者】彭波;谢丽萍
【作者单位】苏州经贸职业技术学院,江苏苏州215009;苏州经贸职业技术学院,江苏苏州215009
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于稀疏子空间聚类的人脸识别方法 [J], 张彩霞;胡红萍;白艳萍
2.基于概率模型的重叠子空间聚类算法 [J], 邱云飞;费博雯;刘大千
3.隐式低秩稀疏表示的多视角子空间聚类 [J], 张茁涵; 曹容玮; 李晨; 程士卿
4.基于小波分析和复矩阵稀疏表示的人脸识别方法 [J], 曹玉涛;吴爱弟
5.基于小波分析和复矩阵稀疏表示的人脸识别方法 [J], 曹玉涛;吴爱弟
因版权原因,仅展示原文概要,查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

基于隐空间的低秩稀疏子空间聚类刘建华【摘要】提出了一种基于隐空间的低秩稀疏子空间聚类算法,在聚类的过程中可以对高维数据进行降维,同时在低维空间中利用稀疏表示和低秩表示对数据进行聚类,大大降低了算法的时间复杂度。

在运动分割和人脸聚类问题上的实验证明了算法的有效性。

%T his paper proposed a novel algorithm named low‐rank sparse subspace clustering in latent space (LatLRSSC ) , it can reduce the dimension and cluster the data lying in a union of subspaces simultaneously . The main advatages of our method is that it is computationally efficient . The effectiveness of the algorithm is demonstrated through experiments on motion segmentation and face clustering .【期刊名称】《西北师范大学学报(自然科学版)》【年(卷),期】2015(000)003【总页数】5页(P49-53)【关键词】子空间聚类;稀疏表示;低秩表示;运动分割;人脸聚类【作者】刘建华【作者单位】浙江工商职业技术学院电子与信息工程学院,浙江宁波 315012【正文语种】中文【中图分类】TP391过去的几十年人们见证了数据的爆炸式增长,这对于数据的处理工作提出了巨大的挑战,特别是这些数据集通常都是高维数据.数据的高维特性不仅增加了计算时间,而且由于噪声和环境空间降低了算法的性能.实际上,这些数据的内在尺度往往比实际空间中小得多,这就促使人们运用一些技术发现高维数据的低维表示,比如低秩近似和稀疏表示等[1-3].实际上,在许多问题中,高维空间中的数据往往可以用低维子空间进行表示.子空间聚类算法就是挖掘数据低维子空间的一种聚类算法[4],它已经被广泛地应用在许多领域,如计算机视觉中的运动分割和人脸聚类,控制领域的混合系统辨识,社交网络中的社区集群.为了解决高维数据聚类问题,目前已经提出了很多聚类算法,如混合高斯模型、NMF和一些代数方法(如k-subspace)、混合概率主成分分析(MPPCA)、多阶段学习与RANSAC.这些方法取得了一定的效果,但是还有很多局限性,如计算复杂度太高,对噪音敏感等.最近,利用稀疏表示和低秩表示进行子空间聚类的研究得到了广泛的关注,研究人员提出了一系列相关的新型子空间聚类算法,如稀疏子空间聚类(SSC)[5,6]、低秩表示(LRR)[4,7]、低秩子空间聚类(LRSC)[8]和低秩稀疏子空间聚类(LRSSC)[9],这些方法的本质是每一个数据点可以通过其他数据点稀疏表示或者低秩表示得到.尽管稀疏子空间聚类(SSC)和低秩表示(LRR)取得了巨大的成功,仍然有很多问题没有解决.特别是稀疏表示和低秩表示的计算复杂度相当高,尤其是当数据的维数很高的时候[6].为了解决这个问题,通常的做法是在应用这类聚类算法之前对数据进行降维预处理.一些降维方法如主成分分析(PCA)或者随机投影(RP)可以有效降低数据维数.然而,一个良好学习的投影矩阵可以在更低的数据维度上得到更好的聚类效果.基于低维隐空间的稀疏表示已经有学者提出了一些方法[10,11],但是这些方法都是为分类问题进行设计,而非针对聚类问题.基于上述问题,文中提出一种基于低维隐空间的低秩稀疏子空间聚类方法(LatLRSSC),在数据降维的同时,发掘数据的稀疏和低秩表示.首先算法学习得到数据从原始空间到低维隐空间的变换矩阵,同时在这个低维的隐空间中得到数据的稀疏和低秩系数,最后利用谱聚类算法对数据样本进行分割.为了验证文中提出方法的有效性,分别在HOPKINS 155 数据集和extended Yale B 数据集上进行运动分割和人脸聚类的实验,实验结果表明,文中提出的LatLRSSC算法具有较好的聚类性能.根据文献[5,6],每一个数据点可以表示为其他数据点的稀疏线性组合,通过这些稀疏系数构造清河矩阵进行子空间聚类.也就是说,给定一个数据集X,希望找到一个系数矩阵C,满足X=XC并且diag(C)=0.可以通过求解(1)式得到解.当数据集被噪声G污染时,SSC算法假设每个数据点可以表示为X=XC+G,可以通过求解凸优化问题(2)得到解.1.2 低秩表示(LRR)低秩表示(LRR)算法和稀疏子空间聚类(SSC)算法非常类似,区别在于LRR算法的目标是寻找数据的低秩表示,而SSC算法在于寻找数据的稀疏表示.LRR通过求解凸优化问题(3)得到解.当数据集被噪声G污染时,LRR通过求解凸优化问题(4)得到解.最后,通过得到的稀疏矩阵(利用SSC或者LRR),构造亲和矩阵,在这个亲和矩阵上利用谱聚类算法,就可以得到最终的聚类结果.不同于传统的稀疏子空间聚类算法(SSC)和低秩表示(LRR),文中将数据映射到一个低维的隐空间中,同时在这个低维空间中寻求数据的低秩稀疏系数.令P∈Rt×D为一个线性变换矩阵,它将数据从原始空间RD映射到一个维数为t的隐空间中.通过目标函数的最小化,可以同时得到变换矩阵和数据集的低秩稀疏系数:其中(6)式的第一项为求取数据集的低秩系数;第二项为求取数据集的稀疏系数;第三项的主要目的是去除噪声影响;最后一项是类似于PCA的正则项,主要目的是保证映射变换不能过多丢失一些原始空间的信息;λ1和λ2为非负常数.另外,要求P正交并且归一化,这样就避免了解的退化,并且保证了优化方法的计算效率.可以注意到,(6)式是能够进行扩展的,这样就可以对位于仿射子空间中的数据进行处理.可以对优化问题(5)增加一个约束条件得到2.1 优化问题求解根据上面的定义,有下面的命题.命题1 优化问题(5)存在一个最优化的解P*,对于某些Ψ∈RN×t,N为数据样本数,P*具有以下形式直观上,命题1是说投影变换可以写成数据样本的一个线性组合.文献[12]中,这个形式已经被应用在字典学习的框架中.基于命题1,目标函数(6)可以写为其中K=YTY.约束条件变为所以,优化问题(5)可表示为其中这样,可分别通过Ψ和C来求解这个优化问题.首先固定C,目标函数就变为其中Q=ΨΨT∈RN×N.由约束条件ΨTKΨ=I可得到新的约束条件ΨΨTKΨΨT=ΨΨT或者QKQT=Q,目标函数(12)可以进一步简化为使用同样的约束条件,并且知tr(K)为一个常数,利用K=VSVT的特征值分解,得到 ,其中Ψ.这样(13)式就可以表示为利用ΨTKΨ=MTM和变换得到等价于问题(11)的优化问题:优化问题(14)就是经典的最小特征值问题.它的解就是与Δ的前l个最小特征值相关联的l个特征向量.一旦得到了最优的M*,那么最优的Ψ*就可以利用(5)式得到: 2.3 C的优化步骤固定Ψ,通过求解下列优化问题来得到C其中B=ΨTK.接下来,推导了一个解决优化问题(16)的有效方法.在ADMM框架下,引入两个辅助变量C=C1=C2来区分两个不同的范数,引入J来保证每一步都得到闭合解: 则增广拉格朗日方程为其中μ1和μ2为可调参数.每一步中,通过分别求解J,C1和C2的梯度,更新对偶变量Λ1和Λ2,可以得到ADMM每一步的迭代公式.分别定义一个软阈值操作符和奇异值软阈值操作符Πβ(X)=Uπβ(Σ)VT,其中UΣVT为B=ΨTK的瘦型奇异值分解.得到C1和C2的更新规则如下:Λ1和Λ2的更新规则如下:求解完上述优化问题后,可以得到系数矩阵C,则亲和矩阵定义为T,最后利用谱聚类算法即可得到最终聚类结果.分别验证文中提出的LatLRSSC算法在运动分割和人脸聚类两种问题上的性能.对于运动分割问题,采用Hopkins 155数据集,包含155个视屏序列.对于人脸聚类问题,采用Extended Yale B数据集,包含38类人脸图像数据.实验中,采用聚类错误率来评价聚类算法的性能:聚类错误率.对比算法采用了LRR,LRSC,SSC和LRSSC这4种应用较为广泛的子空间聚类算法.运动分割是指从视频序列中对于不同的刚体运动提取一组二维点轨迹,对这些轨迹进行聚类,实现不同运动物体的分割.这里,数据集X为2F×N维,其中N为二维轨迹的数目,F为视频的帧数.在仿射投影模型中,这些与刚体运动相关联的二维轨迹位于维数为1,2或3的仿射子空间R2F中.实验中,采用Hopkins 155运动分割数据集,其中120个视频序列由2个运动构成,35个视频序列由3个运动构成.平均来说,每一个包含2个运动的视频序列包含N=256个特征轨迹和F=30帧画面,而每一个包含3个运动的视频序列包含N=398个特征轨迹和F=29帧画面.对于每一个视频序列,这些二维轨迹通过跟踪器自动提取,并且噪音点已经手动去除.表1比较了不同算法在Hopkins 155数据集上的聚类表现.实验中,除了文中提出的算法,对于其他算法,利用PCA进行预处理,将数据集降维到4n维(n为子空间数目).从表1 可以看出,对于2个或3个运动,文中提出的算法LatLRSSC相较于其他4种方法具有较好的聚类性能,说明LatLRSSC对于运动分割问题具有很好的效果.对比其他算法可知,相对于直接采用PCA进行降维操作,LatLRSSC通过对数据集的学习能够得到更加合理的映射矩阵.给定多个人在同一角度、不同光照的人脸图像,希望将不同的人脸图像划分开来(图1).在Lambertian假设下,物体图像在固定角度、不同光照条件下位于一个近似的9维子空间中,因此,采集的多个人的人脸图像也位于这样的9维子空间中. 采用Extended Yale B数据集,数据集包含n=38个人的人脸图像(192×168像素),每个人有Ni=64张在不同光照条件下的正面图像.为了降低计算成本和存储代价,将每幅人脸图像采样到48×42像素,并将图像向量化为2 016维,因此维度D=2 016.实验中,除了文中提出的算法,对于其他算法,依然利用PCA进行降维预处理.为了研究这些算法对不同聚类数目的聚类性能,将38类人脸分成4组,前3组分别包含1~10,11~20,21~30个人的人脸图像,第四组包含31~38个人的人脸图像.对于前3组,取n∈{2,3,5,8,10};对最后一组,取n∈{2,3,5,8}.实验结果如表2所示.从表2可以看出,文中提出的LatLRSSC对不同的聚类数目均得到了更低的聚类错误率,说明了该算法优于其他算法.文中提出了一种基于隐空间的低秩稀疏子空间聚类算法.本算法是稀疏子空间聚类和低秩表示的一种扩展,该算法在聚类的过程中可以对高维数据进行降维,同时在低维空间中利用稀疏表示和低秩表示对数据进行聚类.在运动分割和人脸聚类上的实验表明,该算法具有很好的聚类性能.与大多数子空间聚类算法一样,文中假设子空间是线性的,如何将本算法在非线性子空间上进行扩展是接下来需要继续研究的工作.。

相关文档
最新文档