压缩感知重构算法之基追踪
压缩感知重构算法之基追踪(Basis Pursuit,BP)
除匹配追踪类贪婪迭代算法之外,压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法,这类方法通过将非凸问题转化为凸问题求解找到信号的逼近,其中最常用的方法就是基追踪(Basis Pursuit, BP),该方法提出使用1l范数替代0l范数来解决最优化问题,以便使用线性规划方法来求解[1]。本篇我们就来讲解基追踪方法。理解基追踪方法需要一定的最优化知识基础,可参见最优化方法分类中的内容。
1、l1范数和l0范数最小化的等价问题
在文献【2】的第4部分,较为详细的证明了1l范数与0l范数最小化在某条件下等价。证明过程是一个比较复杂的数学推导,这里尽量引用文献中的原文来说明。
首先,在文献【2】的4.1节,给出了(P1)问题,并给出了(P1)的线性规划等价形式(LP),这个等价关系后面再详叙。
4.1 The Case 1p
In the case 1p, (1P) is a convex optimization problem. Write it out in an equivalent form, with
being the optimization variable:
11()min||||.nPsubjecttoy
This can be formulated as a linear programming problem: let A be the n by 2m matrix
[]. The linear program
()min1,0TnzLPzsubjecttoAzyx.
has a solution *z, say, a vector in 2m which can be partitioned as ***[]zuv; then ***uv
solves 1()P. The reconstruction *1,ˆnx. This linear program is typically considered
computationally tractable. In fact, this problem has been studied in the signal analysis literature
under the name Basis Pursuit [7]; in that work, very large-scale underdetermined problems.
2、基追踪实现工具箱l1-MAGIC
若要谈基追踪方法的实现,就必须提到l1-MAGIC工具箱(工具箱主页:/~justin/l1magic/),在工具箱主页有介绍:L1-MAGIC is a collection
of MATLAB routines for solving the convex optimization programs central to compressive
sampling. The algorithms are based on standard interior-point methods, and are suitable for
large-scale problems.
另外,该工具箱专门有一个说明文档《l1-magic: Recovery of Sparse Signals via Convex
Programming》,可以在工具箱主页下载。
该工具箱一共解决了七个问题,其中第一个问题即是Basis Pursuit :
Min-1l with equality constraints. The problem
11()min||||,PxsubjecttoAxb
also known as basis pursuit, finds the vector with smallest 1l norm
1||||:||iixx
that explains the observations b. As the results in [4, 6] show, if a sufficiently sparse 0x exists
such that 0Axb then 1()P will find it. When ,,xAbhave real-valued entries, 1()P can be
recast as an LP (this is discussed in detail in [10]). 工具箱中给出了专门对(1P)的代码,使用方法可参见l1eq_example.m, 说明文档3.1节也进行了介绍。
在附录中,给出了将(1P)问题转化为线性规划问题的过程,但这个似乎并不怎么容易看明白:
3 如何将(P1)转化为线性规划问题?
尽管在l1-MAGIC给出了一种基追踪的实现,但需要基于它的l1eq_pd.m文件,既然基追踪是用线性规划求解,那么就应该可以用MATLAB自带的linprog函数求解,究竟该如何将(P1)转化为标准的线性规划问题呢?我们来看文献【3】的介绍:
3 Basis Pursuit
We now discuss our approach to the problem of overcomplete representations. We assume
that the dictionary is overcomplete, so that there are in general many representations
s.
The principle of Basis Pursuit is to find a representation of the signal whose coefficients have
minimal 1l norm. formally, one solves the problem
1min||||asubjecttoas. (3.1)
From one point of view, (3.1) is very similar to the method of Frames (2.3): we are simply
replacing the 2l norm in (2.3) with the 1l norm. however, this apparently slight change has
major consequences. The method of Frames leads to a quadratic optimization problem with linear
equality constraints, and so involves essentially just the solution of a system of linear equations. In
contrast, Basis Pursuit requires the solutions of a convex, nonquadratic optimization problem,
which involves considerably more effort and sophistication.
3.1 Linear Programming
To explain the last comment, and the name Basis Pursuit, we develop a connection with linear
programming (LP).
The linear program in so-called standard form [7,16] is a constrained optimization problem
defined in terms of a variable mx by
min,0,TcxsubjecttoAxbx (3.2)
where Tcx is the objective function, Axb is a collection of equality constraints, and 0x
is a set of bounds. The main question is, which variables should be zero.
The Basis Pursuit problem (3.1) can be equivalently reformulated as a linear program in the
standard form (3.2) by making the following translations:
2;(,);(1,1);(,);.mpxuvcAbs
Hence, the solution of (3.4) can be obtained by solving an equivalent linear program. (The
equivalent of minimum 1l optimizations with linear programming has been known since the
1950’s; see[2]). The connection between Basis Pursuit and linear programming is useful in several
ways.
这里,文献【3】的转化说明跟文献【2】中4.1节的说明差不多,但对初学者来说仍然会有一定的困难,下面我们就以文献【3】中的符号为准来解读一下。
首先,式(3.1)中的变量a没有非负约束,所以要将a变为两个非负变量u和v的差auv,由于u可以大于也可以小于v,所以a可以是正的也可以是负的[4]。也就是说,约束条件as要变为()uvs,而这个还可以写为[,][;]uvs,更清晰的写法如下: []usv
然后,根据范数的定义,目标函数可进一点写为:
1||||||||iiiiiaauv
目标函数中有绝对值,怎么去掉呢?这里得看一下文献【5】:
对L1norm如何线性化的理解最主要的是要想明白为什么对单一元素的最小化,即min||x等价于以下的线性规划问题。
min,0yzyzxyz
现在假设以上的线性规划问题的最优解00,yz,并且000,0yz。这个时候,总可以找到一个很小的正数使得10100,0yyzz。而对于11,yz它们满足以上线性规划的所有约束,比如110000()yzyzyzx,但这组可行解却具有比00,yz更小的目标函数值,即002yz。这就证明了00,yz并不是最优解,从而导出矛盾。所以这一般的结论就是对于以上的线性规划问题,其最优解必须满足要吗0y,要吗0z,从而其最优目标值要吗是x,要吗是x,即||x。
压缩感知中基于FADMM的l1-l1范数信号重构
压缩感知中基于FADMM的l1-l1范数信号重构
高雷阜;徐部
【摘 要】为解决极小化l1-l1范数难以求解的问题,采用一种带有“重启动”规则的快速交替方向乘子法FADMM(Fast Alternating Direction Method of
Multipliers)对该模型求解.通过引入辅助变量,将l1-l1模型分裂为两个易于求解的子问题,采用线性化技巧使每个子问题都存在解析解,交替更新原始及对偶变量,并在迭代过程中执行变量的二次更新,同时引入重启动策略以保证算法的全局收敛性.FADMM在求解过程中无需将l1-l1模型转化为等价的基追踪BP(Basis Pursuit)问题且不要求感知矩阵行正交.仿真结果验证了该方法的可行性与有效性.
【期刊名称】《计算机应用与软件》
【年(卷),期】2018(035)007
【总页数】5页(P299-303)
【关键词】压缩感知;信号重构;快速交替方向乘子法
【作 者】高雷阜;徐部
【作者单位】辽宁工程技术大学理学院 辽宁阜新123000;辽宁工程技术大学理学院 辽宁阜新123000
【正文语种】中 文
【中图分类】TP391.9
0 引 言 压缩感知[1-3]CS(Compressed Sensing)是E.Candès、T.Tao等提出的一种寻找欠定线性系统稀疏解的技术。其核心思想是:若原始信号经某些正交变换(如小波变换,傅里叶变换)后满足稀疏或近似稀疏性,则可以将信号投影到低维空间,再通过最优化方法较为精确地实现信号重构。CS理论为降低信号采样成本、减少数据存储传输代价带来了新契机,已广泛应用于遥感图像[4]、医学成像[5]和无线传感器网络[6]等众多领域。
在CS理论中,信号重建的作用至关重要,其目标是寻求计算复杂度低且能够实现信号精确复原的算法。一种直观的重构方法是求解l0-正则化问题,即利用信号满足稀疏性的先验信息,在欠定线性系统中寻求具有最稀疏性的信号,但该求解方式难以计算。因此,当信号足够稀疏且不含噪声时,常采用与之等价的基追踪BP[7]方法重建信号。然而,在许多实际问题中,信号会受到噪声干扰。对于含高斯噪声的信号,CS理论将BP算法转化为极小化l1-l2范数BPDN(Basis Pursuit
基于一次投影子空间追踪的压缩感知信号重构
基于一次投影子空间追踪的压缩感知信号重构
刘小青;李有明;李程程;季彪;陈斌;邹婷
【摘 要】为了降低信号重构算法的复杂度,实现对稀疏度未知信号的重构,提出了一种基于一次投影子空间追踪(OPSP)的信号重构方法.首先根据约束等距性质确定信号稀疏度的上下界,并将最接近上下界中值的整数作为稀疏度的估计值;然后在子空间追踪(SP)算法的框架下,去掉了迭代中观测向量在支撑集上的投影过程,降低了算法的复杂度.为了更准确地衡量算法的重构性能,提出用完整信号的重构概率作为衡量算法重构性能的指标.与传统的SP算法相比,所提算法可以重构稀疏度未知的信号,且重构时间短,重构概率高.仿真结果验证了该算法的有效性.
【期刊名称】《计算机应用》
【年(卷),期】2014(034)009
【总页数】4页(P2514-2517)
【关键词】压缩感知;信号重构;子空间追踪;投影;重构概率
【作 者】刘小青;李有明;李程程;季彪;陈斌;邹婷
【作者单位】宁波大学通信技术研究所,浙江宁波315211;宁波大学通信技术研究所,浙江宁波315211;宁波大学通信技术研究所,浙江宁波315211;宁波大学通信技术研究所,浙江宁波315211;宁波大学通信技术研究所,浙江宁波315211;宁波大学通信技术研究所,浙江宁波315211
【正文语种】中 文
【中图分类】TN92
0 引言
由奈奎斯特采样定理可知,只有当采样速率至少是信号带宽的两倍时,才能从采样得到的离散信号中无失真地恢复模拟信号。然而,随着科技的发展,信息需求量日益增加,信号的带宽越来越宽,在信息获取中对采样速率和处理速度的要求也就越来越高。近年来,由Donoho、Candès 等提出了压缩感知理论[1-3],对于稀疏或可压缩信号,该理论可以通过远低于奈奎斯特标准的采样,实现对原始信号的精确重构。
压缩感知理论的核心问题是信号重构问题,如何从压缩测量的低维数据中最大限度地重构出原始的高维数据是其难点所在。常用的重构算法主要有组合优化算法[4-5]、凸优化算法[6-7]以及贪婪追踪算法。其中,贪婪追踪类算法对算法复杂度和重构精度进行了折中,它通过迭代的方式逐步更新支撑集,从而逼近原始信号。贪婪追踪类算法种类较多,可以分为以正交匹配追踪(Orthogonal
一种压缩感知重构算法
一种压缩感知重构算法
甘伟;许录平;苏哲
【期刊名称】《电子与信息学报》
【年(卷),期】2010(032)009
【摘 要】为提高压缩感知重构精度,该文提出一种分段弱阈值修正共轭梯度追踪算法.该算法修正了方向追踪算法的方向,明确给出了搜寻原子下标的停止迭代准则,利用搜寻所得下标集通过最小二乘法得到稀疏信号的估计值.仿真结果表明在同等稀疏的条件下实现精确重构,该算法与匹配追踪(MP)算法和分段正交匹配追踪FDR阈值算法(StOMP-FDR)相比,所需的观测值个数少20%;在处理2维图像信号时,其重构精度比分段正交匹配追踪FAR阈值算法(StOMP-FAR)和贝叶斯算法(BCS)高1%.
【总页数】5页(P2151-2155)
【作 者】甘伟;许录平;苏哲
【作者单位】西安电子科技大学电子工程学院,西安,710071;西安电子科技大学电子工程学院,西安,710071;西安电子科技大学电子工程学院,西安,710071
【正文语种】中 文
【中图分类】TN911.72
【相关文献】
1.一种基于块稀疏的1比特压缩感知重构算法 [J], 熊杰;陈浩;闫斌
2.一种压缩采样硬阈值追踪压缩感知重构算法 [J], 牛亚坤;玉振明;李陶深;黄韬
3.一种分块图像的BP压缩感知重构算法 [J], 刘继忠;郑恩涛;贺艳涛;付珊珊;赵鹏 4.一种改进的压缩感知重构算法 [J], 丁倩;胡茂海
5.一种最佳线性估计与多假设结合的分布式视频压缩感知重构算法 [J], 才争野;吕巨建;赵慧民;徐小平;宋智华
因版权原因,仅展示原文概要,查看原文内容请购买
基于小波基的压缩感知重构算法设计
摘 要: 针对传统重构理论下对硬件设备的高要求和高损耗问题,提出基于小波基的压缩感 知重构算法,利用小波变换在图像压缩重构上的优势,选取合适的小波基作为稀疏基,对一 维信号和二维图像采用正交匹配追踪 (omp)算法,进行信号的压缩和重构,并对算法进行相
应的改进。实验表明,压缩感知理论用于数字信号和数字图像处理有着显著的优势。
关键词: 压缩感知; 小波分析; 稀疏基; 测量矩阵; 重构信号
中图分类号: tn911.73?34 ; tq028.1 文献标识码: a 文章编号: 1004?373x ( 2016)
13?0059?04
0 引 言 随着信息技术的飞速发展,人们对信息量的需求剧增,以信息带宽为基础的信号处理框 架要求的采样频率和处理速度也越来越高, 传统的 nyquist 采样已经不能满足人们的需求 [1] 。 而近年来出现的压缩感知理论能够有效规避传统采样的许多难题,给信号的采样、存储、传 输和处理带来巨大的便利和经济效益, 被越来越多的领域接受和应用 [2?3] 。小波分析在时域 和频域上同时具有良好的局部化性质,加上小波的多分辨率分析特性,使之能更好地应用于 图像处理领域。压缩感知理论在信号压缩过程中,对稀疏矩阵和观测矩阵的选取最为关键, 故将小波基作为稀疏矩阵进行压缩,对图像处理有着重要意义 [4] 。
本文将压缩感知理论与小波理论相结合,选取合适的小波基作为稀疏基,对一维信号和 二维图像进行信号的压缩和重构,并对算法进行了相应的改进。
1 压缩感知算法与小波理论分析
1.1 压缩感知算法实现 传统的压缩采样重构理论包括两个基本过程:编码和解码。压缩感知理论也不例外,但
在实现方式上有所区别,直接对信号进行较少采样的同时得到信号的压缩表示,省去了点采 样的中间过程,在节省了采样频率和传输成本的情况下,达到了集采样与压缩同时进行的目 的。另外,该理论还指出了将模拟信号直接采样压缩为数字形式的有效途径,具有直接信息 采样特性 [3] 。
基于基追踪一Moore.Penrose逆矩阵算法的稀疏信号重构
第35卷第2期
2013年2月 电子与信息学报
Journal of Electronics&Information Technology V_01.35 NO.2
Feb.2013
基于基追踪一Moore.Penrose逆矩阵算法的稀疏信号重构
张晓伟 李明 左磊
(西安电子科技大学雷达信号处理国家重点实验室 西安710071)
摘要:压缩感 ̄N(Compressed Sensing,cs)稀疏信号重构其本质就是在稀疏约束条件下求解欠定线性方程组,基 于迭代加权L~p(O<P 1,P=2)类范数算法减小重构误差成为近来稀疏信号重构热点之一。该文提出了基追踪一
Moore—Penrose逆矩阵(Basis Pursuit—Moore—Penrose Inverse Matrix,BP—MPIM)算法:(1)由基追踪(Basis Pursuit,
BP)算法得到稀疏信号非零元素位置(亦称支撑集,对应于测量矩阵的列);(2)通过求解由支撑集所对应测量矩阵的
子矩阵和CS测量值组成的超定线性方程组实现稀疏信号重构,并证明了由此重构的稀疏信号是其唯一最小二次范
数解。仿真的稀疏信号和实测宽带雷达回波信号脉冲压缩结果表明,和原来算法相比,新算法具有更小的重构误差,
且误差只存在于其支撑集内。
关键词:雷达信号处理;压缩感知fCS);信号重构;基追踪(BP);Moore—Penrose逆矩阵 中图分类号:TN957.51 文献标识码:A 文章编号:1009—5896(2013)02—0388—06
DOI:10.3724/SP.J.I 146.2012.00238
Sparse Signal Reconstruction Based on Basis
Pursuit.Moore.Penrose Inverse Matrix
Zhang Xiao—wei Li Ming Zuo Lei
(National Laboratory of Radar Signal Processing,Xidian University,Xi’an 710071,China)
压缩感知重构算法在稀疏信号恢复中的应用
第29卷第5期 2013年10月 山西大同大学学报(自然科学版) Journal of Shanxi Datong University(Natural Science) V0l_29.No.5 0ct 2013
文章编号:1674—0874(2013)05—0001—03
压缩感知重构算法在稀疏信号恢复中的应用
宋晓霞,李勇
(山西大同大学数学与计算机科学学院,山西大同037009)
摘要:阐述了压缩感知理论产生的背景、基本原理和应用方式,研究了两类压缩感知重构算法的重构思想和 方法,并将两类重构算法的典型算法正交匹配追踪和基追踪应用于稀疏信号的重构。结果表明:对于无噪观测和 含较小噪声的观测,正交匹配追踪算法从重构频率和重构时间两方面显示出更好的性能。 关键词:压缩感知;重构算法;稀疏信号;贪婪追踪算法;凸松弛算法 中图分类号:TN911 文献标识码:A
由于Shannon/Nyquist采样定理能为模拟数据
采样提供理论基础,因此它的提出是电子信息技术 发展史上的一个重要里程碑事件。近半个世纪以来
的数据采样均以Shannon/Nyquist采样定理为基础。 然而,在诸如图像和视频处理、超宽带信号处理、
核磁共振、空间探测、无线传感器网络等实际应用 中,均需要两倍带宽的Nyquist采样率,但硬件设
备的升级还是无法满足这些应用的需要。2006年 D.Donoho、E.Candes和T.Tao等提出了一种被称 为压缩感知(compressed sensing,CS)的新的信息获
取理论f1_2J。由于cs框架下的数据处理体系能利用 稀疏信号的本质特征,用低维投影来捕捉高维信号
的特征,并通过重构算法从低维投影中提取出高维 信号的信息,因此,在它问世的短短几年里就受到 国内外学者的广泛关注和研究。
1 CS理论
CS理论是集采样与压缩为一体的信息获取理 论。该理论【卜 】指出:在观测矩阵满足有限等距属 性(restricted isometry property,RIP)的条件下,解码 端能利用优化算法从O(klog(Ⅳ/ )次观测以很高 的概率来完全地恢复信号,其中Ⅳ是信号的长 度,k是该信号的稀疏度。具体原理 为:假设一 个长度为』v的信号 是稀疏的或可压缩的,并令
压缩感知求解欠定方程
压缩感知是一种用于求解欠定方程组的方法,它的核心思想是利用信号的稀疏性来减少测量次数,从而实现高质量的信号重构。在压缩感知中,我们通常使用一个列向量来表示一组线性方程,其中每个列向量都对应一个方程。我们的目标是找到一个尽可能小的解向量x,使得与一组观测值y相匹配。
具体地说,我们可以将欠定方程组表示为下面的形式:
在压缩感知中,我们假设x是一个稀疏向量,即只有很少的元素是非零的。这意味着我们可以使用一些压缩算法(如压缩采样)来对x进行采样,并得到一个更小的向量y,其中y的维度小于x的维度。然后,我们可以使用一些解法来求解这个欠定方程组,并得到原始信号x。
常见的压缩感知解法包括基追踪、OMP、BP等。这些算法都是基于贪婪迭代的思想,通过逐步增加支撑集(即非零元素所在的位置)来求解x。这些算法的性能取决于信号的稀疏性、矩阵\Phi的性质以及测量矩阵的数量等因素。
压缩感知重构匹配类算法分析
压缩感知重构匹配类算法分析
摘 要: 压缩感知理论是一种利用信号的稀疏性或可压缩性而把采样与压缩融为一体的新理论体系,它成功地克服了传统理论中采样数据量大、资源浪费严重等问题。该理论的研究方向主要包括信号的稀疏表示、测量矩阵的设计和信号的重构算法。其中信号的重构算法是该理论中的关键部分,也是近年来研究的热点。本文主要对匹配追踪类重构算法作了详细介绍,并通过仿真实验结果对这些算法进行了对比和分析。
关键词: 压缩感知; 稀疏信号; 重构算法; 匹配追踪类压缩感知算法
abstract:the compressive sensing theory is a recent
proposed theory, which can utilize the sparse and compressive
characteristics of signals to combine the sampling and
compression processes into only one procedure. it overcomes
the shortcomings of large sampling data and significant waste
of resource in traditional theories. the research areas in
compressive sensing mainly include the sparse representation
of signals, the design of measurement matrix, and signal
reconstruction algorithms. the reconstruction algorithm is
the key component of this new theory and is the focus of recent
基于压缩感知的 OMP 改进重构算法
基于压缩感知的 OMP 改进重构算法
王军;孔令斌;赵洁
【摘 要】针对无线通信网络近些年出现的大数据量信号的情况,在对信号采样的同时进行适当压缩,利用合适的重构算法实现了用少量的采样值或观测值对信号进行重构。在原有基于 OMP(正交匹配追踪)的压缩感知重构算法的基础上引入
AS(交替步长),提出一种新的改进算法———GP-OMP(梯度正交匹配追踪)算法。实验结果表明,该改进算法利用前一感知时刻获得的频谱信息,不仅能有效地降低重构算法的计算量,还能有效地减少重构耗时,并得到与原有方法基本一致的重构效果。%In view of the emergence of mega data signals in wireless
communication networks in recent years,this paper proper-ly compresses
these signals while performing signal sampling and realizes their
reconstruction with small amount sampling val-ue or observed value by
using an appropriate reconstruction algorithm.On the basis of the original
Orthogonal Matching Pur-suit (OMP)-based compressed sensing
reconstruction algorithm,the Alternating Step-size (AS)is introduced and
an improved algorithm,i.e.GP-OMP algorithm proposed.Experimental
results show that the spectrum information this algorithm ob-tained by
基于压缩感知的实时目标追踪算法
基于压缩感知的实时目标追踪算法
赵珍珍
【摘 要】An efficient object tracking algorithm based on compressive
sensing is proposed to improve the implementation speed and efficiency
of ℓ1 tracker and the OMP tracker. It transforms the spatial data to the
wavelet domain,and compresses wavelet signal by means of variable
density sampling matrix to reduce the data size greatly. Besides,OMP
algorithm is replaced by St⁃OMP algorithm to improve the speed of sparse
reconstruction in the process of sparse reconstruction. Experiments in
several challenging video sequences show that the proposed algorithm
achieves better tracking result both in accuracy and speed.%提出了一种高效的基于压缩感知的实时目标追踪算法,该算法将空域数据转换到小波域,然后利用变密度采样矩阵对小波域数据进行压缩,从而极大地降低了数据量。在稀疏重建上,将St⁃OMP算法代替OMP算法以提高稀疏重建的速度。在多种具有挑战性的视频序列上进行实验,结果表明该算法提高了追踪准确度和速度。
【期刊名称】《现代电子技术》
【年(卷),期】2015(000)003
