压缩感知总结

压缩感知理论包括三个关键技术：信号的稀疏表示、测量矩阵的设计与重构算法

的研究。

1 信号的稀疏表示

将N 维信号x ∈R N×1在一组正交基{ψi }i=1N (其中ψi ∈R

N×1)是进行展开，得到： x =∑θi ψi N i=1 (1-1)

其中θi ==ψi T x 。写成矩阵的形式可以得到：

x =ΨΘ (1-2)

其中Ψ=[ψi ，ψ2，…，ψN ]∈R N×N 为正交基字典矩阵，Θ=[θi ，θ2，…，θN ]T

信号x 被称为K 项稀疏，表示其等价表示，向量Θ中，只有K 项元素非零，其它元

素全部为零。在我们研究的压缩感知中，主要考虑K ≪N 这种情况。这时，信号x 称为可压缩的。

通过采用测量矩阵ΦM×N (M 行N 列，且M

乘，可以得到M 个测量结果，可写为：

y =ΦΨΘ (1-3)

式(1-3)中M ×1的列向量y 是信号x 的压缩线性测量结果(观测向量)。令公式（1-3）中A =ΦΨ，得到无噪声情况下的压缩感知的模型为：

y =AΘ (1-4)

显然，式（1-4）中A 是M ×N 维观测矩阵。而含有噪声的压缩感知模型为：

y =AΘ+z (1-5)

式(1-5)中z 为噪声项。恢复出了Θ后，通过x =ΨΘ即可恢复出x 。

接下来我们要做的是找到一个合适的观测矩阵A ，使得降维后的观测向量y

依然可以保存信号Θ中的信息。然后由于式(1-5)是个欠定方程组，我们要寻找合适的重构算法来恢复Θ。 2 观测矩阵的设计

2.1 受限等距性质

信号能够重构的必要条件是测量矩阵A 满足受限等距性质RIP （Restricted

isometry property ）。为了更好的描述看受限等跟性质的定义。

定义2.1受限等距性质(RestrictedIsometry Property，RIP)[7]：令观测矩阵A

的列范数归一化，稀疏度K为自然数；任意向量v，它最多只有K项的非零元素，对于常数δK∈(0,1)，满足下式：

(1−δK)‖v‖22≤‖Av‖22≤(1+δK)‖v‖22(2-1)那么，我们称A∈RIP(K,δK)，即称A服从参数为δK的K项稀疏，矩阵A保存了K项稀疏信号的信息。对于RIP特性的一个等价描述是：所有从A中挑选出的K列组成子集合形成的矩阵是近似列正交的。即保证A中的列向量相互之间相关性尽量小。

2.2 几种具有良好受限等距性质的观测矩阵

一许多随机矩阵都以很高的概率符合RIP特性。高斯矩阵，伯努利矩阵和部分的随机傅里叶矩阵，或者说，几乎所有的满足独立同分布(Independent Identically Distribution，IID)的矩阵都以很高的概率符合RIP条件。

实际应用中，随机性在理论上有了充分的保证，但是它却很难实用，并且

还要求额外的存储空间来保存测量矩阵。另外，在一些应用中，并不允许随机

矩阵。例如，在无线通信应用领域，信号的传输过程可看做是传输信号与信道

的卷积，其中卷积是一种线性循环操作。这种卷积过程，形成了一种结构性的，随机性削弱的矩阵。尽管如此，随机的托普利兹和循环矩阵却能容易地在不同

应用中实现，而且，经过特意设计的循环矩阵同样能达到理想的压缩感知性能。

3 信号的重构算法

在压缩感知理论中，因为观测向量y的观测数量M远小于信号x的长度N，所以从

方程组的角度来看式（1-4）是一个欠定方程组。从数学角度来说，欠定方程组是无解的，但是，因为信号x是稀疏的，使得方程组有解。观测矩阵的RIP性质为从M个测量值中恢复稀疏信号x提供了理论保证。

定义 3.1 向量X={x1,…,x n}的p−范数为：

‖X‖p=(∑|x1|p

n

i=1) 1 p

当定义3.1中的p=0时得到0-范数，它表示向量X中非零元的个数。于是在信号x 是稀疏的和测量矩阵A满足受限等距性质的前提下，求解欠定方程组y=AΘ的问题转为最小0-范数问题：

min⁡‖Θ′‖0使得y=AΘ′

不难发现上述解是一个NP（Non-deterministic Polynomial hard）问题。针

对这个问题有两种解决方法。第一种是凸松弛方法，将0-范数问题变换为1-范

数最小化问题，这种解法也称为基追踪，其依赖于线性规划方法；另一种解法

则是使用贪婪算法，譬如变化的匹配追踪算法，正交匹配追踪算法等等，通过

迭代寻找，得到最优解。

此外，还有一些其它的算法基于不同的视角发展而来，像迭代阈值算法，

迭代支撑检测算法等。对于不同种类的途径，可以得到不同种类的重构算法。

基于观测矩阵A的不同设计，对于具有相同的信号长度N和相同的稀疏度K，不

同的算法要不同数量(这个数量等于M)的观测结果，并且它们提供不同的准确恢

复概率。下面我们以式（1-4）或式（1-5）进行分析，详述压缩感知常用的重

构算法。

3.1 凸优化算法

压缩感知重构算法里面基于凸优化算法的主要有两种。第一种是Dantzig

选择器(Dantzig Selector，DS)，它依然是一种基于1-范数正则化问题的解。当

存在噪声的情况时，DS方法性能相当好，并且它的计算复杂度是可追踪的，因

为它可以投射为一个线性规划的问题。另外它的性能界也好分析，对于稀疏信

号以及近似稀疏信号他们重构所引起的误差范围很方便判断。

另外一种是基追踪(Basis Pursuit，BP)算法即基于1-范数最小化求解为：

min⁡‖Θ′‖1使得y=AΘ′（3-1）而对于处理存在噪声的情况，即演化为下述问题：

min⁡‖Θ′‖1使得‖y−AΘ′‖2≤ξ（3-2）其中阈值ξ由观测噪声z决定。对于式(3-1)以及(3-2)，不同的凸优化技术可

以有效地用来解决上面的问题，如同伦法、内点法、梯度投影法；另外我们可

以借助于“CVX”工具箱在MATLAB上仿真求解。

3.2贪婪迭代算法

为另一类运算量小更易于实现稀疏信号重建算法是贪婪迭代的算法。贪婪

算法是指在求解问题时，一步步进行，在每一步不从整体上加以考虑，而从当

前角度来看，做出最好的选择，或称其为局部意义上的最佳解，经过多次迭代

以后得到问题的最优解。下面我们将分析常见算法。为了更好的描述这些算法，我们先对一些符号和等式进行概念上的说明。对压缩感知的模型：y=AΘ来说，