Compressive sensing中文原创翻译

压缩感知

Richard Baraniuk

莱丝大学

IEEE信号处理杂志课堂笔记2007年7月24卷

1范畴

香农和奈奎斯特采样定理告诉我们对一个信号进行均匀采样时要想不丢失信息采样频率不能低于二倍带宽。在许多应用当中，包括数字图像和视频摄像中，奈奎斯特频率会很高以至于采样量非常大，不得不压缩来储存或者传输。在其他的应用中，包括图像系统（医学扫描仪，雷达）以及高速模数转换器中，不断提高的采样频率或采样量超越了现在技术水平，代价很高。

在这堂课，我们将学到一种新的技术，用压缩感知解决这些问题]2,1[。我们将用一种更加普通的线性测量优化求解方案代替传统的采样和信号重构算法，以远低于奈奎斯特采样频率获得某种信号。

2相关

在这呈现的想法可以用来例证数据获得，线性代数，基础扩展，反相问题，压缩，维度降低和许多问题的优化求解之间的联系，从本科或者研究生的信号处理到统计和应用数学。

3必备条件

理解和讲解这个材料的条件是线性代数，基础优化，基础概率。

4问题陈述

奈奎斯特采样频率完整地通过探索带宽限制描述了一个信号。我们的目标是通过探索信号的可压缩性减少完整描述信号所需的测量。这个方法是我们的测量不是点采样而是更普遍的信号的线性函数。

假如一个时域有限长一维离散信号x ，我们把它当做N R 空间中一个列向量，其中N R 中元素为][n x ，.,...,2,1N n =我们把一个图像或者高维数据投影到一个长的一维向量中。

任何信号在N R 中可以用基础的1×N 的向量N i i 1}{=?来表示，简单起见，假设基

是正交的。通过把向量}{i ?转置形成基矩阵]|...||[:21N ???=Ψ，我们可以把任意信号x 表示成

∑==N i i i s x 1?或者s

x Ψ=(1)

其中

s 是1×N 行权值系数向量，x x s T i i i ??==,，其中T .表示转置。很明显，x 和s 是同一信号的等价表示，x 表示时域，s 表示Φ域。

我们将聚焦有稀疏性的信号，其中x 是K 基向量线性组合，N K <<。也就是说，在)1(i s 中只有K 个非零值和()K N ?个零值。稀疏性在于实际中许多自然信号和人造信号是可压缩的这样就存在字典Ψ，其中有很少大系数和很多小系数。可压缩信号用?K 稀疏值近似表示。这就是变换编码的基础]3[。例如，自然图像在离散余弦变换和小波变换中是可压缩的，JPEG 和2000?JPEG 压缩标准基于此。视频信号和许多通信信号在自身傅氏变换基中是可压缩的。

转换编码在数据获得系统中扮演了中心角色，例如数字照相机，其中采样数量非常高但是信号是可以压缩的。在这个框架中，我们获得完整地N 点信号x ；通过x s T Ψ=计算完整地变换系数}{i s ；找出K 个最大的系数，舍弃()K N ?个最小的系数；并且编码这K 个值，确定最大系数的位置。（实际中，我们也把这些值和位置转变成数字位）。

不幸的是，这种采样然后压缩的结果有固有的不足：第一，即使需要的K 很小我们也必须开始用大量的数值N 。第二，编码器必须计算所有的N 个变换系数}{i s ，虽然我们只保留其中的K 个。第三，编码器要面对大系数编码和定位的开销。

作为一种选择，我们将研究一种更加普遍的数据获得方法，把信号进行直接压缩，无需中间获得N 采样值这一步。这种更加普遍的线性测量值计算x 和收集向量M

j j 1}{=φ中N M <个内积，设>=

j φ作为行形成N M ×矩阵Φ，代入)1(中，我们写成

s s x y Θ=ΦΨ=Φ=(2)

其中ΦΨ=Θ:是一个N M ×的矩阵。图1是)2(的图像描述。注意测量过程是非适应的；也就是，Φ不取决于信号x 。

我们下面的目标是设计一个测量矩阵Φ和一个?K 稀疏可压缩信号的重构算法，只需获得K M ≈或者稍微多一点的测量值或者与传统变换编码一样多的测量。我们的方法基于最近提出的压缩感知理论]2,1[。

5解决方案

解决方法由两部分组成。第一步，我们设计一个稳健的测量矩阵Φ确保任意?K 稀疏或可压缩信号的突出信息没有破坏，通过把N R x ∈降维到M R y ∈。第二步，我们设计一种信号重构算法来从测量值y 中恢复x 。首先，我们主要关注?K 稀疏信号。

5.1稳健的测量矩阵

首先，我们基于矩阵Φ设计数据获得系统的测量方法。我们打算从我们可以稳健重构?N 信号x 中或者字典Ψ中相等的稀疏系数向量s 中获得M 个测量值（向量y ）。很明显，如果测量过程破坏了x 中的信息，重构是不可能的。不幸的是，一般的情况是：因为测量过程就矩阵Φ和Ψ是线性的和限定的，求解给定的y 是

一个N M <的线性代数问题，方程的个数少于未知数的未知数的个数，通常是一个病态解。

然而，这个?K 稀疏给我们提供了解决方案。在这种情况下，测量向量y 是Θ的K 列线性组合，对应的0≠i s （见图)(1b ）。因此，如果我们知道一个先验事件s 中K 个值是非零的，然后我们形成K M ×的线性方程，在这个方程中方程的数量M 等于或者超过未知数K 。矩阵K M ×自适应的必要充分条件是对于任意?K 稀疏矩阵V 满足

θθ+≤Θ≤?112

2

v v (3)

总而言之，矩阵Θ必须保存向量的长度。

当然，实际中我们不需要知道s 中?K 稀疏的位置。有趣的是，对于?K 稀疏和可压缩的信号有解的充分条件是满足)3(。这就是所谓的有限等距性质。

保证稳定性的可选方法是确保测量矩阵Φ和系数变换矩阵Ψ是不相关的，向量}{j φ不能稀疏表示向量}{i ?，反之亦然]4,2,1[。典型的例子是}{j φ为δ冲积函数并且}{i ?为傅里叶正弦系数；傅里叶不确定性立即服从于这种不相关性。

所以，给定一个系数变换矩阵Ψ，我们如何设计测量矩阵Φ使得ΦΨ=Θ满足有限等距性质。不幸的是，单独验证Φ是否满足有限等距性质在组合上是复杂

的。我们必须验证长度为N 的向量v 中K 个非零值()N K 种可能组合都满足)3(。

在压缩感知中，我们通过选择随机矩阵Φ来避开这一问题。例如，均值为零方差为N 1的高斯矩阵（白噪声），元素i j ,φ相互独立，均匀分布]5,2,1[。然后，测量y 仅仅是x 中元素的不同的随机线性组合（回想图像)(1a 和随机矩阵Φ）。

高斯矩阵Φ有两个有意思的有用性质。第一，Φ与基I =Ψ的δ冲击函数高概率不相关，因为它充分地利用N 个脉冲来表示Φ中的每一行。更严格地说，使用

浓度测量参数如果)log(K N cK M ≥，θ为一个小的常数，N M ×的高斯矩Φ=Φ=ΘI 高概率地满足有限等距性质。因此，我们希望仅仅从

N K N cK M ≤≥)log(随机高斯测量中高概率地恢复长度为N ，稀疏度为K 的可压缩信号。第二，由于高斯分布矩阵Φ的属性，矩阵ΦΨ=Θ也是满足高斯分布的，不管稀疏变换矩阵Ψ如何选择。因此，随机高斯测量矩阵Φ具有普适性，因为对于任意的Ψ来说，ΦΨ=Θ高概率地满足有限等距性质。

在其他的情况下，随机值等于1±的Rademacher 矩阵也满足有限等距性质性质，具有普适性。

5.2信号重构算法

有限等距性质理论上保证了?K 稀疏或可压缩信号可以被y 中的M 个测量值完整描述，但是没有告诉我们如何恢复它。信号重构步骤必须采用测量值y ，随机测量矩阵Φ（或者生成Φ的随机种子），以及稀疏变换矩阵Ψ来恢复长度为N 的信号x ，或者恢复稀疏系数向量s 。我再次主要关注?K 稀疏信号。

因为在)2(中N M <，有无限多个's 满足y s =Θ'；它们都满足N R 空间中M N ?维超平面s +ΘΝ=Η)(:，对应着Φ的零空间)(ΘΝ，可以转化成稀疏解s 。这是因为零空间中任意向量r 如果y s =Θ成立，那么y r s =+Θ)(就成立。因此，我们的目标是在被转化的零空间中找到信号的稀疏系数向量s 。

定义向量s 的p l 范数为()p

i N i p s s ∑==1。当0=p 时，我们获得0l 范数，计算了s 中非零实数的个数；所以?K 稀疏向量有0l 范数K 。

最小2l 范数重构：解决这种类型的反问题的经典方法是通过最小二乘法；就是说，在被转化的零空间Η我们选择有最小的2l 范数的向量：

y s s s =Θ='2'min arg ?例如(4)

甚至有一个更加便利的闭型解y s T T 1')(?ΘΘΘ=。但是不幸的是，但我们找的

向量s 是?K 稀疏的，2l 最小范数几乎无法找到它。相反我们找的是不稀疏的是s

?（详见下面的1.6小节）。

最小0l 范数重构：应为)4(中的2l 范数没有反应信号的稀疏性，一个逻辑上的选择是寻找在转化的零空间Η中最稀疏的向量。

y s s s =Θ='0'min arg ?例如(5)

可以看出，仅仅用1+=K M 个高斯测量，任何优化解将高概率地准确恢复?K 稀疏信号。但是不幸的是，求解)5(不但是数字上不稳定而且是一个NP 完全问

题，需要s 中所有非零实数的()N K 种可能组合穷尽列举。

最小1l 范数重构：压缩感知的惊喜在于从)log(K N cK M ≥的高斯测量中我们可以准确的重构?K 稀疏向量并且通过1l 优化求解高概率地稳定近似压缩向量。

y s s s =Θ='1'min arg ?例如(6)

这是一个降到线性程序的凸优化问题，称为BP ，其计算复杂度大约是

)(3N Ο。

总而言之，压缩感知数据获得系统由基于Φ的随机测量组成，用线性编程重构得到x 。

7实例

考虑一下不用预先收集N 个像素值，直接获得M 个随机线性测量的单像素数字照相机。与期待的图像相适应的入射光场没有聚焦到CCD （电荷耦合元件）或者CMOS （互补金属氧化物半导体）采样阵列上，而是经反射离开了由一个阵列极小的镜像所组成的DMD （数字微镜装置）上。（在许多计算机投影仪和投影电视上都能找到DMD ）。反射光然后由另一个透镜收集并且聚焦到单发光二极管上（单像素）。每一个镜像要么独立的朝向发光二极管（见1a ）要么远离放光二极管（见0a ）。每一个测量值j y 被如下获得：RNG （随机数字发生器）用伪随机序

列1/0设计镜子的朝向来创建测量矩阵j Φ。发光二极管上的电压等于j y ，j Φ和期待的图像x 之间的内乘积项。重复这个过程M 次来得到y 中所有的实数。

通过一个单像素照相机样机，使用比重构信号所需少%60的随机测量值获得图像x

?，图)(3b 和)(c 以此图像和一个目标物体为例。在此，用一个近似小波域的1l 重构的全方差优化]1[实现重构。

单像素压缩感知方法的一个主要有点在于这样的照相机可以在很难或创建大量传感器很贵的波段上处理图像。它也可在时域获得数据实现视频重建。8结论

在这堂课中，我们了解到采样不是获得信号的唯一方法。当信号本质上是可压缩或稀疏的，用随机测量和优化获得我们需要的测量更有效和更具流线型。我们也了解到在信号重构上我们的老方法最小二乘法不好用，我们需要关注像线性编程这样的凸优化求解方法（见]10,4[）。压缩感知仍然是一个方兴未艾的领域，许多有趣的研究问题仍旧是公开的。要想获得关于现在的研究方向的大量详尽的参考文献，请登录./..cs edu rice dsp