压缩感知 TV-ART图像重构
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数学模型： min f
TV
, p Af , f 0
我们采用梯度下降法来实现最小化图像总变差， 而约束条件可以通过常用的迭代算法实现如ART。 采用优化算法中梯度下降算法来使图像总变差最小化
梯度下降算法（GD）
• 梯度下降法(gradient descent)是一个最 优化算法 • 如果实值函数 F(x) 在点 a 处可微且有 定义，那么函数 F(x)在 a 点沿着梯度相 反的方向 -▽ F(a)下降最快。 • 因而，如果 b=a- r▽ F(a),对于r>0一个 够小数值，那么 F(a) ≥ F(b)成立。 • 考虑到这一点，我们可以从函数F 的局 部极小值的初始估计X0出发，并考虑如 下序列X0, X1, X2,… 使得 F(X0) ≥ F(X1) ≥ F(X2) ≥… 如果顺利的话，序列X(n)收敛到期望的 极值。每次迭代步长r可以改变。
匹配追踪算法（MP）
MP算法是一种重复迭代来逼近信号的贪婪算法， 它先选择一个原子，将信号投影到所选出的原子上，得到残差r1 即： y i , y i r1 因为残差r1是信号y减去在所选原子上的投影 i , y i 得来的， 所以r1与投影分量 i , y i 是正交的。也即： y 2 r1 2 i , y
压缩感知流程
• 压缩感知理论主要包括信号的稀疏表示、随机测量和重构 算法等三个方面。稀疏表示是应用压缩感知的先验条件， 随机测量是压缩感知的关键过程，重构算法是获取最终结 果的必要手段。
压缩感知的数学模型
• 假设x为长度N的一维信号，稀疏度为k（即含有k个非零值），φ为 M×N的二维矩阵（M<N），y=φx为长度M的一维测量值。压缩感 知问题就是已知测量值y和测量矩阵φ的基础上，求解欠定方程组 y=φx得到原信号x。 ˆ rg min x 0 s.t y x • 需要求解如下最优化问题： x 这个过程称之为重构 • 然而最小0范数是一个非确定性(Non-deterministic Polynomial:NP) 问题，通常需要对该问题加以转换，如将0范数转化为1范数问题。
iEk 2
本质也就是信号在子空间Vk span{i1 ,..., in }的正交投影。
正交匹配追踪算法（OMP）
(1)初始化：稀疏矢量初始化为x0 0，残差初始化为r0 y，所选原子序号 ˆ 0 0, 循环变量K=1。 的集合E 0初始化为，对信号的拟合初始化为y (2)选择原子：选择与上一步残差绝对内积最大的原子，即所选的原子满足： ik arg max
图像的梯度
我们用fs ,t 表示第s行，t列的像素点像素值的大小，则图像的梯度值可以表示为 f s ,t ( f s ,t f s 1,t )2 ( f s ,t f s ,t 1 )2
和原图相比，梯度图像的稀疏性较好，满足压缩感知图像稀疏性的条件。
图像的总变差（TV）
信号的稀疏变换
• 信号在某种表示方式下的稀疏性，是压缩感知应用的理论 基础，经典的稀疏化的方法有离散余弦变换（DCT）、傅 里叶变换（FFT）、离散小波变换（DWT）等。
• 最近几年，对稀疏表示研究的另一个热点是信号在冗余字 典下的稀疏分解。 这是一种全新的信号表示理论：用超 完备的冗余函数库取代基函数，称之为冗余字典，字典中 的元素被称为原子。
• 把梯度图像的L1 范数作为目标函数，也就图像的总变差 （TV）。图像的总变差可以用下式表示
f s ,t
TV
f s ,t ( f s ,t f s 1,t ) 2 ( f s ,t f s ,t 1 ) 2
s ,t s ,t
最小化图像总变差迭代算法（TV-ART）
1 k , j n
这里，k 和 j分别是观测矩阵的行向量与稀疏基矩阵 的列向量 可知, 相干参数的取值范围是[0,1).如果相干参数很小, 我们称该冗余字典 是非相 Incoherent 的，对于正交基函数集, 相干参数则为0。
信号重构算法
• 三大类常见的算法： • 一、基于凸优化算法。包括基追踪法（BP），梯度投影 法（GPSR），最小角度回归法（LARS）等 这类算法通过将最小化L0范数转换为最小化L1范数，也就 是将非凸优化问题转换为凸优化问题。 • 二、基于贪婪算法的重构算法。包括匹配追踪算法 （MP），正交匹配追踪算法（OMP），以及一系列改进 算法。 这类算法利用逐步迭代的方法来求信号的逼近值。 • 三、组合算法。包括CP(Chaining Pursuit) 链追踪法、稀 疏傅立叶描述法以及 HHSP (Heavy Hitters on Steroids Pursuit)追踪法等
观测矩阵
• 观测矩阵的主要功能就是将任何 K-稀疏的或者可压缩的原始信号x从N 维降到M维，获得M个测量值。 • 因为M<<N，方程数少于未知数。所以一般情况下压缩感知方程是没有 确定解的，属于一个欠定问题。 • 为了能够重构稀疏信号，2007 年 Tao 和 Candes 建立了著名的 RIP （Restricted Isometry Property）约束等距性条件。即压缩感知方程有 确定解的充要条件
2 2 2
为了让残差最小，那么就应该选择与信号y的绝对内积最大的原子。 也即在每一步的迭代中，应该根据当前残差与原子的绝对内积最大 的准则来选择原子，依次把信号y正交投影到所选原子来进行重复迭代。
匹配追踪算法（MP）
(1)初始化：稀疏矢量初始化为x0 0，残差初始化为r0 y，所选原子序号 ˆ 0 0, 循环变量K=1。 的集合E 0初始化为，对信号的拟合初始化为y (2)选择原子：选择与上一步残差绝对内积最大的原子，即所选的原子满足： ik arg max
正交匹配追踪算法（OMP）
• OMP选择原子的准则与MP相同,在每一步迭代中将信号投 影到由所有被选原子张成的子空间上,对所有被选原子的 系数进行更新,以使得产生的残差与被选原子都正交. • OMP 算法与 MP 算法唯一的区别就是在对信号进行拟合 的时候，OMP 算法采用了正交投影方法。因此,OMP 算 法各个迭代步骤中所产生的残差与所选择的原子都正交, 在迭代中所选择的原子都与前面所选择的原子线性无关, 这样也避免了重复选择原子的现象，另一方面,由于 OMP 算法中每一步对信号的表示均使得残差最小，因此， OMP 算法的收敛速度比 MP 快，随着迭代的进行,OMP 算法的残差慢慢减小,并且最后为零。
TV-ART算法步骤
1.计算系数矩阵W，获得投影数据P； 2.取初始图像F0 0; 用ART 算法进行迭代重建，得到重建图像Fj 基本约束条件为像素的非负性； 3.对每一次ART重建后得到的Fj，利用梯度下降算法进行全变差调整， 使每一次迭代重建图像的全变差最小化，公式如下： n f n 1 n TV f f f s ,t 4.当迭代至一定收敛次数，停止迭代。
OMP算法的matlab实现
采样率0.1
OMP算法的matlab实现
采样率0.3
OMP算法的matlab实现
采样率0.5
OMP算法的matlab实现
采样率0.7
CT图像的稀疏性问题
医学图像中的CT图像可近似看做 是分段平滑的图像，可以用空间 的有限差分变换来进行稀疏表示。 也就是说，图像本身可能不是稀疏 的，但是图像的有限差分变换却是 稀疏，也就是图像的梯度具有稀疏性。
正交匹配追踪算法（OMP）
MP算法：每一步都对信号进行了表示，在第K 步时，已选择了K 个原子 ˆ k in , rn 1 in 对信号的表示为y
n 1 k
由于冗余字典中原子不是相互正交的，因此所得到的残差不能与所选的 原子所张成的空间Vk span{i1 ,..., in }正交，这就导致了按照最大绝对内积 准则可能会重复选到已经选过的原子。另一方面，MP算法中的线性表示 并不是最佳的，不能保证残差最小。对于已经选择的K个原子来说，对信号 最好的近似应该是用最小二乘法：min y xii
RIP 指出：对于给定的任意c R 和常数 k （0,1）
T
如果使不等式成立： (1 k ) c 2 T c 2 (1 k ) c
2
2
2Βιβλιοθήκη Baidu2
则称矩阵 满足约束等距性条件。这里，T {1,2,...,N}, 且集合T中的元素个数小于等于稀疏度K，即 T K，
i 1 N
i , rk 1
(3)更新索引集E k：E k =E k-1 ik ˆ k =y ˆ k-1 + ik , rk 1 ik 也即x ˆ k =x ˆ k-1 + ik , rk 1 (4)更新对信号的表示（求稀疏矢量）：y (5)更新残差：rk rk 1 i , rk 1 i (6)迭代：k=k+1,如果满足终止条件则停止迭代，否则转到(2).
T 是由集合T 所指示的列向量构成的大小为K T 的子矩阵。
观测矩阵
但是要想找到符合约束等距性条件的观测矩阵是一个很复杂的问题 所以Baraniuk 提出了“非相干性”的概念来降低问题的难度，它指出： 只要观测矩阵与稀疏基矩阵 是不相干的，则其满足RIP准则。 两组基之间的相干性定义为：（ , ） = max k , j
压缩感知概述
• 压缩感知(Compressive Sensing）理论是由D. Donoho、 E. Candes及华裔科学家T. Tao等人于2006年正式提出的 一种新的信号处理理论。 • Nyquist采样定理指出，采样速率达到信号带宽的两倍以 上时，才能由采样信号精确重建原始信号。 • 压缩感知理论指出: 对于可压缩（可稀疏）的信号，可以 通过低于或远低于奈奎斯特标准的方式对其进行数据采样 并精确重构该信号
压缩传感新在何处？
大部分冗余信息在采样后被丢 弃，造成很大的资源浪费。能 否直接采集不被丢弃的信息？ 传统的信息获取与处理流程 压缩感知 — 直接感知压缩后 的信号。直接获取其压缩数据！ 即信号在某一个正交空间具有 稀疏性（即可压缩性），就能以 较低的频率（远低于奈奎斯特采 样频率）采样该信号，并可能以 高概率重建该信号。 压缩感知方式的信号采样与重构
30个角度，先10次ART，再30次TV+ART
30个角度，先20次ART，再20次TV+ART
30个角度，先30次ART，再10次TV+ART
30个角度，20次ART
30个角度，40次ART
i 1 N
i , rk 1
(3)更新索引集E k：E k =E k-1 ik (4)更新稀疏矢量）：x= † （最小二乘解） Ek y (5)更新残差：rk =(I M Ek † Ek ) y (施密特正交化过程) (6)迭代：k=k+1,如果满足终止条件则停止迭代，否则转到(2).
压缩感知的数学模型
但是一般的自然信号x本身并不是稀疏的，所以就需要在某种 稀疏基上进行稀疏表示，x s， 为稀疏基矩阵，s为的稀疏系数。 所以压缩感知方程为y x s s 将原来的测量矩阵 变换为 （称之为传感矩阵） ˆ, 则原信号x ˆ s ˆ? 解出s的逼近值s
TV
, p Af , f 0
我们采用梯度下降法来实现最小化图像总变差， 而约束条件可以通过常用的迭代算法实现如ART。 采用优化算法中梯度下降算法来使图像总变差最小化
梯度下降算法（GD）
• 梯度下降法(gradient descent)是一个最 优化算法 • 如果实值函数 F(x) 在点 a 处可微且有 定义，那么函数 F(x)在 a 点沿着梯度相 反的方向 -▽ F(a)下降最快。 • 因而，如果 b=a- r▽ F(a),对于r>0一个 够小数值，那么 F(a) ≥ F(b)成立。 • 考虑到这一点，我们可以从函数F 的局 部极小值的初始估计X0出发，并考虑如 下序列X0, X1, X2,… 使得 F(X0) ≥ F(X1) ≥ F(X2) ≥… 如果顺利的话，序列X(n)收敛到期望的 极值。每次迭代步长r可以改变。
匹配追踪算法（MP）
MP算法是一种重复迭代来逼近信号的贪婪算法， 它先选择一个原子，将信号投影到所选出的原子上，得到残差r1 即： y i , y i r1 因为残差r1是信号y减去在所选原子上的投影 i , y i 得来的， 所以r1与投影分量 i , y i 是正交的。也即： y 2 r1 2 i , y
压缩感知流程
• 压缩感知理论主要包括信号的稀疏表示、随机测量和重构 算法等三个方面。稀疏表示是应用压缩感知的先验条件， 随机测量是压缩感知的关键过程，重构算法是获取最终结 果的必要手段。
压缩感知的数学模型
• 假设x为长度N的一维信号，稀疏度为k（即含有k个非零值），φ为 M×N的二维矩阵（M<N），y=φx为长度M的一维测量值。压缩感 知问题就是已知测量值y和测量矩阵φ的基础上，求解欠定方程组 y=φx得到原信号x。 ˆ rg min x 0 s.t y x • 需要求解如下最优化问题： x 这个过程称之为重构 • 然而最小0范数是一个非确定性(Non-deterministic Polynomial:NP) 问题，通常需要对该问题加以转换，如将0范数转化为1范数问题。
iEk 2
本质也就是信号在子空间Vk span{i1 ,..., in }的正交投影。
正交匹配追踪算法（OMP）
(1)初始化：稀疏矢量初始化为x0 0，残差初始化为r0 y，所选原子序号 ˆ 0 0, 循环变量K=1。 的集合E 0初始化为，对信号的拟合初始化为y (2)选择原子：选择与上一步残差绝对内积最大的原子，即所选的原子满足： ik arg max
图像的梯度
我们用fs ,t 表示第s行，t列的像素点像素值的大小，则图像的梯度值可以表示为 f s ,t ( f s ,t f s 1,t )2 ( f s ,t f s ,t 1 )2
和原图相比，梯度图像的稀疏性较好，满足压缩感知图像稀疏性的条件。
图像的总变差（TV）
信号的稀疏变换
• 信号在某种表示方式下的稀疏性，是压缩感知应用的理论 基础，经典的稀疏化的方法有离散余弦变换（DCT）、傅 里叶变换（FFT）、离散小波变换（DWT）等。
• 最近几年，对稀疏表示研究的另一个热点是信号在冗余字 典下的稀疏分解。 这是一种全新的信号表示理论：用超 完备的冗余函数库取代基函数，称之为冗余字典，字典中 的元素被称为原子。
• 把梯度图像的L1 范数作为目标函数，也就图像的总变差 （TV）。图像的总变差可以用下式表示
f s ,t
TV
f s ,t ( f s ,t f s 1,t ) 2 ( f s ,t f s ,t 1 ) 2
s ,t s ,t
最小化图像总变差迭代算法（TV-ART）
1 k , j n
这里，k 和 j分别是观测矩阵的行向量与稀疏基矩阵 的列向量 可知, 相干参数的取值范围是[0,1).如果相干参数很小, 我们称该冗余字典 是非相 Incoherent 的，对于正交基函数集, 相干参数则为0。
信号重构算法
• 三大类常见的算法： • 一、基于凸优化算法。包括基追踪法（BP），梯度投影 法（GPSR），最小角度回归法（LARS）等 这类算法通过将最小化L0范数转换为最小化L1范数，也就 是将非凸优化问题转换为凸优化问题。 • 二、基于贪婪算法的重构算法。包括匹配追踪算法 （MP），正交匹配追踪算法（OMP），以及一系列改进 算法。 这类算法利用逐步迭代的方法来求信号的逼近值。 • 三、组合算法。包括CP(Chaining Pursuit) 链追踪法、稀 疏傅立叶描述法以及 HHSP (Heavy Hitters on Steroids Pursuit)追踪法等
观测矩阵
• 观测矩阵的主要功能就是将任何 K-稀疏的或者可压缩的原始信号x从N 维降到M维，获得M个测量值。 • 因为M<<N，方程数少于未知数。所以一般情况下压缩感知方程是没有 确定解的，属于一个欠定问题。 • 为了能够重构稀疏信号，2007 年 Tao 和 Candes 建立了著名的 RIP （Restricted Isometry Property）约束等距性条件。即压缩感知方程有 确定解的充要条件
2 2 2
为了让残差最小，那么就应该选择与信号y的绝对内积最大的原子。 也即在每一步的迭代中，应该根据当前残差与原子的绝对内积最大 的准则来选择原子，依次把信号y正交投影到所选原子来进行重复迭代。
匹配追踪算法（MP）
(1)初始化：稀疏矢量初始化为x0 0，残差初始化为r0 y，所选原子序号 ˆ 0 0, 循环变量K=1。 的集合E 0初始化为，对信号的拟合初始化为y (2)选择原子：选择与上一步残差绝对内积最大的原子，即所选的原子满足： ik arg max
正交匹配追踪算法（OMP）
• OMP选择原子的准则与MP相同,在每一步迭代中将信号投 影到由所有被选原子张成的子空间上,对所有被选原子的 系数进行更新,以使得产生的残差与被选原子都正交. • OMP 算法与 MP 算法唯一的区别就是在对信号进行拟合 的时候，OMP 算法采用了正交投影方法。因此,OMP 算 法各个迭代步骤中所产生的残差与所选择的原子都正交, 在迭代中所选择的原子都与前面所选择的原子线性无关, 这样也避免了重复选择原子的现象，另一方面,由于 OMP 算法中每一步对信号的表示均使得残差最小，因此， OMP 算法的收敛速度比 MP 快，随着迭代的进行,OMP 算法的残差慢慢减小,并且最后为零。
TV-ART算法步骤
1.计算系数矩阵W，获得投影数据P； 2.取初始图像F0 0; 用ART 算法进行迭代重建，得到重建图像Fj 基本约束条件为像素的非负性； 3.对每一次ART重建后得到的Fj，利用梯度下降算法进行全变差调整， 使每一次迭代重建图像的全变差最小化，公式如下： n f n 1 n TV f f f s ,t 4.当迭代至一定收敛次数，停止迭代。
OMP算法的matlab实现
采样率0.1
OMP算法的matlab实现
采样率0.3
OMP算法的matlab实现
采样率0.5
OMP算法的matlab实现
采样率0.7
CT图像的稀疏性问题
医学图像中的CT图像可近似看做 是分段平滑的图像，可以用空间 的有限差分变换来进行稀疏表示。 也就是说，图像本身可能不是稀疏 的，但是图像的有限差分变换却是 稀疏，也就是图像的梯度具有稀疏性。
正交匹配追踪算法（OMP）
MP算法：每一步都对信号进行了表示，在第K 步时，已选择了K 个原子 ˆ k in , rn 1 in 对信号的表示为y
n 1 k
由于冗余字典中原子不是相互正交的，因此所得到的残差不能与所选的 原子所张成的空间Vk span{i1 ,..., in }正交，这就导致了按照最大绝对内积 准则可能会重复选到已经选过的原子。另一方面，MP算法中的线性表示 并不是最佳的，不能保证残差最小。对于已经选择的K个原子来说，对信号 最好的近似应该是用最小二乘法：min y xii
RIP 指出：对于给定的任意c R 和常数 k （0,1）
T
如果使不等式成立： (1 k ) c 2 T c 2 (1 k ) c
2
2
2Βιβλιοθήκη Baidu2
则称矩阵 满足约束等距性条件。这里，T {1,2,...,N}, 且集合T中的元素个数小于等于稀疏度K，即 T K，
i 1 N
i , rk 1
(3)更新索引集E k：E k =E k-1 ik ˆ k =y ˆ k-1 + ik , rk 1 ik 也即x ˆ k =x ˆ k-1 + ik , rk 1 (4)更新对信号的表示（求稀疏矢量）：y (5)更新残差：rk rk 1 i , rk 1 i (6)迭代：k=k+1,如果满足终止条件则停止迭代，否则转到(2).
T 是由集合T 所指示的列向量构成的大小为K T 的子矩阵。
观测矩阵
但是要想找到符合约束等距性条件的观测矩阵是一个很复杂的问题 所以Baraniuk 提出了“非相干性”的概念来降低问题的难度，它指出： 只要观测矩阵与稀疏基矩阵 是不相干的，则其满足RIP准则。 两组基之间的相干性定义为：（ , ） = max k , j
压缩感知概述
• 压缩感知(Compressive Sensing）理论是由D. Donoho、 E. Candes及华裔科学家T. Tao等人于2006年正式提出的 一种新的信号处理理论。 • Nyquist采样定理指出，采样速率达到信号带宽的两倍以 上时，才能由采样信号精确重建原始信号。 • 压缩感知理论指出: 对于可压缩（可稀疏）的信号，可以 通过低于或远低于奈奎斯特标准的方式对其进行数据采样 并精确重构该信号
压缩传感新在何处？
大部分冗余信息在采样后被丢 弃，造成很大的资源浪费。能 否直接采集不被丢弃的信息？ 传统的信息获取与处理流程 压缩感知 — 直接感知压缩后 的信号。直接获取其压缩数据！ 即信号在某一个正交空间具有 稀疏性（即可压缩性），就能以 较低的频率（远低于奈奎斯特采 样频率）采样该信号，并可能以 高概率重建该信号。 压缩感知方式的信号采样与重构
30个角度，先10次ART，再30次TV+ART
30个角度，先20次ART，再20次TV+ART
30个角度，先30次ART，再10次TV+ART
30个角度，20次ART
30个角度，40次ART
i 1 N
i , rk 1
(3)更新索引集E k：E k =E k-1 ik (4)更新稀疏矢量）：x= † （最小二乘解） Ek y (5)更新残差：rk =(I M Ek † Ek ) y (施密特正交化过程) (6)迭代：k=k+1,如果满足终止条件则停止迭代，否则转到(2).
压缩感知的数学模型
但是一般的自然信号x本身并不是稀疏的，所以就需要在某种 稀疏基上进行稀疏表示，x s， 为稀疏基矩阵，s为的稀疏系数。 所以压缩感知方程为y x s s 将原来的测量矩阵 变换为 （称之为传感矩阵） ˆ, 则原信号x ˆ s ˆ? 解出s的逼近值s