分块子空间追踪算法
第34卷第4期2015年12月
计一算一技一术一与一自一动一化
Com p utin g Technolo gy and Automation
Vol .34,No .4
一Dec.2015
收稿日期:2015-04-04
基金项目:江苏省科技厅工业支撑计划项目(BE2010072);常州市科技局国际合作项目(CZ20123006)
作者简介:庄燕滨(1964 )
,男,江苏常州人,教授,硕士生导师,研究方向:智能信息处理,视频图像处理,模式识别,软件测试技术三?通讯联系人,E -mail :915866335@qq .com
文章编号:1003-6199(2015)04-0064-05
分块子空间追踪算法
庄燕滨1,2?
,王化程1
(1.河海大学计算机与信息学院,江苏南京一211100;一2.
常州工学院计算机信息工程学院,江苏常州一213002)一一摘一要:
压缩传感理论是一种充分利用信号稀疏性或者可压缩性的全新信号采样理论三该理论表明,通过采集少量的信号测量值就能够实现可稀疏信号的精确重构三本文在研究现有经典重构算法的基础上,提出结合图像分块思想和回溯思想的分块子空间追踪算法(Block Subs p ace Pursuit ,B _SP )用于压缩传感信号的重构三该算法以块结构获取图像,利用回溯过程实现支撑集的自适应筛选,最终实现图像信号的精确重构三实验结果表明,在相同测试条件下,该算法的重构效果无论从主观视觉上还是客观数据上都有不同程度的提高三
关键词:信号处理;压缩传感;稀疏表示;重构算法;匹配追踪中图分类号:TP301.6一一一一一一文献标识码:A
Block Subs p ace Pursuit Al g orithm
ZHUANG Yan -bin 1
,2?
,WANG Hua -chen g 1
https://www.360docs.net/doc/708252001.html, p uter and Information colle g e ,HoHai Universit y ,Nan j in g ,Jian g su一211100,China ;
2.School of Information and En g ineerin g ,Chan g zhou Institute of Technolo gy ,Chan g zhou ,Jian g su一213002,China )
一一Abstract :This p a p er researched the existin g classical reconstruction al g orithm ,and p resented a new Block Subs p ace
Pursuit (B _SP )al g orithm ,which combines the blocks thinkin g and the backin g p rocess for reconstruction of si g nals.The
al g orithm obtains an ima g e b y block structure ,usin g the backin g p rocess to achieve the su pp ort of set ada p tive screenin g ,and ultimatel y achieves a p recise reconstruction of the ima g e si g nal.The ex p erimental results show that the p ro p osed al g o -rithm can g et better reconstruction p erformances both visuall y and ob j ectivel y .
Ke y words :si g nal p rocessin g ;com p ressive sensin g ;s p arse re p resentation ;reconstruction al g orithm ;matchin g p ursuit ;
1一引一言
在传统采样中,为了避免信号失真,采样频率不得低于信号带宽的2倍,这就是著名的香农
(Shannon )
采样定理三那么对于数字图像二视频数据的采样,如果按照香农定理采样必定会产生大量
数据,数据的存储和传输将面临巨大挑战[
1]
三在2006年,由美国科学院院士D.Donoho 和斯坦福
大学的E.Cand ès 提出的压缩传感(Com p ressive
Sensin g ,CS )
理论为解决这一问题带来了曙光三其核心思想是将压缩与采样过程合二为一,首先以随
机投影方式采集稀疏信号的测量值,在采样的同时完成了信号的压缩,最终通过求解一个最优化问题
由测量值重构出原始信号[
2]
三它突破了传统香农采样定理的限制,在信号采样的同时对数据进行适当的压缩,提高数据的使用效率,缓解了信号采样二处理二传输和存储过程中所面临的越来越大的压力,为信号获取与传输带来了革命性的进展三自从压缩传感理论提出以后就引起了信号领域相关研究人员广泛地关注,其突出的优点和广阔的应用前景使得它在信号处理领域展现出了旺盛的生命力三
20世纪十大算法
20世纪十大算法 本世纪初，美国物理学会(American Institute of Physics)和IEEE计算机社团(IEEE Computer Society)的一本联合刊物《科学与工程中的计算》发表了由田纳西大学的Jack Dongarra和橡树岭国家实验室的Francis Sullivan联名撰写的“世纪十大算法”一文，该 文“试图整理出在20世纪对科学和工程领域的发展产生最大影响力的十大算法”。作者苦于“任何选择都将是充满争议的，因为实在是没有最好的算法”，他们只好用编年顺序依次列出了这十项算法领域人类智慧的巅峰之作——给出了一份没有排名的算法排行榜。有趣的是，该期杂志还专门邀请了这些算法相关领域的“大拿”为这十大算法撰写十篇综述文章，实在是蔚为壮观。本文的目的，便是要带领读者走马观花，一同回顾当年这一算法界的盛举。1946蒙特卡洛方法 在广场上画一个边长一米的正方形，在正方形内部随意用粉笔画一个不规则的形状，呃，能帮我算算这个不规则图形的面积么？蒙特卡洛(Monte Carlo)方法便是解决这个问题的巧妙方法:随机向该正方形内扔N（N是一个很大的自然数）个黄豆，随后数数有多少个黄豆在这个不规则几何形状内部，比如说有M个:那么，这个奇怪形状的面积便近似于M/N，N越大，算出来的值便越精确。别小看这个数黄豆的笨办法，大到国家的民意测验，小到中子的移动轨迹，从金融市场的风险分析，到军事演习的沙盘推演，蒙特卡洛方法无处不在背后发挥着它的神奇威力。 蒙特卡洛方法由美国拉斯阿莫斯国家实验室的三位科学家John von Neumann（看清楚了，这位可是冯诺伊曼同志！）,Stan Ulam和Nick Metropolis共同发明。就其本质而言，蒙特卡洛方法是用类似于物理实验的近似方法求解问题，它的魔力在于，对于那些规模极大的问题，求解难度随着问题的维数（自变量个数）的增加呈指数级别增长，出现所谓的“维数的灾难”（Course of Dimensionality）。对此，传统方法无能为力，而蒙特卡洛方法却可以独辟蹊径，基于随机仿真的过程给出近似的结果。 最后八卦一下，Monte Carlo这个名字是怎么来的？它是摩纳哥的一座以博彩业闻名的城市，赌博其实是门概率的高深学问，不是么？ 1947单纯形法 单纯形法是由大名鼎鼎的“预测未来”的兰德公司的Grorge Dantzig发明的，它成为线性规划学科的重要基石。所谓线性规划，简单的说，就是给定一组线性（所有变量都是一次幂）约束条件（例如a1*x1+b1*x2+c1*x3>0)，求一个给定的目标函数的极值。这么说似乎也太太太抽象了，但在现实中能派上用场的例子可不罕见——比如对于一个公司而言，其能够投入生产的人力物力有限（“线性约束条件”），而公司的目标是利润最大化（“目标函数取 最大值”），看，线性规划并不抽象吧！线性规划作为运筹学(operation research)的一部分，成为管理科学领域的一种重要工具。而Dantzig提出的单纯形法便是求解类似线性规划问题的一个极其有效的方法，说来惭愧，本科二年级的时候笔者也学过一学期的运筹学，现在脑子里能想起的居然只剩下单纯形法了——不过这不也正说明了该方法的简单和直观么？ 顺便说句题外话，写过《万历十五年》的黄仁宇曾说中国的传统是“不能从数目字上管理”，我们习惯于“拍脑袋”，而不是基于严格的数据做决定，也许改变这一传统的方法之一就是全民动员学习线性规划喔。 1950Krylov子空间迭代法 1951矩阵计算的分解方法 50年代初的这两个算法都是关于线性代数中的矩阵计算的，看到数学就头大的读者恐怕看到
krylov子空间算法
Krylov 子空间的定义： 定义：令N R υ∈，由1m A υυυ-L ，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间，并记(),m K A v 。 主要思想是为各迭代步递归地造残差向量，即第n 步的残差向量 ( ) n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。即 ()()( ) 0n r p A r =。 但要注意，迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交，从而保证某种极小性（极小残差性），达到快速收敛的目的。 Krylov 子空间方法具有两个特征：1.极小残差性，以保证收敛速度快。2.每一迭代的计算量与存储量较少，以保证计算的高效性。 投影方法 线性方程组的投影方法 方程组Ax b =,A 是n n ?的矩阵。给定初始()0x ,在m 维空间K(右子空 间）中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间）正交，即()1b Ax L -⊥，此条件称为Petrov-Galerkin 条件。 当空间K=L 时，称相应的投影法为正交投影法，否则称为斜交投影法. 投影方法的最优性： １. (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()0 1min z x K x z ??∈+= 其中,()()()1 2,z A x z x z ?=--
2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()0 1min z x K x z ψψ∈+= 其中()() 12 2,z b Az b Az b Az ψ= -=-- 矩阵特征值的投影方法 对于特征值问题Ax x λ=,其中A 是n ×n 的矩阵，斜交投影法是在m 维右子空间K 中寻找i x 和复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间.当L=K 时，称此投影方法为正交投影法. 误差投影型方法： 取L=K 的正交投影法 非对称矩阵的FOM 方法（完全正交法） 对称矩阵的IOM 方法和DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法： 取L=AK 时的斜交投影法 GMERS 方法（广义最小残量法） 重启型GMERS 方法、QGMERS 、DGMERS Arnoldi 方法 标准正交基方法： Arnoldi 方法是求解非对称矩阵的一种正交投影方法。Arnoldi 算法就是对非对称矩阵A ，产生Krylov 子空间()()0,m A r K 的一组标准正交
krylov子空间算法
Krylov 子空间的定义: 定义:令N R υ∈,由1m A υυυ-L ，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间,并记(),m K A v 。 主要思想就是为各迭代步递归地造残差向量,即第n 步的残差向量()n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。即()()()0n r p A r =。 但要注意,迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交,从而保证某种极小性(极小残差性),达到快速收敛的目的。 Krylov 子空间方法具有两个特征:1、极小残差性,以保证收敛速度快。2、每一迭代的计算量与存储量较少,以保证计算的高效性。 投影方法 线性方程组的投影方法 方程组Ax b =,A 就是n n ?的矩阵。给定初始()0x ,在m 维空间K(右子 空间)中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间)正交,即()1b Ax L -⊥,此条件称为Petrov-Galerkin 条件。 当空间K=L 时,称相应的投影法为正交投影法,否则称为斜交投影法、 投影方法的最优性: １、 (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()0 1min z x K x z ??∈+= 其中,()()()1 2,z A x z x z ?=--
2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()0 1min z x K x z ψψ∈+= 其中()() 12 2,z b Az b Az b Az ψ= -=-- 矩阵特征值的投影方法 对于特征值问题Ax x λ=,其中A 就是n ×n 的矩阵,斜交投影法就是在m 维右子空间K 中寻找i x 与复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间、当L=K 时,称此投影方法为正交投影法、 误差投影型方法: 取L=K 的正交投影法 非对称矩阵的FOM 方法(完全正交法) 对称矩阵的IOM 方法与DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法: 取L=AK 时的斜交投影法 GMERS 方法(广义最小残量法) 重启型GMERS 方法、QGMERS 、DGMERS Arnoldi 方法 标准正交基方法: Arnoldi 方法就是求解非对称矩阵的一种正交投影方法。Arnoldi 算法就就是对非对称矩阵A,产生Krylov 子空间()()0,m A r K 的一组标准
稀疏子空间聚类算法
稀疏子空间聚类算法与模型建立 稀疏子空间聚类是一种基于谱聚类的子空间聚类方法， 基本思想：假设高位空间中的数据本质上属于低维子空间，能够在低维子空间中进行线性表示,能够揭示数据所在的本质子空间, 有利于数据聚类. 基 本方法是, 对给定的一组数据建立子空间表示模型,寻找数据在低维子空间中的表示系数, 然后根据表示系数矩阵构造相似度矩阵, 最后利用谱聚类方法如规范化割(Normalized cut, Ncut)[22] 获得数据的聚类结果。 基本原理 稀疏子空间聚类[32] 的基本思想是: 将数据 αS x i ∈表示为所有其他数据的线性组合, j i j ij i x Z x ∑≠= （1） 并对表示系数施加一定的约束使得在一定条件下对所有的αS x j ?, 对应的0=ij Z 。将所有数据及其表示系数按一定方式排成矩阵 ，则式（1）等价于 XZ X = （2） 且系数矩阵N N R Z ?∈ 满足: 当i x 和j x 属于不同的子空间时, 有0=ij Z . 不同于用一组基或字典表示数据, 式（2）用数据集本身表示数据, 称为数据的自表示. 若已知数据的子空间结构, 并将数据按类别逐列排放, 则在一定条件下可使系数矩阵Z 具有块对角结构, 即 ????? ???????=k Z Z Z Z 00000021 （3） 这里),,1(k Z =αα 表示子空间αS 中数据的表示系数矩阵; 反之, 若Z 具有块对角结构, 这种结构揭示了数据的子空间结构. 稀疏子空间聚类就是通过对系数矩阵Z 采用不同的稀疏约束, 使其尽可能具有理想结构, 从而实现子空间聚类. Elhamifar 等[32] 基于一维稀疏性提出了稀疏子空间聚类(Sparse subspace clustering,SSC) 方法, 其子空间表示模型为 1min Z Z 0,..==ii Z XZ X t s （4）
krylov子空间算法
Krylov 子空间的定义： 定义：令N R υ∈，由1 m A υυυ - ，，，A 所生成的子空间称之为由υ与A 所 生成的m 维Krylov 子空间，并记(),m K A v 。 主要思想是为各迭代步递归地造残差向量，即第n 步的残差向量 () n r 通过系数矩阵A 的某个多项式与第一个残差向量()0 r 相乘得到。即 () ()() 0n r p A r =。 但要注意，迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交，从而保证某种极小性（极小残差性），达到快速收敛的目的。 Krylov 子空间方法具有两个特征：1.极小残差性，以保证收敛速度快。2.每一迭代的计算量与存储量较少，以保证计算的高效性。 投影方法 线性方程组的投影方法 方程组Ax b =,A 是n n ?的矩阵。给定初始()0 x ,在m 维空间K(右子空 间）中寻找x 的近似解()1 x 满足残向量()1 r b Ax =-与m 维空间L(左子空 间）正交，即()1 b Ax L -⊥，此条件称为Petrov-Galerkin 条件。 当空间K=L 时，称相应的投影法为正交投影法，否则称为斜交投影法. 投影方法的最优性： １. (误差投影)设A 为对称正定矩阵,()0 x 为初始近似解,且K=L,则()1 x 为 采用投影方法得到的新近似解的充要条件是()()() () 01 m in z x K x z ??∈+= 其中,()()()1 2 ,z A x z x z ?=--
2.(残量投影)设A 为任意方阵,()0 x 为初始近似解,且L AK =,则()1 x 为采用 投影方法得到的新近似解的充要条件是()()() ()01 m in z x K x z ψψ ∈+= 其中()() 12 2 ,z b Az b Az b Az ψ= -=-- 矩阵特征值的投影方法 对于特征值问题A x x λ=,其中A 是n ×n 的矩阵，斜交投影法是在m 维右子空间K 中寻找i x 和复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空 间.当L=K 时，称此投影方法为正交投影法. 误差投影型方法： 取L=K 的正交投影法 非对称矩阵的FOM 方法（完全正交法） 对称矩阵的IOM 方法和DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法： 取L=AK 时的斜交投影法 GMERS 方法（广义最小残量法） 重启型GMERS 方法、QGMERS 、DGMERS Arnoldi 方法 标准正交基方法： Arnoldi 方法是求解非对称矩阵的一种正交投影方法。Arnoldi 算法就是对非对称矩阵A ，产生Krylov 子空间()()0 ,m A r K 的一组标准正交