【小波与滤波器组讲义-英文版】精品讲义-Wavelets and Filter Banks7

模型参数的快速估计
小波域HMT模型参数的快速估计及其在图像降噪中的应用（六）
小波域HMT模型参数的快速估计
小波系数的分类
模型参数的快速估计
模型参数的快速估计
• 节点的状态概率 • 节点的状态转移概率 • 节点的方差
小波域HMT模型参数的快速估计及其在图像降噪中的应用（七）
Gibbs效应的消除
小波域HMT模型参数的快速估计及其在图像降噪中的应用（十一）
实验结果（PSNR：20.0107 28.2667）
小波域HMT模型参数的快速估计及其在图像降噪中的应用（十二）
实验结果分析（PSNR：19.9862 25.3904）
小波域HMT模型参数的快速估计及其在图像降噪中的应用（十三）
基于HMT模型的降噪算法
wˆ ( yi ) E wi yi , θ
m
P(Si
m
yi
,
θ
)
2 i,m
y
i
2 n
2 i,m
2 n
i,m
小波域HMT模型参数的快速估计及其在图像降噪中的应用（六）
小波域HMT模型参数的快速估计
小波系数的分类
模型参数的快速估计
• 阈值选取
小波系数的分类
• 阈值分类
Wavelet domain method
y xn take wavelet transform both sides: Y X N, where Y , X , and N denote the wavelet transform of y, x, n respectively. Generally, people assume that the elements in Y and X are independent. Yi Xi Ni , where index i is the position of coefficient. coefficients of y, x, and n respectively. Bayesian framework in wavelet domain:
(Y ) arg min{ log P(Y | X ) log P( X )}
X
(Y )i arg min{ log P(Yi | Xi ) log P( Xi )}
Xi
Wavelet domain Wiener filtering
Assume that P( X i ) exp( X i2 / 2 )
自然图象小波变换的两个性质
非高斯分布特性：小波系数的边缘分布呈现出非高斯特性，即呈现出“尖峰长尾”的状态。
保持性：在空间同一位置，小波系数 “大”或“小”的状态具有在尺度间传递的特性。
小波域HMT模型参数的快速估计及其在图像降噪中的应用（二）
Crouse提出的小波域HMT模型
子带系数的高斯混合模型
Let
(
y)
sgn(
y)(| 0
y
|
)
| y |
otherwise
Theorem: for any estimates rule which satisfies | ( y) || y |,
then we have
E( ( y), x) E( ( y), x)
Adaptive wavelet domain
n2 .
Some results about uniform
shrinkage
y xu
where u is a nuisanse term which only satisfies
| u | 1.
E(x, x) sup || x x ||2
|u|1
where x satisfies: |x || x |
2 1 L
Xi2
1 L
Yi2 n2
For different scale, is different, compute the separately.
n is the variance of noise.
n
median(| HH 0.6745
|)
Wavelet domain uniform
x'
Given x ', y x ' n, P( y | x ') P(n)
( y) arg min{ log P(n) log P(x ')}
x'
Finding appropriate probability distribution expressions
P(n), P(x ') are the key points.
x ( y) x.
MAP framework
A MAP(maximize a posterior ) method to
define a estimator as follows:
( y) arg max P(x ' | y) such that y x ' n.
x'
From Bayesian formula: P(x ' | y) P( y | x ')P(x ') P( y)
Wavelet based image denoising (小波域图像去噪)
Peng Silong 2009.04.24
Outline
• Mathematical model of denoising and MAP framework
• Wavelet domain Wiener method • Wavelet domain uniform shrinkage
each position i, we use a adaptive threshold parameter .
i
n2 . (i)
(i)
max( 1 L
Yj2
jB(i )
n2, 0),
where
B(i)
is
a
neighbor
of i which have L points close to Yi.
shrinkage (Donoho)
Threshold method: Hard threshold:
(Y )i Y0i
| Yi |
otherwise
Soft threshold:
(Y )i
sgn(Yi
)(| 0
Yi
| )
(Y )i
Yi
0
Yi
Yi | Yi | Yi
| Yi |
P(Y | X ) P(N )
P(Ni ) exp(Ni2 / n2 )
Then
(Y )i arg min{ log P(Y | X ) log P( X )}
X
= arg min{(Yi X i )2 / n2 X i2 / 2 )
Xi
F(Xi
)
(Yi
Xi noising • Adaptive wavelet domain shrinkage
denoising • HMT based denoising method
Mathematical model
x is a ideal image or signal, y is the observation of x added by a noise n. y xn Denosing problem: find a estimator to give a estimate of x from y,
2
0
F X i
2( X i
Yi ) / n2
2Xi
/ 2
Xi
2 2 n2
Yi
Parameter estimating
In the Wiener filtering method, there are two parameters:
and n, for , we can see that it is a proper result that
otherwise
Parameter estimating
is a big problem, in Donoho's work, it is a global
parameter:
n 2 log M , where M is the number of points
considered. Another better choice:( by Chang, Yu, Vetterli)
shrinkage (Chang, Yu, Vetterli)
n2 , to avoid the global effect ( one part affects another
part), it will be better to use localized parameter, that is, in
Stationary wavelet transform A 3 level SWT filter bank
SWT filters
• 高斯尺度混合模型
其中：U为零均值高斯向量，Z是一个独立的正的乘量，X是高
斯向量的无穷混合。
尺度间模型
• 隐马尔可夫树（HMT）模型（Crouse1998） • 双变量模型（Sendur2002）
结合尺度内与尺度间的混合模型
• 条件高斯模型
小波域HMT模型参数的快速估计及其在图像降噪中的应用（一）
since y is the observasion, P( y) is a constant,
( y) arg max P( y | x ')P(x ')
x'
P( y)

合集下载

小波讲义

小波小波(Wavelet)这一术语，顾名思义，“小波”就是小区域的波，而且是长度有限、均值为0的波形。

所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。

如下图正弦波Meyer 小波Morlet小波202()t j t t ee ωψ-=或频域形式：20()/2()eωωψω--=⋅121210()110t t t others ψ≤<⎧⎪=-≤<⎨⎪⎩Haar小波简单来说，小波函数必须满足下列条件:（1）2|()|t dt ψ∞-∞⎰, 也即2()L R ψ∈ 并单位化，(2) |()|t dt ψ∞-∞<+∞⎰, 也即1()L R ψ∈(3) ()0t dt ψ+∞-∞=⎰，小波变换的反变换及对基本小波的要求小波变换区别于某些常用变换（如傅里叶变换、拉氏变换）的一个特点是没有固定的核函数，但也不是任何函数都可用作小波变换的基本小波()t ψ。

任何变换都必须存在反变换才有实际意义，但反变换并不一定存在，对小波变换而言，所采用的小波必须满足所谓“容许条件”(admissible condition),反变换才存在。

容许条件：20|()|d ψωωω∞<∞⎰正规性条件（regularity condition ）本来满足容许条件的()t ψ便可用作基本小波，但实际上往往要求更高些，对()t ψ还要施加正规性条件，以便()ψω在频域上表现出较好的局域性能。

也就是要求()0pt t dt ψ∞-∞=⎰，1,2,,,p n =⋅⋅⋅ 且n 越大越好。

sin 2sin(2)cos(100)y x x x πππ=++sin 2sin(2)y x x ππ=+光滑紧支撑正交小波()t ϕ的构造满足（1）{()}k Z x k ϕ∈-是中的标准正交基；（2）()x ϕ满足双尺度方程(/2)()k kx a x k ϕϕ=-∑，（3）1()()x L R ϕ∈且ˆ(0)0ϕ≠ （4）()x ϕ是紧支撑的。

小波与滤波器组：Wavelets and Filter Banks(PPT-17)

wj,m(x) = φj+1,m(x) - α1φj,k1(x) - α2φj,k2(x)
Ij,k = ∫ φj,k(x)dS
s
6
So the wavelet equation can be written as wj,m(x) = φj+i,m(x) - ∑
with
k∈A(j,m)
To satisfy vanishing moment condition, choose i = 1, 2 αi = Ij+1,m/2Ij,ki
m3
refinement equation of the form φj,k(x) = φj+1,k(x) + ∑
m∈n(j,k) j
In general, interpolating scaling functions will satisfy a
h0[k,m]φj+1,m(x)
Refinement equation m6 φj,k(x) = φj+1,k(x) + ∑ φj+1,m(x)
Then use the lifting idea to impose vanishing moment.
5
k1
m
k2
Consider a wavelet of the form
For the zeroth moment to vanish where 0 = Ij+1,m - α1 Ij,k1 - α2Ij,k2
h1[k,m]φj,k(x)
j
j h1[k,m] = Ij+1,m/2Ij,k
A(j,m) = two immediate neighbors in K(j)

【小波与滤波器组讲义-英文版】精品讲义-Wavelets and Filter Banks14

E.g., construct FIR ﬁlter approximating a ideal low-pass ﬁlter ( IIR), such as Equiripple method, Weighted least squares method (eigenﬁlters) and various window methods.
The answer is YES
Here we only consider approximating a given ﬁlter with orthogonal wavelet ﬁlters.
Problem:
Given: a ﬁlter H(ω)( low-pass or high-pass).
[6] A. Kirac and P. P. Vaidyanathan,(1998) ”On existence of FIR principal component ﬁlter banks”
[7] B. Xuan and R. H. Bamberger, (1996) ”2D factorable FIR principal component ﬁlter banks”
Pass-band, Stop-band, phase, ripples, etc
Motivation(2):
Filters have been used long long before wavelet appears. Many useful ﬁlters are using even now and in the future, they have good physical properties.
[2] M. K. Tsatsanis and G. B. Giannakis,(1995) ”Principal component ﬁlter banks for optimal multiresolution analysis”

小波变换原理与应用PPT课件

用傅立叶变换提取信号的频谱需要利用信号的全部时域信息。
傅立叶变换没有反映出随着时间的变化信号频率成分的变化情况。
傅立叶变换的积分作用平滑了非平稳信号的突变成分。
由于上述原因，必须进一步改进，克服上述不足
，这就导致了小波分析。精选ppt
7
2.小波变换与傅里叶变换的比较
（1）克服第一个不足：小波系数不仅像傅立叶系数那样，是随频率不同而变化的，而且对于同一个频率指标j，在不同时刻 k，小波系数也是不同的。
(0) (x)dx0
精选ppt
10
3.小波变换的基本原理与性质
信号的信息表示
➢ 时域表示：信号随时间变化的规律，信息包括均值、方差、峰度以及峭陡等，更精细的表示就是概率密度分布（工程上常常采用其分布参数）
➢ 频域表示：信号在各个频率上的能量分布，信息为频率和谱值（频谱或功率谱），为了精确恢复原信号，需要加上相位信息（相位谱），典型的工具为FT
与信号的初始段进行比较； ➢ 通过CWT的计算公式计算小波系数（反映了当前尺度
下的小波与所对应的信号段的相似程度）； ➢ 改变平移因子，使小波沿时间轴位移，重复上述两个
步骤完成一次分析； ➢ 增加尺度因子，重复上述三个步骤进行第二次分析； ➢ 循环执行上述四个步骤，直到满足分析要求为止。
精选ppt
A x ( t)2 x ( t), m ,n ( t) 2 B x ( t)2 A ,B R
m ,n
x(t) Cm,n m,n(t) nZ
精选ppt
29
3.小波变换的基本原理与性质
正交小波变换与多分辨分析
多分辨分析也称为多尺度分析，是建立在函数空间概念上的理论。它构造了一组正交基，使得尺度空间与小波空间相互正交。随着尺度由大到小的变化，可在各尺度上由粗及精地观察目标。这就是多分辨率分析的思想。在离散小波框架下，小波系数在时间尺度空间域上仍然具有冗余性，在数值计算或数据压缩等方面仍然希望这种冗余度尽可能的小。在小波变换发展过程中， Stromberg、Meyer、Lemarie、Battle和Daubechies等先后成功的构造了不同形式的小波基函数的基础上，是Meyer和Mallat将小波基函数的构造纳入到了一个统一的框架中，形成了多分辨分析理论。多分辨率分析理论不但将在那时之前的所有正交小波基的构造统一了起来，而且为此后的小波基的构造设定了框架。

小波分析整理第三章小波变换ppt课件

这样，a 和b 联合越来确定了对x(t) 分析的中心位置及分析的时间宽度。
.
a b
.
小波函数的范数不变性： a(t)b 0 2 R a(t)b 2 d tR (t)2 dt(t)0 2
此式表明： ( t ) 经过平移与伸缩以后，其模量没有改变。
在不同的尺度a 时，ψa b (t) 终能和母函数ψ(t) 有着相同的能量。
当a<1时， ( t ) 被拉宽且振幅被压低， ab (t) 含有表现低频分量的特征；当a>1时， ( t ) 被压窄且振幅被拉
高， ab (t )含有表现高频分量的特征。
(2t)
(2t 3)
a2
0
1 1.5
3
6
t
a 1 a1
2
(t)
0
1
(1 t) 2
0
1
(t 3)
3
6
t
( 1 t 3) 2
R
可以反映局部频率特性，但是窗函数一经设定，没有自适应能力，不能满足低频部分需要时窗宽、频窗窄，高频部分需要时窗窄、频窗宽的要求。
为此，定义窗函数的一般形式为：
w ~ab(t)a1/2(a tb) （其他形式 w ~ a b(t)a 1 /2 (t ab )
它是经过平移和放缩的结果。
.
小波函数的频域特性： ^a(b)a1/2eib/a^(a) 此式表明， ( t ) 经过平移和伸缩以后得到的新
函数 a b (t )的频域特性随参数a的变化而变化。
.
2、小波变化的回复公式推导
任何一种变换应该是可逆的。为推导小波变换的
回复公式，先得推出与Fourier变换中类似的乘积
公式。
在Fourier变换中，有公式：2 1 R F [f(t)]F _[g(t)]dRf(t)_ g(t)dt

小波分析wavelets

s ( t) e 1 ts 01 it n ) 0 0 ( t 0 1
look at the decomposition analytically
N1
f(t)f(n)(2tn)
n0
Nk201f(2k)2f(2k1)(tk)Nk201f(2k)2f(2k1)(tk)
a0(t)
d0(t) (2)3
2.3 Application: Signal Denoising
s( tc)o2 s2 8-6 0 4 (-1 t0 t/2 [8 )ee-64 (-t3 0/28 )e-64 (-t4 0/28)
e-64 (-0 t6/28 )e-64 (-0 t7/2]8 )t [0 ,1 ] (7 )
• Consider a continuous-time signal f(t) and its approximation f0(t) --where (t) the Haar Scaling function
• We see f0(t) as a finite-resolution representation of f(t) in the space V0 spanned by {(t-k), kZ}
§3.Signal Representation: The Haar Wavelet
• 3.1 Haar Scaling Function and Haar wavelet • The Haar scaling function is defined by
(t)10
t[0,1)(8) elsewhere
Short-Time Fourier transform(STFT)
G(f,
)f(t)g(t)ejtd

小波与滤波器组：Wavelets and Filter Banks(PPT-4)

Example: Product filter of degree 6 P0(z) = P0(z) 1 16
(-1 + 9z-2 + 16z-3 + 9z-4 - z-6)
P0(- z) = 2z-3
Expect perfect reconstruction with a 3 sample delay Centered form: P(z) = z3P0(z) = P(z) + P(- z) = 2
i(ω h[n] linear phase A( ω)e–i(ω α + θ)
real
delays all frequencies by α samples
0 if symmetric π if antisymmetric 2
Linear phase may not necessarily be the best choice for audio applications due to preringing effects.
4 n 0 2 y[n] 4 n 0 2
16
x[n]
ii. Linear phase factorization e.g. 2/6, 5/3 Symmetric (or antisymmetric) filters are desirable for many applications, such as image processing. All frequencies in the signal are delayed by the same amount i.e. there is no phase distortion.
2nd order -1 2-√3
2nd order -1 2 + √3

【小波与滤波器组讲义-英文版】精品讲义-Wavelets and Filter Banks16

0.5 0
-0.5 -1
-1.5
10
20
30
40
50
60
70
80
90 100 110 120
residue
1.5 1
0.5 0
-0.5 -1
-1.5
10
20
30
40
50
60
70
80
90 100 110 120
IMF 1; iteration 1
1.5 1
0.5 0
-0.5 -1
-1.5
10
20
30
70
80
90 100 110 120
IMF 1; iteration 2 1.5
1
0.5
0
-0.5
-1
-1.5
10
20
30
40
50
60
70
80
90 100 110 120
residue
1 0.5
0 -0.5
-1
10
20
30
40
50
60
70
80
90 100 110 120
IMF 1; iteration 3
90 100 110 120
residue 1.5
1
0.5
0
-0.5
-1
-1.5
10
20
30
40
50
60
70
80
90 100 110 120
IMF 1; iteration 2 1.5
1
0.5
0
-0.5
-1
-1.5
10
20

小波变换（wavelettransform）的通俗解释（一）

⼩波变换（wavelettransform）的通俗解释（⼀）⼩波变换⼩波，⼀个神奇的波，可长可短可胖可瘦（伸缩*移），当去学习⼩波的时候，第⼀个⾸先要做的就是回顾傅⽴叶变换（⼜回来了，唉），因为他们都是频率变换的⽅法，⽽傅⽴叶变换是最⼊门的，也是最先了解的，通过傅⽴叶变换，了解缺点，改进，慢慢的就成了⼩波变换。

主要的关键的⽅向是傅⽴叶变换、短时傅⽴叶变换，⼩波变换等，第⼆代⼩波的什么的就不说了，太多了没太多意义。

当然，其中会看到很多的名词，例如，内积，基，归⼀化正交，投影，Hilbert空间，多分辨率，⽗⼩波，母⼩波，这些不同的名词也是学习⼩波路上的标志牌，所以在刚学习⼩波变换的时候，看着三个⽅向和标志牌，可以顺利的⾛下去，当然路上的美景要⾃⼰去欣赏（这⾥的美景就是定义和推导了）。

因为内容太多，不是很重要的地⽅我都注释为（查定义）⼀堆⽂字的就是理论（可以⼤体⼀看不⽤⽴刻就懂），同时最下⾯也给了⼏个⽹址辅助学习。

⼀、基傅⽴叶变换和⼩波变换，都会听到分解和重构，其中这个就是根本，因为他们的变化都是将信号看成由若⼲个东西组成的，⽽且这些东西能够处理还原成⽐原来更好的信号。

那怎么分解呢？那就需要⼀个分解的量，也就是常说的基，基的了解可以类⽐向量，向量空间的⼀个向量可以分解在x，y⽅向，同时在各个⽅向定义单位向量e1、e2，这样任意⼀个向量都可以表⽰为a=xe1+ye2，这个是⼆维空间的基，⽽对于傅⽴叶变换的基是不同频率的正弦曲线，所以傅⽴叶变换是把信号波分解成不同频率的正弦波的叠加和，⽽对于⼩波变换就是把⼀个信号分解成⼀系列的⼩波，这⾥时候，也许就会问，⼩波变换的⼩波是什么啊，定义中就是告诉我们⼩波，因为这个⼩波实在是太多，⼀个是种类多，还有就是同⼀种⼩波还可以尺度变换，但是⼩波在整个时间范围的幅度*均值是0，具有有限的持续时间和突变的频率和振幅，可以是不规则，也可以是不对称,很明显正弦波就不是⼩波，什么的是呢，看下⾯⼏个图就是当有了基，以后有什么⽤呢?下⾯看⼀个傅⽴叶变换的实例：对于⼀个信号的表达式为x=sin(2*pi*t)+0.5*sin(2*pi*5*t);这⾥可以看到是他的基就是sin函数，频率是1和5，下⾯看看图形的表⽰，是不是感受了到了频域变换给⼈的⼀⽬了然。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。