第八章限失真信源编码

第八章限失真信源编码8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:∑==ri j i ji b a d a p D 1min )},(min ){(并写出取得min D 的试验信道的传输概率选取的原则,其中))}/(,),/(),/({min ),(min 21i S i i jj i ja b p a b p a b p b a d =(证明详见:p468-p470)8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明:}),()({min 1max ∑==ri j i i jb a d a p D并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478)8.5设二元信源X 的信源空间为:-1)( 1 0X:][X ⎩⎨⎧•ωωX P P令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求:(1) D min ,R(D min ); (2) D max ,R(D max );(3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解：{}{}{}{}0)()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(100110][10 000)1(0)0(),(min )()1(max 21min max min min 21min ==∴====++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑==ωωωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D jji j i i j i j i j i j i j i 此时故此时或的信道矩阵则满足保真度＝最小允许失真度：⎩⎨⎧≥<≤-=-=-=∴---=ωωωωD D D H H D R D H H D H X H D R r D D H X H D R 00 )()()()()()()()()1log()()()(,)3(即对此信源下离散信源在汉明失真度由上，可得R(D)曲线如下:(4)R(1/8)=H(ω)-H(1/8)= H(ω)-0.5436 bit/symble 8.6一个四进展等概信源41 41 41 41 )( 3 2 1 0U :][U ⎪⎩⎪⎨⎧•U P P接收符号集V:{0,1,2,3},其失真矩阵为:⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110]D [ (1) D min ,R(D min ); (2) D max ,R(D max );(3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解:{}{}{}symble/bit 2)41,41,41,41()()/()(min );(min )0()(0)/(),4,3,2,1(1)/(0)/(1000010*********][0min 00)3(0)2(0)1(0)0(),(min )(min },{:)1(min 4121===-===∴====⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡===•+•+•+•==∑=H U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p p p b u d u p D b b Y i j i j i j i j i 故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集DH(0maxsymble/bit 0)43(,43 ;symble /bit 208.0)21(,21 ;symble /bit 792.0)41(,41 ;symble /bit 258.1)81(,81 ;symble /bit 2)0(,0:43 0430 3log )(2)(3log )(23log )()()()1log()()()(,)3(0)()(0);(,4343,43,43,43min ),()(min )2(max 41min max ==========⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧=⎭⎬⎫⎩⎨⎧='=∑=R D R D R D R D R D D D D D H D R D D H D D H U H D R r D D H X H D R R D R Y X I Y U b u d u p D D ji j i i j 可计算得即对此信源下离散信源在汉明失真度故相互独立、此时ω可得R(D)曲线如下:8.7某二进制信源:⎪⎩⎪⎨⎧• 21 21 )( 1 0U :][U U P P其失真矩阵为:⎥⎦⎤⎢⎣⎡=0010][1 0 a a D (1) 试求D min ,R(D min );(2) 试求D max ,R(D max ); (3) 试求R(D);D2{}{}{}{}⎪⎪⎩⎪⎪⎨⎧≥<≤-=-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅⋅=++=⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====2 020 )(1)()(1)()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)2a()(0);(,Y 2a)}0(a );1(a {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2(bit/symble 12log )()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min },{;)1(2121max 21min max min 2121a D a D d D H D R aDH a D H U H D R r dDd D H U H Y U I D R D r aDa D H U H Y U H U H Y U I r aDa D H r P P H Y U H aP D D aP p u p a D ub p p a b p a p a b u d u b p u p D R D R Y U I U p p d p d p d p d p b u d u p D D U H Y U H U H Y U I R D R Y U H i u b p u b p P D D p p b u d u p D b b Y e e ee ji i e i ji i j ei ji i j i i j j i i j i j ji j i i j i j i j i j i j i 即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：设输出符号集8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).8.9试证明对于离散无记忆信源,有R N (D)=NR(D),其中N 为任意正整数,D>D min . 8.10某二元信源X 的信源空间为:-1 )( X:][X 21⎩⎨⎧•ωωX P a a P其中ω<1/2,其失真矩阵为:⎥⎦⎤⎢⎣⎡=0d d 0][D(1) 试求D min ,R(D min ); (2) 试求D max ,R(D max ); (3) 试求R(D);(4) 写出取得R(D)的试验信道的各传输概率;(5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解:{}{}{}{}⎪⎩⎪⎨⎧≥<≤-=-=∴---==∴---≥-=-+=-+≤====∴=====∴==⋅=⋅⋅=++=⎭⎬⎫⎩⎨⎧='===-===∴====⎥⎦⎤⎢⎣⎡===•+•==∑∑∑∑∑∑∑≠≠≠====ωωωωωωωd D d D dD H H D R dDH H D R r dDd D H X H Y X I D R D r dDd D H X H Y X H X H Y X I r dDd D H r P P H Y X H dP D D dP p a p d D a b p p a b p a p d b a d a b p a p D R D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p De e ee ji i e i ji i j ei ji i j i i j j i i j i jji j i i j i j i j i j i j i00 )()()()()()()1log()()()};(min{)()1log()()()/()();()1log()()1log()()/(:,,)()/()/()(),()/()()3(0)()(0);(,Y X d )1(d )}0(d );1(d {min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2()()()/()(min );(min )0()(0)/(),2,1(1)/(0)/(1001][ 0min 00)1(0)0(),(min )(min )1(2121max 21min max min 21即对此信源得定义域中选取适当值可在由费诺不等式则时当失真度满足保真度准平均失真度相互独立、此时故此时或的信道矩阵则满足保真度＝最小允许失真度：.,""487)()()/()();()( ]log )1log()1[()]()([ ]log )()1log()1)((log )()1log()1)(([ )]/(log )/()()/(log )/()( )/(log )/()()/(log )/()([ )/(log )/()()/(12222)1()()/()()/(22)()/()()/(222)1()()/()()/(122)()/()()/(2)1)(1()/()()(222)1(2)/()()(:2222222][:)();()4(2122112222221212121211111121212222222222222212121222121212222111111212222222221112222222222222矩阵再由反推正向信道传输矩阵反向信道求出或者直接按照课本实际上是先根据参数法检验阵为时的试验信道的信道矩取得p dDH H Y X H X H Y X I dDH dDd D d D d D y p y p dDd D y p d D d D y p d D d D y p d D d D y p y x p y x p y p y x p y x p y p y x p y x p y p y x p y x p y p b a p b a p b p Y X H d D D d D d d Dd Dd d d D Dd Dd d d y p x y p x p y x p d D Dd D d d d D d D d D Dd y p x y p x p y x p d D Dd D d Dd Dd d d D Dd y p x y p x p y x p d D Dd D d d D d D d D Dd d y p x y p x p y x p D d Dd d D D x y p x p y p D d Dd Dd Dd d d D Dd d D d D d D Dd d x y p x p y p Dd Dd d d D Dd Dd d d Dd Dd d d D Dd d D d D d D Dd d D d D d D Dd d P D R Y X I i j j i j i j i i i i i i X -=-=∴=+--⋅+-=+--++---=+++-=-=-=---+--++---===------===--+----==-=---+--==---=--+==--=+----+-+--==⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+--++--+-------+--=∑∑∑∑====ωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωωω⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--==d D dD d D d DP d Y 11][:1,)5(反向试验的信道矩阵为时与试验信道相对应的由上面8.14设离散无记忆信源:⎪⎩⎪⎨⎧• 31 31 31 )( u uU :][U 321U P u P其失真失真度为汉明失真度.(1) 试求D min ,R(D min ),并写出相应试验信道的信道矩阵; (2) 试求D max ,R(D max ), 并写出相应试验信道的信道矩阵;(3) 若允许平均失真度D=1/8,试问信源[U ·P]的每一个信源符号平均最少由几个二进制码符号表示? 解:{}{}{}.9164.0symble/bit 9164.081)81(3log )81(,8131 0310 )(3log )()(3log 2log )()()()1log()()()(,)3(0)31()(0);(3131;31;31min )}();());({min ),()(min )2(symble /bit 585.13log )()/()(min );(min )0()(0)/(,),3,2,1(1)/(0)/(100010001][ 000)(0)(0)(),(min )()1(max 32131min max min min 32131min 个二进制码符号来表示均最少可以用则信源的每一个符号平时即对此信源下离散信源在汉明失真度此时则此时设输出符号集合或的信道矩阵则满足保真度＝最小允许失真度：=--==⎪⎪⎩⎪⎪⎨⎧≥<≤--=--=--=∴---===∴==⎭⎬⎫⎩⎨⎧==⎭⎬⎫⎩⎨⎧='====-===∴====⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡===•++•+•==∑∑==H R D D D D D H D R DD H D D H U H D R r D D H X H D R R D R Y U I u p u p u p b a d a p D D U H Y U H U H Y U I R D R Y U H Y i u b p a b p P D D u p u p u p b u d u p D jj i j i i j i j i j i j i j i8.15设二元信源X 的信源空间为:-1)( u uU :][U 21⎩⎨⎧•ωωU P P(ω<1/2),其失真度为汉明失真度.若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解:.)21()()3(21)2log()2(21)1log()1(log 21)21()()21(2100 )()()()()()()()()1log()()()(,个二进制码符号来表示需要每个信源符号平均最少时即对此信源下离散信源在汉明失真度ωωωωωωωωωωωωωωωωωH H H H R D D D D H H D R D H H D H U H D R r D D H X H D R -∴----+----=-==∴⎩⎨⎧≥<≤-=-=-=∴---=。

IT_18_限失真信源编码定理

失真典型序列失真典型序列：
1 2 3 4
1 log p x H X N 1 log p y H Y N 1 log p xy H XY N d x , y E d X ,Y
0
1 p x , y K x , y p x , y Gd , Pe 0
Pe 0
E d X , Y D Pe d max E d X ,Y D 即当R R D 时, R,D 是可达的.
x y 2
N R I X ;Y 3
2 NR
Pe 1 p x , y K x , y e
x y
2
N R I X ;Y 3
R R D R I X ;Y e
x y
2
N R I X ;Y 3
NR H Y N I Y N ; X N
H Y N H Y N X N

H X N H X N YN
N i 1 N

H Xi H X N Y N
N

H X i H X i Y N , X i 1 , , X i
y
K x, y
Pe p x 1 p y K x , y x y
2 NR
N I X ;Y 3 p x 1 p y x 2 K x , y x y N I X ;Y 3 p x 1 2 p y x K x , y x y

信源编码

S {S1, S2 ,..., Sq}
编码器
C :{W1,W2 ,...,Wq}
X {x1, x2,..., xr}
wi 称为码字，Li为码字wi 的码元个数，称为码字wi 的码字长度，简称码长。
第二节码的分类
1、二元码：码符号集X={0,1}，如果要将信源通过二元信道传输，必
须将信源编成二元码，这也是最常用的一种码。 2、等长码：
第八章信源编码
1 引言 2 等长信源编码定理、变长信源编码定理
3 各种编码 4 有噪信道编码定理
5 联合信源信道编码定理
第五章有噪信道编码
第一节错误概率与译码规则第二节错误概率与编码方法第三节有噪信道编码定理第四节联合信源信道编码定理第六节纠错编码的基本思想第七节常用编码方法
l H (S) 2
N log r
则不可能实现无失真编码，当N趋向于无穷大是，译码错误率接近于1。
第三节等长信源编码定理
•定理4.3的条件式可写成： l log r NH (S)
左边表示长为 l 的码符号所能载荷的最大信息量，而右边代表长为N的序列平均携带的信息量。因此，只要码字传输的信息量大于信源序列携带的信息量，总可以实现无失真编码。
信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。
第二节码的分类
编码器可以看作这样一个系统，它的输入端为原始信
源S，其符号集为S {S1, S2,..., Sq}；而信道所能传输的符号集为 X {x1, x2,..., xr} 编码器的功能是用符号集X中的元素，将原始信源的符号 Si 变换为相应的码字符号wi ，所以编码器输出端的符号集为 C :{W1,W2,...,Wq}

限失真信源编码

m
p(ui , v j )d (ui , v j )
i1 j1
nm

p(ui ) p(v j | ui )d (ui , v j )
i1 j1
DD
D 为给定的失真度
设离散信源U =[0,1]的概率分布为均匀分布，信宿V =[0,1,2]，传递概
率矩阵为
p(v
|
u)

0.6 0.3
求失真矩阵 D.
解：
d(0,0) = d(1,1) = d(2,2) = 0; d(0,1) = d(1,0) = d(1,2) = d(2,1) = 1; d(0,2) = d(2,0) = 4;
0 1 4
D

1
0
1

4 1 0
D Ed (u, v) n
这里 n=2
R(D) H (U ) H (D) H () H (D) H () - log (1 ) log(1 )
H (D) -D log D (1 D) log(1 D)
R(D) 1.0
0.8
ω=0.5
0.6
ω=0.4
ω=0.3
0.4
ω=0.2
inf 为下确界（最大下边界）
二元对称信源 U =[0,1], 概率分布为
P(u) [, 1 ] （ 1/ 2）
信宿 V =[0,1], 采用汉明失真，求 0 D 的率失真函数 R(D) 。
.
由汉明失真，有
R(D) H (U ) H (D) D log(n 1)
考虑对均值为零，方差为1的高斯随机变量进行8级量化。由最小均方误差最小化，可以得到如下表所列出的最优量化及Huffman编码。

信息论与编码限失真信源编码

第一节失真测度
1、失真度
信源信源编码信道编码广义无扰信道
信道
干扰
信道译码
信源译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信道编码和信道译码看成是信道的一部分. 这样信宿收到消息的失真(或误差)只是由信源编码带来的.
第一节失真测度

试验信道: 由于是失真编码, 所以信道不是一一
前言

失真传输的研究方向:

在允许一定程度失真的条件下, 能把信源信息压缩到什么程度, 即最少需要多少比特数才能描述
信源;

也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前言

这个问题在香农1948年最初发表的经典论文中已经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧重讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前言

失真传输的可能性:

传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.

对于静止图像或活动图像, 从空间频域来看, 每一帧一般只含有大量的低频域分量, 高频域分量很少. 若将高频分量丢弃, 只传输或存储低频分量, 数据率便大大减少, 而图像质量仍能令人满意. 这是因为人眼有一定的主观视觉特征, 允许传送图像时有一定的误差存在.

信息论与编码8----限失真信源编码2

信息论与编码-限失真信源编码
5. 算术编码算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关性,因此编码效率就不可能很高.解决的办法是对较长的信源序列进行编码,但会遇到与定长编码时同样的问题.而且,采用前面的序列编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间的下界值,可见,F(s="01")=p(0)p(0)正是符号序列s="01"的累计分布函数.

限失真编码

DK，MK
TK:门限电平（k+1个）
qk:电平值（k个）
4）均匀量化概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空间（变换域或频域），产生一批变换系数，对系数进行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源）表6-2（P236）举例说明
输出 1 电平数K
最优 1 均匀量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难

限失真信源编码定理

14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长度和码字之间的一一对应的码表是困难的。一般情况下，游程越长，出现的概率就越小；当游程长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但小概率的码字对平均码长影响较小，在实际应用时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表示。该压缩编码技术相当直观和经济，运算也相当简单，因此解压缩速度很快。RLE压缩编码尤其适用于计算机生成的图形图像，对减少存储容量很有效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n，所有大于2n 者都按2n 来处理。然后按照哈夫曼码的编码规则，将上列2n 种概率从大到小排队，构成码树并得到相应的码字。

第八章 限失真信源编码