第七章 限失真信源编码
第七章 限失真信源编码
7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理和逆定理 * 7.5 熵压缩编码具体方法
第七章：限失真编码
概述
失真测度
X
Y
信源
编码器/信道
信宿
R=I(X;Y)>R(D)
第七章：限失真编码
7.1.1 失真函数
失真测度
X P
x1 p( x1
)
x2 p(x2 )
பைடு நூலகம்
xr p(xr )
Y P
y1 p( y1
)
y2 p(y2 )
ys p( ys )
d (xi , y j ) 0, i 1,2, , r, j 1,2, , s
第七章：限失真编码
7.1.1 失真函数
失真测度
失真矩阵
d(x1, y1) D d(x2 , y1)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R(D) min I (X ;Y )
p( y j | xi )BD
RN
(D)
min
p(y j |xi )BD
I (X; Y)
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
为 Y Y1Y2Y3 ，其中每个随机变量均取值于Y 0,1 。
定义失真函数
d (0,0) =d (1,1) =0，
d (0,1) =d (1,0) =1，求失真矩阵 D (N ）。
第七章：限失真编码
7.1.1 失真函数
0 1 1 2 1 2 2 3
1 0 2 1 2 1 3 2
1 2 0 1 2 3 1 2
p(y jk | xik ) p(y j | xi ) (k 1,2, , N)
Dk D
D(N) N D
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.1 D 允许信道
保真度准则
DD
D(N ) ND
D失真允许信道
BD p(y j | xi ) : D D i 1,2, , r; j 1,2, , s BD(N) p(y j | xi ) : D(N) ND i 1, 2,L , r N ; j 1, 2,L , sN
当 0 D Dmax p 时，
D E[d (xi , y j )] p(xi y j )d (xi , y j )
ij
P( X 0,Y 1) P( X 1,Y 0) PE
1 0
1
2 1
，求 Dmin
2
第七章：限失真编码
1. R(D的)定义域
0 1 1 D 0 1 1
1 0 1
1 0 0 P 1 0 0
0 1 0
信息率失真函数的性质
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
例7.4
设信源
X P( X
)
0 1 3
1 1
3
2 1
,
Y
0,1
3
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
这两个概念适用范围是不一样。研究信道容量C 是为 了解决在已知信道中尽可能多地传送信息的问题，是为了 充分利用已给定的信道，使传输的信息量最大而错误概率 任意小，以提高通信的可靠性，这是信道编码的问题。
研究信息率失真函数是为了解决在已知信源和允许失 真度条件下，使信源输出的信息率尽可能小，也就是在允 许一定失真度D 的条件下，使信源必须传送给信宿的信息 量最少，尽可能用最少的码符号来传送信源信息，使信源 的信息可以尽快地传送出去，以提高通信的有效性，这是 信源编码问题。
D
0
0
第七章：限失真编码
2. R(D是)关于D的下凸函数
信息率失真函数的性质
对于任意 0 1 和 D1, D2 Dmax 有
RD1 (1)D2 R(D1) (1)R(D2 )
第七章：限失真编码
信息率失真函数的性质
3. R(D在)定义域内是严格递减函数
D1 D2 D1 D0 D2
R(D1) R(D2 )
R(D0 ) R(D1)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
例7.6 二元信源的信息率失真函数
信源 X 0 1
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为
0 i j dij 1 i j
i,j 1, 2
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为汉明失真
0 i j dij 1 i j
i,j 1, 2
，求 R(D) 。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
解： Dmin 0 且满足该最小失真的试验信道是一个无
噪无损信道。
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
rN sN
N
p(xi ) p(y j | xi ) d (xik , y jk )
i1 j1
k 1
N
D(N) Dk k 1
失真测度
第七章：限失真编码
失真测度
7.1.2 平均失真
p(xik ) p(xi )
得到平均失真度D(S)，并将S表示为D的函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
（4） 将参量S代入 得到率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
R(D) H ( p) H (D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
等概信源的信息率失真函数。
例7.7 信源输出符号集 X x1, x2 , , xr ，等概
分布，输出符号集 Y
定义为
y1,
y2,
,
yr
，失真函数
0 i j d(xi , y j ) 1 i j i, j 1,2, , r
求 R(D) 。
RN (D) NR(D)
第七章：限失真编码
7.2 信息率失真函数
信息率失真函数
C max I ( X ;Y )
p( xi )
是在信道固定前提下，选择一种信源概率分布使信息传输 率最大（求极大值）。它反映了信道传输信息的能力，是 信道可靠传输的最大信息传输率。信道容量与信源无关， 是反映信道特性的参量，不同的信道其信道容量不同。
rs
p(xi )p( y j | xi )d (xi , y j )
i1 j1
D(N ) E d (xi , y j )
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
失真测度
第七章：限失真编码
7.1.2 平均失真
D(N ) E d (xi , y j )
（2） 平方误差失真函数
d(xi , y j ) (xi y j )2
失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。
第七章：限失真编码
7.1.1 失真函数
失真测度
例7.1.1 设信道输入 X 0,1，输出 Y 0,1,2，
规定失真函数
d(0,0)=d(1,1)=0， d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。 解：
d(xr , y1)
d(x1, y2 ) d(x2, y2)
d(xr , y2)
d(x1, ys ) d(x2 , ys ) d(xr , ys )
rs
第七章：限失真编码
7.1.1 失真函数
失真测度
常用的失真函数有： （1） 汉明失真
0 d (xi , y j ) 1
xi y j xi y j
第七章：限失真编码
失真测度
7.1.1 失真函数
例7.1.1 设信道输入 X 0,1，输出Y 0,1,2 ，
规定失真函数
d(0,0)=d(1,1)=0，
d(0,1)=d(1,0)=1，
d(0,2)=d(1,2)=0.5，求 D 。
解：
D
0 1
1 0
0.5 0.5
第七章：限失真编码
失真测度
7.1.1 失真函数
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
Dmin min
p(xi ) p(y j | xi )d (xi , y j )
ij
p(xi ) min p( y j | xi )d (xi , y j )
i
j
i
p(
xi
)
mind
j
(
xi
,
y
j
)
例7.3：删除信道
D
0
1
布为
p(xi
)
1 2r
,i
1,2,
,2r，失真函数选为
0 d (xi , y j ) 1
xi y j xi y j
求当允许的失真度为1/2时信源的率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
例7.9 二元信源的信息率失真函数
信源 X 0 1
R(D) log r D log(r 1) H (D)
7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理和逆定理 * 7.5 熵压缩编码具体方法
第七章：限失真编码
概述
失真测度
X
Y
信源
编码器/信道
信宿
R=I(X;Y)>R(D)
第七章：限失真编码
7.1.1 失真函数
失真测度
X P
x1 p( x1
)
x2 p(x2 )
பைடு நூலகம்
xr p(xr )
Y P
y1 p( y1
)
y2 p(y2 )
ys p( ys )
d (xi , y j ) 0, i 1,2, , r, j 1,2, , s
第七章：限失真编码
7.1.1 失真函数
失真测度
失真矩阵
d(x1, y1) D d(x2 , y1)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R(D) min I (X ;Y )
p( y j | xi )BD
RN
(D)
min
p(y j |xi )BD
I (X; Y)
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
为 Y Y1Y2Y3 ，其中每个随机变量均取值于Y 0,1 。
定义失真函数
d (0,0) =d (1,1) =0，
d (0,1) =d (1,0) =1，求失真矩阵 D (N ）。
第七章：限失真编码
7.1.1 失真函数
0 1 1 2 1 2 2 3
1 0 2 1 2 1 3 2
1 2 0 1 2 3 1 2
p(y jk | xik ) p(y j | xi ) (k 1,2, , N)
Dk D
D(N) N D
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.1 D 允许信道
保真度准则
DD
D(N ) ND
D失真允许信道
BD p(y j | xi ) : D D i 1,2, , r; j 1,2, , s BD(N) p(y j | xi ) : D(N) ND i 1, 2,L , r N ; j 1, 2,L , sN
当 0 D Dmax p 时，
D E[d (xi , y j )] p(xi y j )d (xi , y j )
ij
P( X 0,Y 1) P( X 1,Y 0) PE
1 0
1
2 1
，求 Dmin
2
第七章：限失真编码
1. R(D的)定义域
0 1 1 D 0 1 1
1 0 1
1 0 0 P 1 0 0
0 1 0
信息率失真函数的性质
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
例7.4
设信源
X P( X
)
0 1 3
1 1
3
2 1
,
Y
0,1
3
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
这两个概念适用范围是不一样。研究信道容量C 是为 了解决在已知信道中尽可能多地传送信息的问题，是为了 充分利用已给定的信道，使传输的信息量最大而错误概率 任意小，以提高通信的可靠性，这是信道编码的问题。
研究信息率失真函数是为了解决在已知信源和允许失 真度条件下，使信源输出的信息率尽可能小，也就是在允 许一定失真度D 的条件下，使信源必须传送给信宿的信息 量最少，尽可能用最少的码符号来传送信源信息，使信源 的信息可以尽快地传送出去，以提高通信的有效性，这是 信源编码问题。
D
0
0
第七章：限失真编码
2. R(D是)关于D的下凸函数
信息率失真函数的性质
对于任意 0 1 和 D1, D2 Dmax 有
RD1 (1)D2 R(D1) (1)R(D2 )
第七章：限失真编码
信息率失真函数的性质
3. R(D在)定义域内是严格递减函数
D1 D2 D1 D0 D2
R(D1) R(D2 )
R(D0 ) R(D1)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
例7.6 二元信源的信息率失真函数
信源 X 0 1
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为
0 i j dij 1 i j
i,j 1, 2
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为汉明失真
0 i j dij 1 i j
i,j 1, 2
，求 R(D) 。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
解： Dmin 0 且满足该最小失真的试验信道是一个无
噪无损信道。
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
rN sN
N
p(xi ) p(y j | xi ) d (xik , y jk )
i1 j1
k 1
N
D(N) Dk k 1
失真测度
第七章：限失真编码
失真测度
7.1.2 平均失真
p(xik ) p(xi )
得到平均失真度D(S)，并将S表示为D的函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
（4） 将参量S代入 得到率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
R(D) H ( p) H (D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
等概信源的信息率失真函数。
例7.7 信源输出符号集 X x1, x2 , , xr ，等概
分布，输出符号集 Y
定义为
y1,
y2,
,
yr
，失真函数
0 i j d(xi , y j ) 1 i j i, j 1,2, , r
求 R(D) 。
RN (D) NR(D)
第七章：限失真编码
7.2 信息率失真函数
信息率失真函数
C max I ( X ;Y )
p( xi )
是在信道固定前提下，选择一种信源概率分布使信息传输 率最大（求极大值）。它反映了信道传输信息的能力，是 信道可靠传输的最大信息传输率。信道容量与信源无关， 是反映信道特性的参量，不同的信道其信道容量不同。
rs
p(xi )p( y j | xi )d (xi , y j )
i1 j1
D(N ) E d (xi , y j )
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
失真测度
第七章：限失真编码
7.1.2 平均失真
D(N ) E d (xi , y j )
（2） 平方误差失真函数
d(xi , y j ) (xi y j )2
失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。
第七章：限失真编码
7.1.1 失真函数
失真测度
例7.1.1 设信道输入 X 0,1，输出 Y 0,1,2，
规定失真函数
d(0,0)=d(1,1)=0， d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。 解：
d(xr , y1)
d(x1, y2 ) d(x2, y2)
d(xr , y2)
d(x1, ys ) d(x2 , ys ) d(xr , ys )
rs
第七章：限失真编码
7.1.1 失真函数
失真测度
常用的失真函数有： （1） 汉明失真
0 d (xi , y j ) 1
xi y j xi y j
第七章：限失真编码
失真测度
7.1.1 失真函数
例7.1.1 设信道输入 X 0,1，输出Y 0,1,2 ，
规定失真函数
d(0,0)=d(1,1)=0，
d(0,1)=d(1,0)=1，
d(0,2)=d(1,2)=0.5，求 D 。
解：
D
0 1
1 0
0.5 0.5
第七章：限失真编码
失真测度
7.1.1 失真函数
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
Dmin min
p(xi ) p(y j | xi )d (xi , y j )
ij
p(xi ) min p( y j | xi )d (xi , y j )
i
j
i
p(
xi
)
mind
j
(
xi
,
y
j
)
例7.3：删除信道
D
0
1
布为
p(xi
)
1 2r
,i
1,2,
,2r，失真函数选为
0 d (xi , y j ) 1
xi y j xi y j
求当允许的失真度为1/2时信源的率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
例7.9 二元信源的信息率失真函数
信源 X 0 1
R(D) log r D log(r 1) H (D)
合集下载
(信息论)第7章限失真信源编码
(7.5)
BD p y | x : D D
i 1, 2, , n ; j 1, 2, , m
7.2.2 信息率失真函数的定义 在 D 允许信道 BD 中可以寻找一个信道 pY | X ，使 给定的信源经过此信道传输时，其信道传输率 I X , Y 达到 最小，定义为信息率失真函数 RD ，也称为率失真函数， 即
1 n d n xi , y j d xik , y jk n k 1
信源编码过程是这样进行的：当信源发送序列 xi 时， 就从分组码 Y 中选取一个码字 y j，使失真最小，即
d n xi | Y min d n xi , y j
y j Y
(7.7)
所以分组码 Y 的平均失真度为
当采用随机编码方法时，考虑到接收端输出序列分
布q yj
，则分组码 Y 的平均失真度为
p xi q y j d n xi | Y (7.9)
N M i 1 j 1
dn Y E dn Y
对于分组码 M , n ，其最大速率为
7.2 信息率失真函数
7.2.1 D 允许信道(试验信道)
问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信 源时，如果 R C ，就必须对信源进行压缩，使其压缩 后信息传输率 R 小于信道容量 C，但同时要保证压缩 所引入的失真不超过预先规定的限度。 保真度准则
如果预先规定的平均失真度为 D ，则称信源压缩后 的失真度 D 不大于 D 的准则为保真度准则，即保真度 准则满足
，则平均失真度为
第七章：限失真编码2
预测编码
最佳量化
不带量化器的DPCM线性预测编码，属于无失真编码系统； 带有量化器的DPCM线性预测编码，属于有失真编码系统。 DPCM线性预测系统是一个负反馈系统，对误差有收敛性。 发送端与接收端之间的误差等于量化误差。 最佳量化器的设计，可利用人眼的视觉可见度阈值和视 觉掩蔽效应等生理特征，来确定量化器的级数和步距，使量 化误差总处于人眼难以觉察的范围内，达到主观评定准则的 要求。
{I (U ,V )} 率失真函数公式 R( D) p (min v|u )B
D
存在符合条件的C2,使pe0
存在符合条件的C3，使D’<D
熵压缩编码
重点介绍三种有代表性的方法 1）量化 标量量化 矢量量化 2）变换编码 3）预测编码 习惯上对把矢量量化和变换编码称为熵压 缩分组编码，预测编码称为熵压缩树码 前面提到就是允许一定D，把熵率压缩最小， 即，使率失真函数最小。
0.0024 99
说法：随k增加，L一M算法明显比均匀量化好， 对无记忆高斯连续信源。标量压缩相当有效，矢 量量化性质同标量量化）（略）
变换编码：
它是熵压缩编码中的一种，还一种是什么 （矢量量化） 思想：（P243）
特点：多了两个限加：
§7.4:限失真信源编码定理－1
限失真信源编码定理
限失真信源编码定理的证明 编码定理－2
限失真信源编码定理
设R(D)为一离散无记忆平稳信源的信息率失真函数， 并且有有限的失真测度。对于任意D≥0，ε＞0，δ ＞0以及任意足够长的码长n，则一定存在一种信源 编码C，其码字个数为: M= exp{n［R(D)+ε］} 而编码后码的平均失真度: d(C)≤D+δ 如果用二元编码，R(D)取比特为单位，则上式M可 写成: M=2{n［R(D)+ε］}
信息论_限失真信源编码
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
《信息论》(电子科大)第七章_信息率失真理论
电子科技大学
称全部n 称全部n×m个失真度组成的矩阵为失真 矩阵： 矩阵：
d(x1, y1 ) d(x1, y2 ) d(x , y ) d(x , y ) 2 2 2 1 [D] = ... ... d(xn , y1 ) d(xn , y2 ) ... d(x1, ym ) ... d(x2 , ym ) ... ... ... d(xn , ym )
电子科技大学
i = 1,2,L,n, j = 1,2,L,m
µi ln − Sd(xi , yj ) − =0 p(yj ) p(xi ) p(yj / xi ) i = 1,2,L,n, j = 1,2,L,m
µi 令ln λi = p(xi )
ln
p(yj / xi ) p(yj )
电子科技大学
∂ {−S[∑∑p(xk )p(yl / xk )d(xk , yl ) − D]} ∂p(yj / xi ) k =1 l =1
n m
= −Sp(xi )d(xi , yj )
p(yj / xi ) ∂Φi ∴ = p(xi )ln ∂p(yj / xi ) p(yj ) − Sp(xi )d(xi , yj ) − µi = 0
电子科技大学
d(xi , yj ) = (yj − xi )
2
称为平方误差失真度。 称为平方误差失真度。
(2)平均失真度 (2)平均失真度
D = E[d(xi , yj )] = ∑∑p(xi )p(yi / xi )d(xi , yj )
i =1 j=1 n m
电子科技大学
(3)保真度准则 (3)保真度准则 如果给定的允许失真为D 如果给定的允许失真为D 为保真度准则。 则称 p(yj / xi ) = p(yj )
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
限失真编码
结论：矢量量化是熵压缩分组编码的最有效方法
如图①>②>③
3
1
2
R
量化
它包括标量和矢量两种，这是重点讲标量量 化
1 标量量化适用范围：连续无记忆信源 2 标量量化的概念：连续信号量化K个若干可
能离散值 举例：A/D采集版
量化
量化概念
A/D中的量 化
量化过程示 意图
一个量化实 例
量化处理是使数据比特率下降的一 个强有力的措施。
DK，MK
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
– 在1/4失真度下，该压缩编码方法不是最佳的，或该信源还可以压 缩
§7.5:香农三大定理的关系和比较－1
无失真信源编码定理 信源冗余度压缩编码 无失真、保熵 信源压缩的极限值：信源熵H(S)
存在性、构造性
限失真信源编码定理 信源的熵压缩编码 有失真、熵压缩 信源压缩的极限值：率失真函数R(D)
存在性定理
p ( v|u )BD
存在符合条件的C3，使D’<D
熵压缩编码
重点介绍三种有代表性的方法 1）量化 标量量化 矢量量化 2）变换编码 3）预测编码 习惯上对把矢量量化和变换编码称为熵压缩
分组编码，预测编码称为熵压缩树码 前面提到就是允许一定D，把熵率压缩最小，
即，使率失真函数最小。
如图①>②>③
3
1
2
R
量化
它包括标量和矢量两种，这是重点讲标量量 化
1 标量量化适用范围：连续无记忆信源 2 标量量化的概念：连续信号量化K个若干可
能离散值 举例：A/D采集版
量化
量化概念
A/D中的量 化
量化过程示 意图
一个量化实 例
量化处理是使数据比特率下降的一 个强有力的措施。
DK，MK
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
– 在1/4失真度下，该压缩编码方法不是最佳的，或该信源还可以压 缩
§7.5:香农三大定理的关系和比较－1
无失真信源编码定理 信源冗余度压缩编码 无失真、保熵 信源压缩的极限值：信源熵H(S)
存在性、构造性
限失真信源编码定理 信源的熵压缩编码 有失真、熵压缩 信源压缩的极限值：率失真函数R(D)
存在性定理
p ( v|u )BD
存在符合条件的C3，使D’<D
熵压缩编码
重点介绍三种有代表性的方法 1）量化 标量量化 矢量量化 2）变换编码 3）预测编码 习惯上对把矢量量化和变换编码称为熵压缩
分组编码，预测编码称为熵压缩树码 前面提到就是允许一定D，把熵率压缩最小，
即，使率失真函数最小。
限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
第七章：信息率失真函数与限失真信源编码
§7.2:失真的度量－8
• 平均失真度
– N维信源符号序列信源平均失真度
1 DN N D ( N ) – 信源、信道均无记忆时：
序列中第l个分量 的平均失真度
1 N
D ( N ) Dl DN
l 1
l
N
D
l 1
l i
N
l
– 信源平稳时： p(ui ) p(ui ), p(v j | ui ) p(v j | ui )
当D＝0时，R(D) ∞。即：
在连续信源情况下，要毫无失真地传送 连续信源必须要求信道具有无限大的容 量。
当D＝0.25 ζ2时,R(D)=1（比特/自由 度）。即：
允许均方误差小于或等于ζ 2/4时，连续 信号的每个样本值最少需要用一个二元 符号来传输。
D/ ζ2 高斯信源在 DN D
§7.2:失真的度量－9
• 保真度准则
– 给定D，若 D ≤ D，则称此为保真度准则
D – 对于序列信源，保真度准则为： (N )≤ ND
§7.2:失真的度量－10
• 试验信道：
– P(v|u)不是实际的信道特性矩阵，在此相当于 D 不同的编码方法，编码方法不同， 不同。 – 定义：所有 D ≤ D的试验信道构成D失真许可 的试验信道集合BD
消息
R=C;PE=0,
限：平均码长最小值Hr(S)
压缩冗余度
每个码符号平均能够携带的最大信息量
§7.1:概述－2
• 有噪信道编码定理回顾：
– 只要R<C，总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。
增加冗余度，最好地匹配信 道特性
消息
信 源 编 码
信 道 编 码
第7章 限失真信源编码(08)
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.1.2 平均失真
由于X,Y都是随机变量，故单个符号失真度 d ( xi , y j ) 也是随机变量。 显然，规定了单个符号失真度 d ( xi , y j ) 之后，传输一个符号引起 的平均失真，即信源的平均失真度 平均失真度为 平均失真度
在离散对称信道(r=s)中，定义单个符号失真度为汉明失真。 汉明失真矩阵D通常为方阵，且对角线上的元素为0。即
0 1 D= ⋮ 1 1 1 ⋯ 1 0 1 ⋯ 1 ⋮ ⋮ ⋮ 1 1 ⋯ 0
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
j
i
j
i
j
j
i
2. R(D)是关于 的下凸函数 是关于D的下凸函数 是关于 R(D)是关于D的下凸函数，即对于任意 0 ≤ α ≤ 1, D1 , D2 ≤ Dmax 有 R[α D + (1 − α ) D ] ≤ α R( D ) + (1 − α ) R ( D )
1 2 1 2
中国矿业大学信电学院
中国矿业大学信电学院
School of Information and Electrical Engineering, CUMT
7.2 信息率失真函数
7.2.1 D失真许可信道 失真许可信道
如果要求信源符号的平均失真度小于我们所允许的失真D， 即 D ≤ D ，称为保真度准则。N维信源序列的保真准则是
我们总希望在满足保真度准则以后，压缩后的信息传输率 R∗ 尽可 能地小。把信源的压缩编码的过程看成一个信道，从这个信道的 接收端来说，R∗ 可以用平均互信息I(X;Y)来表示，压缩过程中引 入的失真可以用H (X|Y)表示。 我们的任务就是在满足保真度准则的所有D失真许可的试验信道 集合 BD 中寻找某一个信道 p ( y j | xi ) ，使I(X;Y)达到最小，即