第5章 限失真信源编码

即使对于离散信源，由于处理的信息量越来
越大，使得信息的存储和传输成本很高，而 且在很多场合，过高的信息率也没有必要， 例如：由于人耳能够接收的带宽和分辨率是 有限的，因此对数字音频传输的时候，就允 许有一定的失真，并且对欣赏没有影响。又 如对于数字电视，由于人的视觉系统的分辨 率有限，并且对低频比较敏感，对高频不太 敏感，因此也可以损失部分高频分量，当然 要在一定的限度内。等等…，这些，都决定 了限失真信源编码的重要性。
R( D) min I ( X ; Y ) min
Pij PD
Pij PD
p( x ) p( y
i i 1 j 1
n
m
j
/ xi ) log
p( y j / xi） p( y j )
其单位是比特/信源符号。 应当注意，在研究R(D)时，我们引用的条件概 率 p( y / x) 并没有实际信道的含义，只是为了求 平均互信息的最小值而引用的、假想的可变试 验信道。实际上这些信道反应的仅是不同的有 失真信源编码，或称信源压缩。所以改变试验 信道求最小值，实质上是选择一种编码方式式 信息传输率为最小，也就是在保真度准则
平均每个符号的平均失真度为
1 D D ( L) L L
k 1
当信源无记忆时，D ( L) Dk ，而
1 D L
D
k 1
L
k
若平均失真度不大于我们所允许的失真D，即
DD
我们称此为保真度准则。 四、信息率失真函数 在信源给定，并且也定义了具体的失真函数之 后，我们总是希望在满足一定的失真限度要求 的情况下，使信源最后输出的信息率R尽可能地 小。也就是说，要在满足保真度准则下( D D)， 寻找信源输出信息率R的下限值。如果将信源编 码也看成是一个信道，构成了一类假想信道，
设信源输出的符号序列为 x [x1 , x 2 ,, x L ] ，其
中的每一个随机变量 x i 取自同一符号集 x i [ x1 , x2 ,, xr ] ，所以X共有 r L 种不同的符号序 列，记为 i ，接收到的符号为 Y [Y1 , Y2 ,, YL ] ] 式中每一个符号取自符号集 Yi [ y1 , y 2 ,, y s， 所以Y共有 s L 种不同的符号序列，记为 j ，则
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。 关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： • R( D) 0，定义域为 0 ~ Dmax ，当 D Dmax 时， R(D)=0。 • R(D)是关于D的连续函数。 • R(D)是关于D的严格递减函数。
Dmax n p( x)d ( x, y )
Y X
Y
例题1：设输入输出符号表为X=Y={0,1}， 输入概率分布为 p( x) {1 / 3,2 / 3} ，失真矩阵为
d ( x1 , y1 ) d ( x1 , y2 ) 0 1 d 1 0 d ( x2 , y1 ) d ( x2 , y2 )
p( y )

Y
p( y )d ' ( y )
也就是说，要求 d ' ( y)的数学期望的最小值。这 个最小值是一定存在的。比如p( y) 这样分布：当 ' y j d 某一个 使得 ( y j ) 为最小时，就取 p( y j ) 1 ，而 ' d 其余的 p( yi ) 0, i j，此时求得的 ( y)的数学期 望一定是最小的。此时，有
下，使信源的压缩率最高。
五、信息率失真函数的性质 1. R(D)的定义域 R(D)的定义域，即D的取值范围。 （1）因为D是非负函数d(x,y)的数学期望， 因此D也是非负函数，其下界为0。此时，
意味着不允许失真，所以信道的信息率等于 信源的熵，即
R( D) R(0) H ( X )
（2）平均失真D也有一上界值 Dmax 。根据R(D)的 定义，R(D)是在一定的约束条件下，平均互信 息量I(X;Y)的最小值，其下界为0。R(D)和D的 关系曲线一般如下图所示。当D大到一定程度， R(D)就达到其下界0，我们定义这时的D为 Dmax。
在限失真信源编码里，一个重要的问题就是在
一定程度的允许失真限度内，能把信源信息压 缩到什么程度，即最少用多少比特数才能描述 信源。 这个问题已经被香农解决。香农在1948年的经 典论文中已经提到了这个问题，在1959年，香 农又在他的一篇论文“保真度准则下的离散信 源编码定理”里讨论了这个问题。研究这个问 题并做出较大贡献的还有前苏联的柯尔莫郭洛 夫（Kolmogorov）以及伯格（T. Berger）等。
误码失真：
0, xi y j d ( xi , y j ) ( x i , y j ) 1, 其它
也可以按其它的标准，如引起的损失、风险、 主观感觉上的差别等来定义失真函数。 二、平均失真 由于信源X和信宿Y都是随机变量，所以符号失 真度函数也是一个随机变量，传输时引起的平 均失真应该是符号失真度函数 d ( xi , y j ) 在信源概 率空间和信宿概率空间求平均，即
d L ( i , j )
d (x
k 1
L
ik , y jk )
失真函数矩阵应该是一个 r L s L 的矩阵。故对L 长的信源序列，其平均失真度为
D ( L)
p( x, y)d ( x, y) p( ,
i X ,Y i 1 j 1
r L sL
j )d ( i , j )
d被称为失真矩阵。
失真函数d ( xi , y j )的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代 价函数等： 2 d ( x , y ) ( x y ) 平方失真： i j i j d ( xi , y j ) xi y j 绝对失真： d ( xi , y j ) xi y j / xi 相对失真：
p( y1 ) 0, p( y2 ) 1 . 此时，
（2）R(D)函数的单调递减性和连续性 R(D)的单调递减性是很容易理解的。因为 允许的失真越大，所要求的信息率就可以越小。 根据R(D)的定义，他是在平均失真度小于或等 于允许失真度D的所有试验信道集合PD 中，取 I(X;Y)的最小值。当允许失真D扩大，则 PD 的 集合也扩大，当然仍然包含原来满足条件的所 有信道。这是在扩大了的PD 集合中找I(X;Y)的 最小值，
信息率失真理论矢量化、数摸转换、频带
压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容， 包括信源的失真度和信息率失真函数的定 义与性质，离散信源和连续信源的信息率 失真函数计算，介绍一些常用的限失真编 码方法等。
5.1 平均失真和信息率失真函数 一、失真函数 设某信源输出的随机变量为X，其值集合为 X {x1 , x2 ,, xn } ，经过编码后输出为 Y { y1 , y 2 ,, y m }，设 x i 对应 y j ，如果 xi y j i 1,2, , n; j 1,2, , m 则认为没有失真。当 xi y j 时，就产生了 失真，失真的大小，用失真函数来衡量。 失真函数的定义为

Dmax的计算：
R(D)
设当平均失真 D Dmax 时， R(D)>0 R(D)=0 R(D)以达到其下界0。当允许 更大失真时，即 D Dmax时， D R(D)仍只能继续是0。因为当 Dmax X和Y统计独立时，平均互信息 I(X;Y)=0，可见当 D Dmax 时，信源X和接收符号Y ( y) x无关。 已经统计独立了，因此 p( y / x) p，与
称为D允许信道（或D失真许可的试验信道）， 记为
PD { p( y / x) : D D}
对于离散无记忆信道，有
PD { p( y j / xi ) : D D; i 1,2,, n; j 1,2,, m}
我们的目的，就是要在上述允许信道PD 中，寻 找到一个信道P(Y/X)，使得从输入端传送过来 的信息量最少，即I(X;Y)最小。这个最小的互信 息就称为信息率失真函数R(D)，简称为率失真 函数，即
xi y j 0 d ( xi , y j ) a a 0 xi y j
由于输入符号有n个，输出符号有m个,所以 d ( xi , y j ) 共有 n m 个，写成矩阵形式，就是
d ( x1 , y1 ) d ( x1 , y m ) d d ( x , y ) d ( x , y ) n 1 n m
i 1
求 Dmax 2 min p ( xi ) d ( xi , y j ) 解： Dmax j 1, 2
1 1 2 1 2 min{ 2, 1 1} j 1, 2 3 2 3 3 3 3 min{ ,1} 1 j 1, 2 2
D
p(x, y)d (x, y) p(x , y )d (x , y ） p(x ) p( y / x )d (x , y )
i j i j i j i i j X ,Y i 1 j 1 i 1 j 1
n
m
n
m
平均失真是符号失真函数在信源空间和信宿空
间平均的结果，是描述某一信源在某一信道传 输时失真的大小，是从整体上描述系统的失真 情况。 三、信源符号序列的失真 从上面的单符号失真函数，可以得到信源符号 序列的失真函数和平均失真度。由于序列时相 当于是一个由单符号随机变量组成的随机矢量， 仿照单符号时的情况，可得：
. 而输出符号概率为 p( y1 ) 0, p( y2 ) 1
例题2：输入输出符号表同上题，失真矩阵为
1 d ( x1 , y1 ) d ( x1 , y 2 ) 1 d 2 d ( x2 , y1 ) d ( x2 , y 2 ) 2 1