第4章 信息率失真函数

第四章 信息率失真函数
无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率 R 小于信道容量 C ，总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。

但是，无失真的编码并非总是必要的。

无失真的编码并非总是可能的。

在实际信息传输系统中，失真是不可避免的，有时甚至是必须的。

香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。

定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。

信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。

本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。

首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。

1 失真测度
1.1 失真度
从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。

所以信息传输率与信源编码所引起的失真(或误差)是有关的。

离散无记忆信源U ，信源变量U ＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。

信源符号通过信道传输到某接收端，接收端的接收变量V ＝ {v1,v2,…vs} 。

对应于每一对(u,v)，我们指定一个非负的函数：
称为单个符号的失真度(或失真函数)。

通常较小的d 值代表较小的失真，而d(ui,vj)＝0表示没有失真。

若信源变量U 有r 个符号，接收变量V 有s 个符号，则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式，即：
它为失真矩阵D ，是 r ×s 阶矩阵。

须强调: 这里假设U 是信源，V 是信宿，那么U 和V 之间必有信道。

实际这里U 指的是原始的未失真信源，而V 是指失真以后的信源。

因此，从U 到V 之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率，如图所示：
j i j i v u d j i ≠=⎩⎨⎧>=)0(0),(α⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D
1.2 几种信源失真度
1.2.1 离散对称信源失真度
信源变量U ＝{u1,u2,…ur} ，接收变量V ＝ {v1,v2,…vs}。

定义单个符号失真度：
这种失真称为汉明失真。

汉明失真矩阵是一方阵，对角线上的元素为零，即：
对二元对称信源(s ＝r ＝2)，信源U ＝{0,1}，接收变量V ＝{0,1}。

在汉明失真定义下，失真矩阵为：
1.2.2 删除信源失真度
信源变量U ＝{u1,u2,…ur} ，接收变量V ＝ {v1,v2,…vs} (s = r+1) 。

定义其单个符号失真度为：
其中接收符号vs 作为一个删除符号。

在这种情况下，意味着若把信源符号再现为删除符号vs 时，其失真程度要比再现为其他接收符号的失真程度少一半。

若二元删除信源s ＝2，r ＝3， U ＝{0,1}，V ＝{0,1 ,2} 。

失真度为：
则：
⎪⎩⎪⎨⎧≠==j i j
i j i v u v u v u d 10),(r r D ⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0...11:...::1...011...10⎥⎦⎤⎢⎣⎡=0110D s j j
i j i v u d j i =≠=⎪⎩⎪⎨⎧= 2/110),
(
1.2.3 对称信源失真度
信源变量U ＝{u1,u2,…ur} ，接收变量V ＝ {v1,v2,…vs} 。

失真度定义为：
若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。

它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。

当 r ＝3时， U ＝{0,1,2}，V ＝{0,1,2} ，则失真矩阵为：
1.2.4 结论
上述三个例子说明了具体失真度的定义。

一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。

另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。

1.3 平均失真度
信源 U 和信宿 V 都是随机变量，故单个符号失真度d(ui,vj) 也是随机变量。

显然，规定了单个符号失真度d(ui,vj) 后，传输一个符号引起的平均失真，即信源平均失真度：
在离散情况下，信源U ＝{u1,u2,…ur} ，其概率分布P(u)＝[P(u1),P(u2),…P(ur)] ，信宿V ＝ {v1,v2,…vs} 。

若已知试验信道的传递概率为P(vj/ui)时，则平均失其度为： 若平均失真度D
̅不大于我们所允许的失真D ，即：D ̅≤D ，称此为保真度准则。

信源固定(给定P(u))，单个符号失真度固定时(给定d(ui,vj)) ，选择不同试验信道，相当
于不同的编码方法，所得的平均失真度是不同的。

有些试验信道满足D
̅≤D ，而有些试验信道D ̅＞D 。

凡满足保真度准则----平均失真度D ̅≤D 的试验信通称为---D 失真许可的试验信道。

2 信息率失真函数及其性质
2.1 信息率失真函数的定义
信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R 尽可能地小。

即在满足保真度准则下，寻找信源必须传输给收信者的信息率R 的下限值-------------这个下限值与D 有关。

⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=02111210
D 2
)(),(i j j i u v v u d -=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=014101410D )]
,([)],([v u d E v u d E D j i ==)
,()/()(),()(11j i r i s j i j i UV v u d u v P u P v u d uv P D ∑∑∑====
从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。

而接收端获得的平均信息量可用平均互信息I(U;V)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(U;V)的最小值。

在许可试验信道集合 P D 中，总可以找到某一试验信道，使信道信息传输速率 R=I(X;Y) 达到最小值，记为 R(D)。

R(D) 被称为信源的信息速率失真函数，简称率失真函数。

率失真函数 R(D) 给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数 D(R)，表示一定信息速率下所可能达到的最小的平均失真。

2.2 信息率失真函数的性质
2.2.1 R(D)的定义域
R(D)的定义域为
且
允许失真度D 的下限可以是零，即不允许任何失真的情况。

2.2.2 R(D) 的值域
0≤R(D)≤H(X)
2.2.3 R(D) 是关于平均失真 D 的下凸函数
设 D 1，D 2 为任意两个平均失真，0≤a≤1，则有：
2.2.4 R(D) 是 (D min ,D max ) 区间上的连续和严格单调递减函数
由信息率失真函数的下凸性可知， R(D)在（D min ,D max ）上连续。

又由R(D)函数的非增性且不为常数知， R(D)是区间（D min ,D max ）上的严格单调递减函数。

min max
0D D D ≤≤
≤1212((1))()(1)()R aD a D aR D a R D +-≤+-
3离散无记忆信源的信息率失真函数
已知信源的概率分布函数和失真函数，就可求得信源的信息率失真函数。

原则上与信道容量一样，是在失真受约束条件下求函数的极小值，即求：
3.1.1等概率、对称失真信源的R(D) 计算
对于等概、对称失真的信源，存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。

对于同一失真度D，n 越大，R(D) 越大，信源的可压缩性越小。

3.1.2离散无记忆信源的信息率失真函数的参量表述
原则上利用拉格朗日乘子法，可以求出来。

4连续无记忆信源的信息率失真函数（省略）
5保真度准则下的信源编码定理
即香农第三定理：
设R(D) 为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。

对于任意D≥0,ε>0，以及任意长的码长k，一定存在一种信源编码C，其码字个数为M ≥ 2k[R(D)+ε]，使编码后码的平均失真度小于D。

即对于任何失真度D，只要码长k 足够长，总可以找到一种编码，使编码后每个信源符号的信息传输率满足R=logMk≥R(D)+ϵ，而码的平均失真度不大于给定的允许失真度。

R(D) 为给定D 前提下信源编码可能达到的下限，所以香农第三定理说明了达到此下限的最佳信源编码是存在的。