第5章限失真讲义信源编码
合集下载
第5章无失真信源编码定理
如果我们要对信源的N次扩展信源进行编码，也必须满足
qN rl ， 两边取对数得： l log q
l
N log r
N 表示平均每个信源符号所需的码符号个数。
5.2 等长码
例：对英文电报得32个符号进行二元编码，根据上述关系：
l log 32 5 log 2
我们继续讨论上面得例子，我们已经知道英文的极限 熵是1.4bit,远小于5bit，也就是说，5个二元码符号只携带 1.4bit的信息量，实际上，5个二元符号最多可以携带5bit 信息量。我们可以做到让平均码长缩短，提高信息传输率
0.8112
0.4715
若采用等长二元编码，要求编码效率 0.96 ，允许错误率
105 ，则： N 4.13107
也就是长度要达到4130万以上。
5.5 变长码
1、唯一可译变长码与及时码
信源符号 出现概率 码1
码2
码3
码4
s1
1/2
0
0
1
1
s2
1/4
11
10
10
01
s3
1/8
00
00
密码：是以提高通信系统的安全性为目的的编码。通常通过加 密和解密来实现。从信息论的观点出发，“加密”可视为增熵 的过程，“解密”可视为减熵的过程。
5.1 编码器
信源编码理论是信息论的一个重要分支，其理论基础是信源编 码的两个定理。 无失真信源编码定理：是离散信源/数字信号编码的基础； 限失真信源编码定理：是连续信源/模拟信号编码的基础。
5.1 编码器
信源编码：以提高通信有效性为目的的编码。通常通过压缩信 源的冗余度来实现。采用的一般方法是压缩每个信源符号的平 均比特数或信源的码率。即同样多的信息用较少的码率传送， 使单位时间内传送的平均信息量增加，从而提高通信的有效性。
第5章 限失真信源编码
R(D) min I(X ;Y) min
Pij PD
Pij PD
n i1
m j 1
p(xi
)
p( y
j
/
xi
) log
p(y j / p( y j
xi） )
其单位是比特/信源符号。
应当注意，在研究R(D)时，我们引用的条件概 率 p(y / x)并没有实际信道的含义，只是为了求
平均互信息的最小值而引用的、假想的可变试
第5章 限失真信源编码
1. 信息率失真函数
2. 限失真信源编码定理
3. 常用信源编码方法
第三章我们讨论了无失真信源编码。但是，在很多 场合，特别是对于连续信源，因为其绝对熵为无限 大，若要求无失真地对其进行传输，则要求信道的 信息传输率也为无限大，这是不现实的。因此也就 不可能实现完全无失真传输。
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。
关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： • R(D) 0，定义域为 0 ~ Dma，x 当 D Dm时ax ，
R(D)=0。 • R(D)是关于D的连续函数。 • R(D)是关于D的严格递减函数。
因此，当规定了允许失真，又找到了适当的失真
函数 dij ，就可以找到该失真条件下的最小信息
率R(D)，用不同的方法进行数据压缩时（在允 许的失真限度D内），其压缩的程度如何，可以 用R(D)来衡量。由它可知是否还有压缩潜力， 有多大的压缩潜力。因此，有关R(D)的研究也 是信息论领域的一个研究热点。
0 1
1 0
求 Dmax
解：Dmax min d ' ( y) min p(x)d (x, y)
信息论与编码第5章限失真信源编码
4 1 0
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
第5章限失真信源编码.
第5章 限失真信源编码
例 题：
0 1 1/2 删除信道 X {0 ， 1} ， Y {0 ， 1， 2} ， D ，求 Dmin 1 0 1/2
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（ 5-3） ， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
PD = p( y j | xi ); D ≤ D ; i = 1 , 2 , , m ; j = 1 , 2 , ，n
yn p( y 2 ) p( y n ) y2
对于每一对 ( xi , y j ) ，指定一个非负的函数 d ( xi , y j ) ≥ 0, i 1 , 2 , , m ; j 1 , 2 , , n ， 称 d ( xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 x i ，而在接收端再 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d ( xi , y j ) 0 表示没 有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d ( xi , y j ) 有 m n 个，这 m n 个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 D 1
D 是 m m 阶方阵。
例 题：
1 1 1 0 1 1 1 1 0
设信道输入 X {0 , 1} ，输出 Y {0 , 1 , 2} ，规定失真函数 d (0 , 0) d (1 , 1) 0 ， d (0 , 1) d (1 , 0) 1 ， d (0 , 2) d (2 , 0) 0.5 ，求 D 。 解：由失真函数和失真矩阵可得出：
第5章2无失真和限失真信源编码
i 1 2
28
5.2.3
最佳变长编码
最佳变长编码 凡是能载荷一定的信息量，且码字的 平均长度最短，可分离的变长码的码字集 合称为最佳变长码。
29
5.2.3
最佳变长编码
能获得最佳码的编码方法主要有：
香农（Shannon）
费诺（Fano）
哈夫曼（Huffman）等
30
5.2.3
最佳变长编码
2
2.83
7.11
Pe＝0.04 太大
16
5.2.1
定长编码定理
0.28
H(X ) ＝ 0.90, H(X )
2 8 i 1
( X ) D[ I ( xi )] pi (log pi ) 2 [ H ( X )]2 7.82(bit) 2
若要求译码错误概率 10－6
对于平均符号熵为 HL(X) 的离散平稳 无记忆信源，必存在一种无失真编码方法， 使平均信息率满足不等式
H L (X) K H L (X)
其中为任意小正数。
20
5.2.2
变长编码定理
用变长编码来达到相当高的编码效率， 一般所要求的符号长度 L可以比定长编码小得 多。 编码效率的下界:
编码。
12
5.2.1
定义
定长编码定理
H L ( X) K
为编码效率，即信源的平均符号熵为H(X)， 采用平均符号码长为 来编码，所得的效 K 率。 编码效率总是小于1，且最佳编码效率为
H L ( X) , 0 H L ( X)
13
5.2.1
定长编码定理
编码定理从理论上阐明了编码效率接 近1的理想编码器的存在性，它使输出符号 的信息率与信源熵之比接近于1，即
28
5.2.3
最佳变长编码
最佳变长编码 凡是能载荷一定的信息量，且码字的 平均长度最短，可分离的变长码的码字集 合称为最佳变长码。
29
5.2.3
最佳变长编码
能获得最佳码的编码方法主要有：
香农（Shannon）
费诺（Fano）
哈夫曼（Huffman）等
30
5.2.3
最佳变长编码
2
2.83
7.11
Pe＝0.04 太大
16
5.2.1
定长编码定理
0.28
H(X ) ＝ 0.90, H(X )
2 8 i 1
( X ) D[ I ( xi )] pi (log pi ) 2 [ H ( X )]2 7.82(bit) 2
若要求译码错误概率 10－6
对于平均符号熵为 HL(X) 的离散平稳 无记忆信源，必存在一种无失真编码方法， 使平均信息率满足不等式
H L (X) K H L (X)
其中为任意小正数。
20
5.2.2
变长编码定理
用变长编码来达到相当高的编码效率， 一般所要求的符号长度 L可以比定长编码小得 多。 编码效率的下界:
编码。
12
5.2.1
定义
定长编码定理
H L ( X) K
为编码效率，即信源的平均符号熵为H(X)， 采用平均符号码长为 来编码，所得的效 K 率。 编码效率总是小于1，且最佳编码效率为
H L ( X) , 0 H L ( X)
13
5.2.1
定长编码定理
编码定理从理论上阐明了编码效率接 近1的理想编码器的存在性，它使输出符号 的信息率与信源熵之比接近于1，即
第五章 限失真信源编码和率失真函数修改
无失真信源编码定理和信道编码定理得出 这样一个结论:无论是无噪信道还是有噪信道, 只要信道的信息传输率R小于信道容量C,总能 找到一种编码,在信道上以任意小的错误概率和 , 任意接近信道容量C的信息率传输消息.反之,若 信道信息传输率R大于信道容量C,一定不能使 传输错误概率任意小而实现无失真传输.
这两个概念的适用范围是不一样的,研究信道容量 C是为了在已知信 道中尽可能地传送信息,是为了充分利用已给定的信道,使传输的信息量最 大而错误概率任意小,以提高通信的可靠性,这是信道编码的问题 . 研究信息率失真函数是为了在已知信源和允许失真度条件下,使信源 输出的信息率尽可能小,也就是在允许的一定失真度 D的条件下,使信源必 须传送给信宿的信息量最少,尽可能用最少的码符号来传送信源信息,使信 源的信息可以尽快地传送出去,以提高通信的有效性,这是信源编码问题 .
平均失真定义为
Ed ( X n , g n ( f n ( X n ))) =
码率定义为
p( x n )d ( x n , g n ( f n ( x n ))) ∑
x n ∈χ n
R=
1 log 2 M n
定义 5.1.4 设信源随机变量 X 与其复制随机变 ˆ ˆ 量 X 服从概率分布 p (x) ，有失真测度 d ( x, x) 定义信息率失真函数为
≥ Dmax
ˆ x
x
由 Q (D ) 的定义必有 D ≥ Dmax 。
ˆ ˆ 反之，设 D ≥ Dmax 。由定义知，存在 x ∈ χ ，使
*
ˆ Dmax = ∑ p( x)d ( x, x * )
x
定义条件概率
1 x = x * ˆ ( x x) = ˆ ˆ Q ˆ ˆ ˆ 0 x ≠ x*
第五章信源编码
（每个符号有m种可能值）进行定长编码。对任意的 0,0
只要
KLHL(X)ε L logm
，则：当L足够大时，必可使译码差
错小于 （几乎无失真编码）；反之，当 KLHL(X)2ε L logm
时，译码差错一定是有限值，而当L足够大时，译码几乎必定 出错（译码错误概率接近于1）。
1、解释： KL/L-----编码时，每个信源符号输出的 码长。即每个信源符
其中：左边--KL长码字所能携带的最大信息量， 右边--L长信源序列携带的信息量。
定理表明，只要码字所能携带的信息量大于信源序列输出的信 息量，则可以实现几乎无失真编码，当然条件是L足够大。 反之，不可能实现无失真的编码，也就是不可能做一种编码 器，能使收端译码时差错概率趋于零。
2、举例： (1 单 ) 符号 X A 信 {a1,a源 2...8} .， .n,a 8 ，等,L 概 1 。 分 H 1(X )H (X )lb3 8b /信 it 源符号。 若进行二进B制 {0编 ,1}m ,码 2，据定理，只要 K LLKLH lo(X g)m 3码元 /信源符号，就 无可 失以 真实 编现 码 事实上 3位，二进制码确实示 可8种 以信 表源符号。
或映射规则 元 b 转 j,j换 1,2..m 成 .构由 成码 的码 (也元 称序 为列
y i,i1,2..n.L。
f:xiyi
码K 长 L， i i1,2..n.L .； 平 均_KL 码 nL长 KLPi(： yi)码/元 符 号 序
i1 _
定长编 KL1 码 KL： 2...K .L .L n.KL， KLKL
注：奇异码一定非惟一可译。（非奇异码则不一定）
4、即时码和非即时码：
收到一个完整的码字后能立即译码，或曰及时可译---即时码
信息论：第5章 无失真信源编码定理
19
(4)非奇异码 若一组码中所有码字都不相同(即所有信源符 号映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
20
（5）奇异码
若一组码中有相同的码字，则为奇异码。
si s j Wi W j
30
即时码（异前缀码）一定是唯一可译码。因为，如果没 有一个码字是其他码字的前缀，则在译码过程中，当收到一 个完整码字的码符号序列时，无需考虑下一个符号，就能直 接把它译成对应的码字或信源符号。
31
32
33
5.2
等长码
一般说来，若要实现无失真的编码，这不但要求 信源符号与码字是一一对应的，而且要求码符号序 列的反变换也是唯一的。也就是说，所编的码必须 是唯一可译码。否则，所编的码不具有唯一可译码 性，就会引起译码带来的错误与失真。
11
超过信宿的灵敏度和分辨力所传送的信息是毫无 意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分 辨。图像信源亦是如此，人们看电影，当图片超过每 秒25张以上时，人眼就能将离散的照片在人脑内反映 成连续画面。
此时，就应该引入限定失真条件下的信源编码问题 。
12
5.1
编码器
32272781179同样可以求得信源序列长度增加到3和4时进行变长编码所得的编码效率和信息传输率分别为如果对这一信源采用等长二元码编码要求编码效率达到96允许译码错误概率105则可以算出自信息方差为98580需要的信源序列长度为可以看出使用等长编码时为了使编码效率较高96需要对非常长的信源序列进行编码且总存在译码差错
此式表明，只有当 l长的 S s1 , , sq ，有 q 个符号，那么它的N次扩展信 码符号序列数大于或等于N次 源 S N 1 , , N 共有 q N 个符号。 q 扩展信源的符号数时，才可
(4)非奇异码 若一组码中所有码字都不相同(即所有信源符 号映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
20
（5）奇异码
若一组码中有相同的码字，则为奇异码。
si s j Wi W j
30
即时码（异前缀码）一定是唯一可译码。因为，如果没 有一个码字是其他码字的前缀，则在译码过程中，当收到一 个完整码字的码符号序列时，无需考虑下一个符号，就能直 接把它译成对应的码字或信源符号。
31
32
33
5.2
等长码
一般说来，若要实现无失真的编码，这不但要求 信源符号与码字是一一对应的，而且要求码符号序 列的反变换也是唯一的。也就是说，所编的码必须 是唯一可译码。否则，所编的码不具有唯一可译码 性，就会引起译码带来的错误与失真。
11
超过信宿的灵敏度和分辨力所传送的信息是毫无 意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分 辨。图像信源亦是如此，人们看电影，当图片超过每 秒25张以上时，人眼就能将离散的照片在人脑内反映 成连续画面。
此时，就应该引入限定失真条件下的信源编码问题 。
12
5.1
编码器
32272781179同样可以求得信源序列长度增加到3和4时进行变长编码所得的编码效率和信息传输率分别为如果对这一信源采用等长二元码编码要求编码效率达到96允许译码错误概率105则可以算出自信息方差为98580需要的信源序列长度为可以看出使用等长编码时为了使编码效率较高96需要对非常长的信源序列进行编码且总存在译码差错
此式表明，只有当 l长的 S s1 , , sq ，有 q 个符号，那么它的N次扩展信 码符号序列数大于或等于N次 源 S N 1 , , N 共有 q N 个符号。 q 扩展信源的符号数时，才可
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d(xi , y j ) 0 表示没
有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d (xi , y j ) 有 m n 个，这 m n
个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
D≤ D
(5-4)
第5章 限失真信源编码
这时， D 就是允许失真的上界，是由设计要求决定的，式（5-4）就称为保真度 准则，人为地定义出一个对系统平均失真度的技术要求。
显然，式 (5-3) 中，凡是 D 值小于等于 D 值的所有信道（用信道统计特性 p( y j | xi ) 表示），都是满足平均失真度要求的信道，
d (x1, y1 ) d (x2 , y2 ) d (x1, yn )
D
d (x2 ,
y1)
d(x2, y2 )
d
(
x
2
,
y
n
)
d (xm , y1 )
d(xm , y2 )
d(xm , yn )
(5-1)
D 称为失真矩阵，它是一个 m n 阶矩阵。 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。常用的失
另一种是：
d(xi , y j ) （xi y j）2
称为平方误差失真函数。也有一个对应的失真矩阵，矩阵中的非零元素表示发送 xi ， 接收 y j 所引起的失真。取平方主要也是为了保证失真函数为负数。
第5章 限失真信源编码
5.1.2 平均失真度
由于 X,Y 都是随机变量，故单个符号失真度 d (xi , y j ) 也是随机变量，显然，规定了 单个符号失真度 d (xi , y j ) 之后，传输一个符号引起的平均失真，即信源的平均失真度为：
D E[d (xi , y j )]
mn
p(xi y j )d(xi y j )
i1 j1
mn
p(xi ) p( y j | xi )d(xi y j )
i1 j1
(5-3)
它是在 X,Y 的联合概率空间求平均。
为了系统能满足使用要求，技术上往往要求平均失真度 D 不大于某个额定值 D ，即：
其中一个最差的信道就是传信率 R I (X;Y ) 最小，但仍是能满足平均失真度要 求的信道，而更差的信道必然不能满足平均失真度的要求。可见，把保真度准则作 为约束条件，再求信道传信率 R 的最小值，就是一个不为零的有实际意义的值了。 要找出一个最差但仍能满足平均失真度要求的信道，是为了用最低的代价满足通信 的失真要求。
第5章限失真信源编 码
引言
第5章 限失真信源编码
在上一章，讨论了离散信源的无失真信源编码，这种编码是无失真的保熵 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 案例一：
在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，因此可以把 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率，看成带宽只有 300HZ~400HZ的信号。这样虽然会有一些失真，但是这些失真是允许的。 案例二:
经过信道传输后接收端的离散变量 Y 的概率空间为：
Y P(Y
)
y1
p( y1
)
y2 p(y2 )
yn p( yn )
对于每一对 (xi , y j ) ，指定一个非负的函数 d(xi , y j ) ≥ 0, i 1, 2 ,, m ; j 1 , 2 ,, n ， 称 d (xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 xi ，而在接收端再
真函数有： 1.汉明失真函数
d(xi ,
yj
)
0 1
xi xi
yj yj
(5-2)
在离散对称信道(m=n)中，定义单个符号的失真度为汉明失真，它表示当再现的接收符号 与发送的信源符号相同时，就不存在失真的错误，所以失真度 d(xi , y j ) 0 。当再现的接收符 号与发送符号不同时，就有失真存在，而且认为发送符号与再现符号不同时所引起的失真都相
在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25帧 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中，通常总是要 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此，实际 的信息传输率可以降低。 案例三:
音乐信号可以由CD格式压缩为MP3格式，其容量仅为原始信源信息量的 11%，而音质却没有明显的下降。而VS1格式居然可以把语音信号压缩到原来 的1%~2%，其可懂度没有明显下降。
同，所以失真度 d (xi , y j ), xi y j 为常数，通常取值为 1，这种失真称为汉明失真。
第5章 限失真信源编码
汉明失真矩阵 D 通常为方 1 1
1 0 1 1
D
1 1 1 0
D 是 m m 阶方阵。
例 题：
设信道输入 X {0 , 1}，输出 Y {0 , 1, 2}，规定失真函数 d(0 , 0) d(1,1) 0 ， d(0 ,1) d(1, 0) 1， d(0 , 2) d(2 , 0) 0.5 ，求 D 。
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（5-3）， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
由上述案例可知：实际应用上，其实允许一定的失真存在，于是对信息速 率的要求就可以降低，问题是可以降低到什么程度呢？这就需要对信息率失真 函数进行理论研究。
5.1失真测度
第5章 限失真信源编码
5.1.1 失真函数
设离散信源 X 为：
X P(
X
)
x1 p( x1
)
x2 p(x2 )
xm p(xm )
解：由失真函数和失真矩阵可得出：
D
0 1
1 0
0.5 0.5
第5章 限失真信源编码
2.误差失真函数 误差失真函数有两种，一种是：
d (xi , y j ) | xi y j |
称为绝对值误差失真函数。之所以取绝对值，是为了保证失真函数为非负。负的失 真函数违反数据处理定理，不可以使用。由于绝对值处理麻烦，因而应用很少。
有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d (xi , y j ) 有 m n 个，这 m n
个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
D≤ D
(5-4)
第5章 限失真信源编码
这时， D 就是允许失真的上界，是由设计要求决定的，式（5-4）就称为保真度 准则，人为地定义出一个对系统平均失真度的技术要求。
显然，式 (5-3) 中，凡是 D 值小于等于 D 值的所有信道（用信道统计特性 p( y j | xi ) 表示），都是满足平均失真度要求的信道，
d (x1, y1 ) d (x2 , y2 ) d (x1, yn )
D
d (x2 ,
y1)
d(x2, y2 )
d
(
x
2
,
y
n
)
d (xm , y1 )
d(xm , y2 )
d(xm , yn )
(5-1)
D 称为失真矩阵，它是一个 m n 阶矩阵。 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。常用的失
另一种是：
d(xi , y j ) （xi y j）2
称为平方误差失真函数。也有一个对应的失真矩阵，矩阵中的非零元素表示发送 xi ， 接收 y j 所引起的失真。取平方主要也是为了保证失真函数为负数。
第5章 限失真信源编码
5.1.2 平均失真度
由于 X,Y 都是随机变量，故单个符号失真度 d (xi , y j ) 也是随机变量，显然，规定了 单个符号失真度 d (xi , y j ) 之后，传输一个符号引起的平均失真，即信源的平均失真度为：
D E[d (xi , y j )]
mn
p(xi y j )d(xi y j )
i1 j1
mn
p(xi ) p( y j | xi )d(xi y j )
i1 j1
(5-3)
它是在 X,Y 的联合概率空间求平均。
为了系统能满足使用要求，技术上往往要求平均失真度 D 不大于某个额定值 D ，即：
其中一个最差的信道就是传信率 R I (X;Y ) 最小，但仍是能满足平均失真度要 求的信道，而更差的信道必然不能满足平均失真度的要求。可见，把保真度准则作 为约束条件，再求信道传信率 R 的最小值，就是一个不为零的有实际意义的值了。 要找出一个最差但仍能满足平均失真度要求的信道，是为了用最低的代价满足通信 的失真要求。
第5章限失真信源编 码
引言
第5章 限失真信源编码
在上一章，讨论了离散信源的无失真信源编码，这种编码是无失真的保熵 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 案例一：
在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，因此可以把 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率，看成带宽只有 300HZ~400HZ的信号。这样虽然会有一些失真，但是这些失真是允许的。 案例二:
经过信道传输后接收端的离散变量 Y 的概率空间为：
Y P(Y
)
y1
p( y1
)
y2 p(y2 )
yn p( yn )
对于每一对 (xi , y j ) ，指定一个非负的函数 d(xi , y j ) ≥ 0, i 1, 2 ,, m ; j 1 , 2 ,, n ， 称 d (xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 xi ，而在接收端再
真函数有： 1.汉明失真函数
d(xi ,
yj
)
0 1
xi xi
yj yj
(5-2)
在离散对称信道(m=n)中，定义单个符号的失真度为汉明失真，它表示当再现的接收符号 与发送的信源符号相同时，就不存在失真的错误，所以失真度 d(xi , y j ) 0 。当再现的接收符 号与发送符号不同时，就有失真存在，而且认为发送符号与再现符号不同时所引起的失真都相
在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25帧 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中，通常总是要 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此，实际 的信息传输率可以降低。 案例三:
音乐信号可以由CD格式压缩为MP3格式，其容量仅为原始信源信息量的 11%，而音质却没有明显的下降。而VS1格式居然可以把语音信号压缩到原来 的1%~2%，其可懂度没有明显下降。
同，所以失真度 d (xi , y j ), xi y j 为常数，通常取值为 1，这种失真称为汉明失真。
第5章 限失真信源编码
汉明失真矩阵 D 通常为方 1 1
1 0 1 1
D
1 1 1 0
D 是 m m 阶方阵。
例 题：
设信道输入 X {0 , 1}，输出 Y {0 , 1, 2}，规定失真函数 d(0 , 0) d(1,1) 0 ， d(0 ,1) d(1, 0) 1， d(0 , 2) d(2 , 0) 0.5 ，求 D 。
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（5-3）， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
由上述案例可知：实际应用上，其实允许一定的失真存在，于是对信息速 率的要求就可以降低，问题是可以降低到什么程度呢？这就需要对信息率失真 函数进行理论研究。
5.1失真测度
第5章 限失真信源编码
5.1.1 失真函数
设离散信源 X 为：
X P(
X
)
x1 p( x1
)
x2 p(x2 )
xm p(xm )
解：由失真函数和失真矩阵可得出：
D
0 1
1 0
0.5 0.5
第5章 限失真信源编码
2.误差失真函数 误差失真函数有两种，一种是：
d (xi , y j ) | xi y j |
称为绝对值误差失真函数。之所以取绝对值，是为了保证失真函数为非负。负的失 真函数违反数据处理定理，不可以使用。由于绝对值处理麻烦，因而应用很少。