第三章 数据压缩和信源编码

• 1）从树根开始，画出两条分枝，选中一节点代表 w1. • 2）从没有被选用的节点，再画出两条分枝。又选中 一节点代表w2。 • 3）继续下去，直到四个码字都有节点来代表为止。 • 4）将由树根到某一个码字wi经过的枝（码符号）， 依次写出来，即得到该码字。
10:20
34
• 例 2： • 用树图法表示下表中的码字：
: U k n 称为相应的译码。
对每个x , f ( x ) u U 称为码字，
n n n k k
码字全体构成的集合称由f 编出的码。 k R 称为f 的编码速率, 简称码率。 n 等长码有时也称分组码。
10:20 36
等长码
关于编码速率的说明：
10:20 16
分组码

编码器输出的码符号序列 ci 称为码字；长度 li 称为 码字长度，简称码长；全体码字的集合记为C。
将信源符号集中的每个信源符号 X i 依照固定的码表 映射成某一个码字 ci ，这样的码称为分组码。 只有分组码才有对应的码表，而非分组码中则不存在 码表。 对于同一个信源，编码方法是多种的。
10:20 18
4.非奇异码
从信源消息到码字的映射是一一对应的，每一个不同的信源消 息都用不同的码字对其编码。非奇异码码中所有码字互不相同.
5.奇异码 从信源消息到码字的映射不是一一对应的。奇异码不具备惟 一可译性。 6.原码C的N次扩展码 原码的N次扩展码是将信源作N次扩展得到的新信源符号序列 u（N）=u1 …uN = (u11 u12 … u1L) … (uN1 uN2 … uNL)，
10:20 23
各类码之间的相互关系
非分组码 奇异码 码 分组码 非唯一可译码 非即时码 非奇异码 唯一可译码 即时码 (非延长码) 定理 一个惟一可译码成为即时码的充要条件是其中任 何一个码字都不是其它码字的前缀。 注：即时码是惟一可译码，而惟一可译码不一定是即 时码。
10:20 24
例1
奇异码
10:20 7
信源编码
编码定理证明： （1）必存在一种编码方法，使代码的平均长度可 任意接近但不能低于符号熵 （2）达到这目标的途径，就是使概率与码长匹配。 说明： （1）无失真编码或可逆编码只适用于离散信源。 （2）对于连续信源，编成代码后就无法无失真地 恢复原来的连续值，因为后者的取值可有无限多 个。此时只能根据限失真编码定理进行限失真编 码 。
10:20 22
同一信源的几种不同变长编码
信源消息 x1 x2 各消息概 率 p(x1) p(x2) p(x3) p(x4) 码1 0 1 码2 1 10 码3 1 01
x3
x4
00
11
100
1000
001
0001
而对于码2，收到“1‖后，并不能立即做出判决，就 是收到“10‖也不能立即做出判决，则还要收到下面 的码元才能做出判决。所以非异字头码不能即时译码 ，称为非即时码。由于非异字头码的其中一些码字是 另一些码字的延长，故也称延长码。
对应码符号序列
c（N）=c1 …cN = (c11 c12 … c1n) … (cN1 cN2 … cNn) ，
10:20 记集合 C (N) = {c1(N), c2(N), …} 即原码C的N次扩展码。 19
7.惟一可译码 定义 若任意一串有限长的码符号序列只能被惟一地译为对 应的信源符号序列，则称此码为惟一可译码。 对于等长码，若原码是惟一可译码，则它的N次扩展码也是 惟一可译的，而对于变长码则不尽然。
10:20
5
信源编码
• 信源编码的基本途径是什么?
信源编码的基本途径有两个，一是使序列中的 各个符号尽可能地互相独立，即解除相关性； 二是使编码中各个符号出现的概率尽可能地相 等，即概率均匀化。
• 信源编码的基础是什么? 信源编码的基础是：两个编码定理，即 无失真编码定理和限失真编码定理。
10:20 6
码误差概率可以充分小,这解决了最优码的存在性问
题。
怎样构造最优码？
10:20
11
信源编码的分类
信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类 离散信源编码：独立信源编码，可做到无失真编 码； 连续信源编码：独立信源编码，只能做到限失真 信源编码； 相关信源编码：非独立信源编码。
10:20
10:20 9
信源编码包括两个功能：
（1）将信源符号变换成适合信道传输的符号；
（2） 压缩信源冗余度，提高传输效率。 提高传输效率往往削弱了其抗干扰能力。提高抗 干扰能力往往是以降低信息传输效率为代价。
10:20 10
信源编码
由信源的渐近等分性导出了信源编码定理：
只要编码的码率大于信源的熵（或熵率），则必存在 编译码方案,使当被编码的信源分组长趋于无穷时,译
c1 c2
1 10
1 0
c2 / c3 ?
c3 100 c4 1000

为非即时码
10:20
29
即时码是一种实时的惟一可译码，这类码无需 另加同步信息，就能在接收端被分离出来。在信源 编码和数据压缩中，这类编码无论在理论还是在实 际中都有很大意义。
即时码的构造方法
用树图法可以方便地构造即时码。树中每个中 间节点都伸出1至r个树枝，将所有的码字都安排在
定义 若码中任一码字都 不是另一码字的字头， 称该码为异字头码（无 前缀码）。
10:20 21
同一信源的几种不同变长编码
信源消息 x1 x2 各消息概 率 p(x1) p(x2) p(x3) p(x4) 码1 0 1 码2 1 10 码3 1 01
x3
x4
00
11
100
1000
001
0001
表中码3，收到“1‖后就知道一个码字已经完结，无须 等待下一个符号抵达，即可从码符号序列中译出码字 , 所以无前缀码能够即时译码, 称之为即时可译码，简 称即时码，即若某个惟一可译码在接收到一个完整的 码字时无需参考后续的码符号就能立即译码。
10:20
3
香农信息论三大定理
• 第一极限定理:无失真信源编码定理. • 第二极限定理:信道编码定理（包括离散和连 续信道）. • 第三极限定理:限失真信源编码定理.
10:20
4
信源编码
• 信源编码的主要任务是什么?
• 由于信源符号之间存在分布不均匀和相关性，使 得信源存在冗余度，信源编码的主要任务就是减少 冗余，提高编码效率。具体说，就是针对信源输出 符号序列的统计特性，寻找一定的方法把信源输出 符号序列变换为最短的码字序列。
信源编码器的模型
X X 1 , X 2 , , X q
编码器
C {c1 , c2 , , cq }
X :{x1 , x2 ,..., xD }
码字 ci xi xi xi 1 2 l

i
将信源符号集中的符号X （或者长为 n的信源符号序 i 列）映射成由码符号xi 组成的长度为 li 的一一对应的 码符号序列 ci 。
c1 c2 c3 c4
0 11 00 11
译码
11
c2 c4
奇异码一定不是惟一可译码。
10:20
25
例2 非奇异码
01000010
译码 0 10 00 01 0 译码
c1 0 c2 10 c3 c4 00 01
c1c2 c3c4 c1
ቤተ መጻሕፍቲ ባይዱ01 00
00 10
c4 c3c3c2
10:20
26
例3 等长码
12
信源编码的分类
• 冗余度压缩编码: 是可逆压缩，经编译码后可以无失真地恢复。 基本途径：压缩信源的冗余度，即 1) 去除码符号间的相关性； 2) 使码符号等概分布。
10:20
13
信源编码的分类
•熵压缩编码：是不可逆压缩 压缩超过一定限度，必然带来失真,允许的失真 越大，压缩的比例越大,译码时能按一定的失真容许 度恢复，保留尽可能多的信息。
10:20
14
信源编码器模型
信源编码将信源符号序列按一定的数学规律映射成码 符号序列。是从信源符号集到码符号集的一种映射，它 把信源输出的符号变换成码元序列。

信源
编码器
信道
译码器
信宿
信源编码器模型
• 译码是从码符号到信源符号的映射。若要实现无失 真编码，这种映射必须是一一对应的、可逆的。
10:20 15
信源编码
信源编码： 以提高通信有效性为目的,针对信源的编码.能更加有 效地传输、存储信息。 在不失真或允许一定失真条件下,如何用尽可能 少的符号来传送信源信息,以便提高信息传输率。通 常通过压缩信源的冗余度来实现。 采用的一般方法是压缩每个信源符号的平均比特 数或信源的码率。即同样多的信息用较少的码率传送 ,使单位时间内传送的平均信息量增加,从而提高通信 的有效性。
10:20 17


码的分类
1. 二元码
若码符号集为 {0 ， 1} ，则码字就是二元序列，称为二元码 , 二 元码通过二进制信道传输，这是数字通信和计算机通信中最常 见的一种码。
2. 等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相 同，则称这组码C为等长码。
3. 变长码 若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同， 称码C为变长码。
信源符号 s1 s2 s3 s4 s5 s6 码字 00 01 100 101 110 111 0 0 1 数根 1 1 0 1 0 1 0 s6 s3 s4 s5
s1
s2
10:20
35
等长码
定义 设为一信源字母集，U {0,1,..., D 1} 为D进码字字母集，n, k为正整数，映射 f : n U k 称为等长编码，