信息论无失真信源编码

信息，例如霍夫曼编码。它相对简单，是 本章的重点。 信息有一定的差别，例如JPEG 、MPEG ■无失真信源编码：解码之后可以得到原始 jlll ■有失真信源编码：解码之后的信息与原始

jlll

■其中X 称为码符号集，X 中的元素“称为码元或者 码符

号。输岀符号叱?称为码字，植字的集合C 称 为代码组或者码。码字比?的长度厶称为码字长度, 简称码长。

■要实现无失真编码，编码器的映射必须是一一对 应、可

逆的。

码的分类

5.1编码器

编码器 C=(W1,W2,…,W 几 ■信源编码器表示为:

X=(QK2,…对 ■例如:

S=(ACD) r A B C D C=(OOJOJl)r 00,01,10,11 r X=(o ，l) S=(A ，CQ) AB C D C=(0,001,lip * 0,01,001,111 X=(0J)

■根据码长

□固定长度码（定长码）：所有码字的长度相同。

□可变长度码（变长码）：码字长短不一。

■码字是否相同

□非奇异码：所有码字都不相同。

□奇异码：存在相同的码字。

5.2分组码

■象稱蛊轟凋11映射

■通常在接收端收到的码字之间并没有明显的间隔, 表现为皿叫…巴的形式，把这种形式称为g阶扩展码。例如前面的两个例子，ACD编码成另 001011/0001111的形式，均为3阶扩展码。

■码字之间缺少间隔，给译码造成了一定的困难□定长码：不存在困难，001011必定译码成为ACD □变长码：存在困难，0001111可以译码成为ACD(0 001 111),也可以译码成为AABD(0 0 01 lll)o

唯一可译性

■定义524 —个分组码若对于任意有限的整 数

N,其N 阶扩展码均为非奇异的，则称之 为唯一可译码。

■含义：无论码由多少个码字组成，总是能 够正

确译码，不存在二义性。