信源编码

H(X ) 1 lo g 2 D L
n
H(X ) lo g 2 D
L
可见, 当L 时, lim n
H(X ) lo g 2 D
[注]:(1) 该定理只是一个极限定理，必须在L为无穷时才能达 到理论情况； (2)某些信源（如语音、图象等）在实际应用中往往允许 一定的失真（不研究）。
Ry 1 0.125
• 信源编码的必要性:
实际信源往往含有大量冗余, 比如,英文字母表(含空格 符)共27个符号, 若等概出现,则每个符号的信息量为4.76bit, 而在无记忆情况下实际信源熵只有4.076bit/符号, 若考虑两 个字母之间的相关性，则实际熵只有3.32bit/符号;若考虑 100个字母之间的相关性,则实际信源熵只有1bit/符号,此时 编码剩余度为79%!
W4=111
用码树图编码的步骤： • 从顶点（树根）出发，画出两条（D=2）分枝，一条代表 “0”，另一条代表“1”。选取其中的一个终点作为码字，如 w1=0; • 从未被选用的终点再画出两枝，选其中的一个终点作为码字 w2; • 继续下去，直至W中所有的码字都有一个终点来表示为止； • 从树根出发到各个终点，依次读出各枝代表的符号（0，1）， 便得到相应的码字。
例 已知信源S由两个符号S1, S2组成, 其概率分别为3/4和1/4, 试用{0, 1}进行编码. 解 : H (S )

i 1
2
1 3 4 pi log pi log4 log 0.811 bit/符号 4 4 3
(1)单符号编码 : 令S1 0, S2 1 n
n p 1
码效率为100%。
1963年Abramson 发现，若符号出现的概率为 ，取码字长度为ni, 便能编出紧致即时码。
1 pi 2
( )
ni
例 设信源四个符号出现的概率分别为1/2，1/4，1/8，1/8
，试编成紧致即时码，并将其平均码长与信源熵进行比较。 解：由
（2）即时码（非续长码）：收到一个码字就能译出，不必等 待与观察后面接收的是什么符号。
例 （1）C1={S1，S2，S3，S4}={0，01，011，111}
接收序列：0111101101
• 若边收边译：0，111，1 译不下去了 • 若收完后再译（从后往前）：01，111，011，01 唯一可译，但需要等待 （2）C2={S1，S2，S3， S4，S5}={00，01，10，110，111} 接收序列：110101110100 110，10，111，01，00 （唯一可译 码）
（1）最小平均码长
H(X ) nmin log 2 D
若D=2，则 （2）编码效率：
n
min
H(X )
n min H ( X ) n n log 2 D
（3）编码剩余度：
Ry 1
例 一个离散信源输出为4个长度均为1的符号，每个符号出现的 概率分别为1/2，1/4，1/8。1/8，求平均码长与编码效率。
• 如何编码才能使平均码长最短？
一般离散信源各符号出现的概率并不相等, 由
n pi ( xi ) ni
i 1
m
可知, 概率大的符号编短码,概率小的编长码, 就可以使平均码 长最短. Morse电报就采用这种方法.
字母 E T A ...... J Q Z
pi 0.1073 0.0856 0.0668 0.00108 0.00099 0.00063
x1, x 2, x 3, x 4 X 1 1 1 1 , , , 2 4 8 8
解:
H ( X ) pi logpi 1.75 (bit/符号)
i 1
4
n pi ( xi ) ni 1
i 1
m
n min H ( X ) 1.75 0.875 n n log2 D log24
i i i 1
2
(二进符号/信源符号)
H(S) 81.1%, n log D
R y 1 - 18.9%
(2)二次扩展(L 2) :由S的两个符号构成二次扩 展信源 S2 的一个符号 a 2 S 1S 2 a 3 S 2 S 1 a1 S 1S 1 2 3 1 3 3 3 ( ) 4 4 16 16 4 0 10 110 a4 S 2S 2 2 1 1 16 4 111 (编码)
(4) 须立即可译. 4 变长编码定理:
(1) 若离散信源的熵为H(X),每个信源符号用D进制符号进行编 码,则存在某种编码方法, 其码字平均长度满足
H(X ) H(X ) 1 n log 2 D log 2 D
对于二进制编码(D=2), 则有
1 H(X ) n H(X )
(2) 对于L次扩展信源, 则有以下关系
码（2）：等长码，唯一可译，效率较低；
码（3）：每码字均以0结尾，称为逗点码，唯一可 译，且可随收随译；
码（4）：以0开头，须等待下一个0到来时才能开始 译； 码（5）：立即可译。
编码的一般原则: (1) 须唯一可译; (2) 概率大的用短码, 概率小的用长码;
(3) 码字之间不用空格符就能区分;
=R/C
对于无干扰（无噪声）信道，
=实际信源熵/最大信源熵= H (X)/max H(X)
0
问： 能达到多大？
2 [仙农第一定理]：设离散无记忆信源熵为H(X)，经容量为 C（bit/符号）的无干扰信道传输，则总可以找到某种编码方 法对信源的输出进行编码，使其在信道中的传信率任意地接 近于信道容量C（正定理）。（证明略）
（3）即时码与唯一可译码（单义码）之间的关系： 即时码一定是唯一可译码（单义码），但唯一可译码（单 义码）不一定是即时码。
2 即时码存在的充要条件
（1）即时码存在的充要条件（从结构上）：即时码中任何一 个码字都不能是另一个码字的开头（前缀），或者说任何 一个码字都不能是另一个码字的延续（延长），因而这种 码又称为非续长码。 （2）即时码存在的充要条件（从码长上）：存在N个码长为ni （i=1,2,…,n）的即时码的充要条件是
5
0.96875 1
存在即时码
例 设wi表示码长为i的码字数目, 且w1=0, w2=3, w3=0, w4=5, 求：能编成即时码的D的最小值。 解： 3 D 2 5 D 4 1
令x D 2 , 得 3
5 x 2 3 x 1 0,
9 20 即 x , D 2 4.192872 10 即 D 2.05, 故取D 3时可编成即时码 .
逆定理：不存在任何编码方法，使传信率R大于等于C。
使 1， 1的过程就是使信源最佳化的过程。 3 信源编码器的作用：改造信源，使H（X）最大化，从而 信源编码又称为使信源与信道匹配的最佳编码。 类比：
信源又分为有记忆信源与无记忆信源： 有记忆信源-信源发出的符号前后有关连，一个符号 的出现会影响另一个符号的出现。 无记忆信源-符号之间是独立的，一个符号出现的概 率与前面出现的符号有关。
5 霍夫曼（Huffman）法
*6 数据压缩的分类与国际标准简介
§1
1
基本
例 汉字电报 汉字符号标准电码五单元电码， 即 {汉字} {0，1，2，…，9} {0，1}（5位0、1表示一个数字）
0 01101，1 01011，2 11001，…，4 11010，…，
• Efficiency
– Average code length as small as possible
• Reliability
– The ability to recover from errors in the transmission
提要
1 基本概念 2 基本定理：变长编码定理 3 即时码（非续长码） 4 仙农-费诺（Shannon-Fano）法
8 01110，9 10011 中（0022） 01101 01101 1101 1101 国（0948） 01101 10011 11010 01110
2 信源编码：又称数据（语音、图象、文本）压缩，目的在于 减少数字信息中的冗余度，提高通信或存储的有效性

连续信源编码： （A）A/D转换（不讨论）； （B）去冗余度。 离散信源的统计特性： 离散消息-在有限符号集中选取若干个符号组成的随机序列； 形成消息时，各符号出现的概率不同；
Morse 码 ----- -
3 编码方法
例 一个离散信源由4个符号S1, S2, S3, S4组成,其出现的概率分 别为0.6, 0.2, 0.2, 0.1和0.1, 试用不同的方法编码,并加以比较.
码（1）：若发S4S1=（110），接收时既可译成11， 0=S4S1，
也可译成110=S3， 不唯一可译；
第3篇(戴书第8章,p.114）
信源编码
Source Coding
Efficiency vs. Reliability
Coding Information source Source coding Channel coding Information channel Destination Source decoding Channel decoding Decoding
• H(X)最大化包含两个步骤：
(1)符号独立化，除符号之间的相关性；
(2)各符号概率均匀化。
本章只考虑无记忆离散信源的编码，不考虑步骤 （1）。
§ 3 编码效率及变长编码定理
1 最小平均码长与编码效率 平均码长:
n pi ( xi ) ni
i 1
m
可以证明，码字的平均长度
H(X ) n log 2 D
要求：• 唯一可译；