信息论与编码(清华出版社)第5章信源编码-Qtech

2
i 1
4
Ki
2 2
1
2
2
2
2
3
9 1 8
22
因此不存在满足这种Ki的唯一可译码。
5.1 编码的定义
{1，01，001，000}
惟一可译码；
0 0 0 1 1 1
{1，01，101，000} 不是惟一可译码； 均满足克劳夫特不等式
a1=1 a2=01
a4=000
a3=001
只有分组码才有对应的码表，而非分组码中则不存在码表。
9
5.1 编码的定义
如图5-1所示，如果信源输出符号序列长度L＝1， 信源符号集A(a1，a2，…，an)； 信源概率空间为
X a1 P p(a1) an p(a2 ) p(an ) a2
若将信源X通过二元信道传输，就必须把信源符
H L ( X) 1 KL log m L
L取无限长
38
5.2
例
无失真信源编码
设离散无记忆信源概率空间为
a2 a3 a 4 a5 a6 a7 a8 X a1 P ＝0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
H ( X ) pi log pi 2.55 比特/符号
本节内容



编码的定义 无失真信源编码 定长编码定理 变长编码定理
1
第5章 信源编码
编码分为信源编码和信道编码，其中信源 编码又分为无失真和限失真。
一般称
无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第
二极限定理；
限失真信源编码定理称为第三极限定理。
2
第5章 信源编码
40
5.2
无失真信源编码
H(X ) ＝ 0.90, H(X )
8
0.28
2 ( X ) D[ I ( xi )] pi (log pi ) 2 [ H ( X )] 2 7.82(bit) 2
i 1
10－6 若要求译码错误概率
2(X ) 7.82 L 9.8 10 7 10 8 2 0.28 2 10 6
25
5.2
无失真信源编码
Yk平均每个符号的最大信息量为log m
KL长码字的最大信息量为KLlog m
则传送一个信源符号需要的信息率平均为
KL 1 K log m log M L L
M m
KL
M为Y所能编成码字的个数；
26
5.2
无失真信源编码
所谓信息率最小，就是找到一种编码方 式使 K 最小。
i 1
8
39
5.2
无失真信源编码
对信源符号采用定长二元编码，要求编码 效率为＝90％，若取L＝1，则可算出
K H L( X )

＝2.55 90%=2.83比特/符号
每个符号用2.83比特进行定长编码，共有
22.83 7.11 7 种可能性。那么，信源符号中
就有一种符号无对应码字。 即使发生概率最小的a8, 其Pe＝0.04 太大！
无失真编码定理 限失真编码定理
∆无失真编码只适用于离散信源 ∆对于连续信源，只能在失真受限制的情况下进
行限失真编码
5
第5章 信源编码
本章讨论离散信源编码，首先从无失真编 码定理出发，重点讨论以香农码、费诺码
和霍夫曼码为代表的最佳无失真码。然后
介绍限失真编码定理。
最后简单介绍一些其它常用的信源编码方

i 1
4
2 K i 21 2 2 23 23 1
23
5.1 编码的定义
克劳夫特不等式只是用来说明唯一可译码
是否存在，并不能作为唯一可译码的判据。
24
5.2
无失真信源编码
信源输出 X＝(X1X2…Xl…XL)， Xl{a1，a2，…，ai，…，an} 编码为 Y＝(Y1Y2…Yk… YkL)， Yk{b1，b2，…，bj，…，bm}。 要求能够无失真或无差错地译码，同时传 送Y时所需要的信息率最小
信源 信源符号出 符号ai 现概率p(ai) a1 p(a1)
码表 码1
00
码2
0
a2 a3 a4
p(a2) p(a3) p(a4)
01 10 11
01 001 111
表5-1 变长码与定长码
12
5.1 编码的定义
（1）奇异码和非奇异码 若信源符号和码字是一一对应的，则该 码为非奇异码。反之为奇异码。 如表5-2中的码限值，而L足够大时，译码几乎必定出错。
31
5.2
无失真信源编码
定长编码定理说明，
K L log m LH L ( X) H ( X)
码字所能携带的信息量大于信源序列输出 的信息量，则可以使传输几乎无失真，当 然条件是L足够大。
32
5.2
无失真信源编码
反之，当 K H L (X ) 时，不可能构成无失 真的编码，也就是不可能做一种编码器， 能使收端译码时差错概率趋于零。
K H L (X ) 时，则为临界状态，可能无失真，
也可能有失真。
33
5.2
无失真信源编码
2
(X ) 差错概率：Pe 2 L
式中 2 (X) E{[ I (x i ) H (X)] 2 } 为自信息方差， 2 ( X ) 和 2 均为定值时，只要 为一正数。当 L足够大，Pe可以小于任一正数。即，
无失真信源编码定理研究的内容:
最小信息率为多少时，才能得到无失真的译码？
若小于这个信息率是否还能无失真地译码？
27
5.2
无失真信源编码
无失真的信源编码定理
定长编码定理
变长编码定理
28
5.2

无失真信源编码
定长编码定理 K是定值 ，且惟一可译码。
29
惟一可译码的判断方法


首先，观察是否是非奇异码。 其次，计算是否满克劳夫特不等式 将码画成一棵树图，观察是否满足即时码的树 图的构造，若满足则是惟一可译码。 计算出分组码中所有可能的尾随后缀集合F， 观察F中有没有包含任一码字，若无则为惟一 可译码；若有则一定不是惟一可译码。
H(X ) H(X ) K 1 log m log m
43
5.2
无失真信源编码
离散平稳无记忆序列变长编码定理：对于 平均符号熵为HL(X)的离散平稳无记忆信源， 必存在一种无失真编码方法，使平均信息 率满足不等式
H L (X) K H L (X)
其中为任意小正数。
44
5.2
法。
6
5.1 编码的定义
信源 编码器 信道
码表
图5-1 信源编码器示意图
7
5.1 编码的定义
信源编码是指信源输出符号经信源编码器 编码后转换成另外的压缩符号；
无失真信源编码：可精确无失真地复制信
源输出地消息。
8
5.1 编码的定义
将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xilA={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yilB={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。
13
5.1 编码的定义
表5-2 码的不同属性
信源符号 ai a1 a2 符号出现概率 p(ai) 1/2 1/4 码1 0 11 码2 0 10 码3 1 10 码4 1 01
a3
a4
1/8
1/8
00
11
00
01
100
001
1000 0001
14
5.1 编码的定义
（2）唯一可译码 任意有限长的码元序列，只能被唯一地
17
5.1 编码的定义
非分组码
码 分组码 奇异码 非唯一可译码 非奇异码 唯一可译码 即时码(非延长码) 非即时码
18
5.1 编码的定义
通常可用码树来表示各码字的构成
0 1
0
1
0
1
0
0 1 0
1
1 0
0
1 0
1
1 0
0
1 0
1
1 0
0
1 0
1
1
二进码树
19
5.1 编码的定义
0 1 2
0
1
2
0 1
无失真信源编码
用变长编码来达到相当高的编码效率，一 般所要求的符号长度L可以比定长编码小 得多。
45
5.2
无失真信源编码
编码效率总是小于1，可以用它来衡量各种 编码方法的优劣。
为了衡量各种编码方法与最佳码的差距， 定义码的剩余度为
1 1
HL (X ) KL log m L 1 HL (X ) K
分割成一个个的码字，便称为唯一可译
码。
如，{0,10,11}是唯一可译码。
15
5.1 编码的定义
唯一可译码中又分为非即时码和即时码： 非即时码： 如果接收端收到一个完整的码字后，不能 立即译码，还需等下一个码字开始接收后 才能判断是否可以译码，这样的码叫做非
即时码。
16
5.1 编码的定义
即时码：只要收到符号就表示该码字已完 整，可以立即译码。 即时码又称为非延长码，任意一个码字都 不是其它码字的前缀部分，亦叫做异前缀 码。
需要同时对100M个信源符号一起编码！
41
5.2
无失真信源编码
变长编码定理 在变长编码中，码长K是变化的