信息论与编码[第五章无失真信源编码定理与编码]山东大学期末考试知识点复习

第五章无失真信源编码定理与编码

5．1．1 信源编码和码的类型

1．信源编码

2．码的类型

若码符号集中符号数r=2称为二元码，r=3称为三元码，……，r元码。

若分组码中所有码字的码长都相同则称为等长码，否则称为变长码。

若分组码中所有码字都不相同则称为非奇异码，否则称为奇异码。

若每个码符号x i∈X的传输时间都相同则称为同价码，否则称为非同价码。

若分组码的任意一串有限长的码符号只能被唯一地译成所对应的信源符号序列则称为唯一可译码，否则称为非唯一可译码。

若分组码中，没有任何完整的码字是其他码字的前缀，则称为即时码(又称非延长码或前缀条件码)，否则称为延长码。

本章主要研究的是同价唯一可译码。

5．1．2 即时码及其树图构造法

即时码(非延长码或前缀条件码)是唯一可译码的一类子码。

即时码可用树图法来构造。构造的要点是：

(1)最上端为树根A，从根出发向下伸出树枝，树枝总数等于r，树枝的尽头

为节点。

(2)从每个节点再伸出r枝树枝，当某节点被安排为码字后，就不再伸枝，这节点为终端节点。一直继续进行，直至都不能伸枝为止。

(3)每个节点所伸出的树枝标上码符号，从根出发到终端节点所走路径对应的码符号序列则为终端节点的码字。

即时码可用树图法来进行编码和译码。

从树图可知，即时码可以即时进行译码。

当码字长度给定，即时码不是唯一的。

可以认为等长唯一可译码是即时码的一类子码。

5．1．3 唯一可译码存在的充要条件

(1)对含有q个信源符号的信源用含r个符号的码符号集进行编码，各码字的码长为l1，l2，…，l q的唯一可译码存在的充要条件是，满足Kraft不等式

5．1．4 唯一可译码的判断法

唯一可译码的判断步骤：

首先，观察是否是非奇异码。若是奇异码则一定不是唯一可译码。

其次，计算是否满足Kraft不等式。若不满足一定不是唯一可译码。

再次，将码画成一棵树图，观察是否满足即时码的树图的构造，若满足则是唯一可译码。

或用Sardinas和Patterson设计的判断方法：计算出分组码中所有可能的尾

随后缀集合F，观察F中有没有包含任一码字，若无则为唯一可译码；若有则一定不是唯一可译码。

上述判断步骤中Sardinas和Patterson设计的判断方法是能确切地判断出是否是唯一可译码的方法，所以可以跳过前三个步骤直接采用该判断法。

5．1．5 渐近等分割性和ε典型序列

则称此N长序列αi为非ε典型序列。

(2)ε典型序列集

5．1．6 无失真等长信源编码定理

离散信源S，其信息熵为H∞，用含r个字母的码符号集对N长信源符号序列进行等长编码，若满足l/N≥H∞/logr+ε(ε>0的任意小数)，则当N足够大时，可实现几乎无失真编码。

其中，当S为离散无记忆信源时，H∞=H(S)；

当S为离散平稳信源，H∞为信源的极限熵；

当S为马尔可夫信源，H∞为马尔可夫信源的极限熵。

5．1．7 无失真变长信源编码定理(香农第一定理)

用含r个字母的码符号集对N长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使信源符号所需平均码长满足：

5．1．8 无失真信源编码定理和数据压缩

1．无失真数据压缩的极限值

无失真信源编码定理(无论等长码还是变长码)在理论上指出离散信源的信息熵是信源无失真数据压缩的极限值。

在实际应用上，变长码与等长码相比较，当N不很大时，变长码能更快地接近这极限值，更快地获得较好的压缩效果。

无失真的信源数据压缩是实现减少或消除信源的剩余度，所以在工程实用中又称为冗余度压缩编码。通过无失真数据压缩编码可使信道的信息传输率提高，(提高了信息传输系统的有效性)达到信源与信道的匹配，使信道得到充分利用。

2．编码后信源信息率、码率和编码效率

(1)编码后信源信息率

信源编码后平均每个信源符号能载荷的最大信息量，即

5．1．9 最佳二元码

平均码长为最短的即时码称为最佳码(又称紧致码)。

对于某个给定分布的离散信源，存在一个二元最佳码，此码满足如下性质：

(1)概率大的信源符号所对应的码长不大于概率小的信源符号所对应的码长。

(2)两个最小概率的信源符号所对应的码字必具有相同码长。

(3)两个最小概率的信源符号所对应的码字的差别，必与最后一位码元不同。

·对每一种信源编码需掌握其编码方法及其平均码长的极限值范围。

·所讨论的信源编码方法都是针对离散无记忆信源的。对于离散平稳信源只需将。N重概率空间看成无记忆信源进行编码即可。

·对于马尔可夫信源，可考虑不同状态下进行信源符号编码，压缩效果可得到改善。

5．1．10 香农(Shannon)码

1．编码方法

5．1．11 费诺(Fano)码

1．编码方法(r元费诺码)

(1)将信源符号以概率递减的次序排列。

(2)将它们划分成r个组，使每组的概率和接近相同，并各赋予一位码元。

(3)再将每一组按同样原则划分，重复步骤(2)，直至各组不再可分为止。这样，所对应的码符号序列则为所编码字。

2．平均码长的极限

5．1．12 霍夫曼(Huffman)码

1．编码方法(r元霍夫曼码)

(1)信源符号个数q必须满足q=(r-1)θ+r(θ表示缩减次数)。不满足时，设一些概率为零的虚假符号，使其满足。当r=2时，任意整数q一定满足。

(2)将信源符号以概率递减的次序排列。

(3)给r个概率最小的信源符号各分配一位码元，并将它们合并成一个新符号，r个最小的概率之和作为新符号的概率，从而得到只包含q-(r-1)个信源符号的新缩减信源S1。

(4)把缩减信源S1重新按概率递减的次序排列(若此时把所得的新符号尽可能排列在靠前位置上，所得码的方差最小)，重复步骤(3)，得只含q-2(r-1)个信源符