第5章 无失真信源编码

5.1编码器
若分组码的任意一串有 限长的码符号只能被唯 一地译成所对应的信源 符号序列 则称为唯一可译码，否 则称为非唯一可译码。 若分组码中，没有任何 完整的码字是其他码字 的前缀，则称为即时码 （又称非延长码或前缀 条件码），否则称为延 长码。
5.2等长码
一般说来，若要实现无 失真的编码，这不但要 求信源符号si (i 1,2,, q) 与码字Wi (i 1,2, , q)是一一对应的，而且要 求码符号序列的反变换 也是 惟一的。也就是说，所 编的码必须是唯一可译 码。否则，所编的码不 具 有唯一可译码性，就会 引起译码带来的错误与 失真。 对于等长码来说，若等 长码是非奇异码，则它 的任意有限长N次扩展码 一定也是非奇异码。因 此等长非奇异码一定是 唯一可译码。
5.5变长码
1、即时码及其树图够造法 即时码（非延长码或前缀条件码）是唯一可译码的一类子码。 即时码可用树图法来构造。构造的要点是： （1）最上短为根A，从根岀发向下伸出树枝，树枝总数等于r，树枝 的尽头为节点。 （2）从每个节点再伸出r枝树枝，当某节点被安排为码字后，就不 再伸枝，这节点为终端节点。一直继续进行，直至都不能伸枝为 止。 （3）每个节点所伸出的树枝标上码符号，从根出发到终端节点所走 路劲对应的码符号序列则为终端节点的码字。 即时码可用数图法来进行编码和译码。 从数图可知，即时码可以即时进行译码。 当码字长度给定，即时码不是为移动。 可以认为等长唯一可译码是即时码的一类子码。
_ _
离散平稳（和马尔科夫 ）信源 lim
LN H ( H 为极限熵） N N log r
5.6变长信源编码定理
其中 LN P( i )i , 而i 是信源序列 i 所对应的码字长度。
i 1 _ q
所以L L1 P( si )li
i 1
q
5.6变长信源编码定理
用含r个字母的码符号集对 N长信源符号序列进行变 长编码，总能找到一种 无失真 的唯一可译码，使信源 符号所需平均码长满足 ： H (S ) 1 LN H (S ) （ 1）离散无记忆信源 log r N N log r 1 H ( S1 S 2 S N ) 1 L N 1 H ( S1 S 2 S N ) (2)离散平稳信源 log r n N N log r N H H 1 L (3)离散马尔科夫信源 N log r N N log r _ H (S ) H (S ) 当N 1时，有 1 L log r log r 当N 时，有 L H (S ) 离散无记忆信源lim N H r (S ) N N log r
i Wi ( xi , xi ,, xi ) xi X
1 2 l k
这种一一对应变换称为 信源编码。Wi 称为码字，长度 l为码长。Wi的集合C称为分类码。 2、码的类型 若码符号集中符号数 r 2称为二元码，r 3称为三元码， ，r元码。 若分组码中所有码字的 码长都相同则称为等长 码，即li l (i 1,2, , q ),则称为等长码。 若分组码中所有码字的 码长都不相同则称为变 长码，即li l (i 1,2,, q),则称为变长码。 若分组码中所有码字都 不相同则称为非奇异码 ，否则称为奇异码。 若每个码符号xi X的传输时间都相同则称 为同价码，否则称为非 同价码。
5.2等长码
1、等长码的定义
若分组码中所有码字的 码长都相同则称为等长 码， 即li l (i 1,2,, q),则称为等长码。
5.4等长信源编码定理
定理5.（等长信源编码定理） 3 一个熵为H ( S )的离散无记忆信源，若 对信源长为N的符号序列 进行等长编码，设码字 是从r个字母的码符号集中， 选取l个码元组成。对于任意 0,只要满足 l H (S ) (5.30) N log r 则当N足够大时，可实现几乎 无失真编码，即译码错 误概率能为任意小。反 之，若 l H ( S ) - 2 (5.31) N log r 则不可能实现无失真编 码，而当N足够大时，译码错误概 率近似等于 1.将条件（ 5.30）移项， l 又可得 log r H ( S ) (5.41) N l 令R log r (5.42) N 它是编码后平均每个信 源符号能载荷的最大信 息量，称R 为编码后信源的信息传 输率。 可见编码后信源的信息 传输率大于信源的熵， 才能实现几乎无失真编 码，为了衡量各种 实际等长编码方法的编 码效率，引进 H(S ) H (S ) (5.43)称为编码效来说，提高抗干扰能力（降低失真或者错误概率），往往 是增加冗余度以降低信息传播率为代价的；反之，要提高信息传输 率，往往通过压缩信源冗余度来实现而常常又会使抗干扰能力减弱。 二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明， 至少存在某种最佳的编码或者信息处理方法，能够解决上述矛盾， 做到既可靠又有效地传输信息。 本章将将着重讨论对离散信源进行无失真信源编码的要求、方 法及理论极限，并得出一个极为重要的极限定理——香农第一定理。
5.5变长码
2、唯一可译码存在的充 要条件 （ 1）对含有q个信源符号的信源用含 r个符号的码符号集进行 编码，各码字的码长 为l1 , l 2 ,, l q的唯一可译码存在的充 要条件是，满足 Kraft不等式
r
i 1
q
li
1
(2)若存在一组码长为 l1 , l 2 ,, l q的唯一可译码，则一定 存在具有相同码长的即 时码。 所以，Kraft不等式也是即时码存在 的充要条件。 3、唯一可译码的判断法 唯一可译码的判断步骤 ： 首先，观察是否是非奇 异码。若是奇异码则一 定不是唯一可译码。 其次，计算是否满足 Kraft不等式。若不满足一定 不是唯一可译码。 然后，将码画成一颗数 图，观察是否满足即时 码的数图的构造，若满 足则是唯一可译码。 或用Sardinas 和Patterson 设计的判断方法：计算 出分组码中所有可能的 尾随后缀集合F , 观察F中有没有包含任一码字 ，若无则为唯一可译码 ：若有则一定不是唯一 可译码。 上述判断步骤中 Sardinas 和Patterson 设计的判断方法是能确 切地判断出是否是唯一 可译码的方法， 所以可以跳过前三个步 骤直接采用该判断法。
第5章无失真信源编码
5.1编码器 5.2等长码 5.3渐进等分割性和典型序列 5.4等长信源编码定理 5.5变长码 5.6变长信源编码定理
第5章无失真信源编码
通信的实质是信息的传输。而高效率、高质量地传送信息却 又是信息传输的根本问题。将信源信息通过信道传送给信宿，怎 样才能既做到尽可能不失真而又快速？这就需要解决而个问题。 第一，在不失真或允许一定失真条件下，如何用尽可能少的符号 来传送信源信息，以便提高信息传输率。第二，在信道受干扰的 情况下，如何增加信号的抗干扰能力，提高信息传输的可靠性， 同时又使得信息传输率最大，为了解决这两个问题我们引入了信 源编码和信道编码。
5.1编码器
编码实质上是对信源的原始的符号按一定的数学规则进行的 一种变换。 为了分析方便和突出问题的重点，当研究信源编码时，我们 将信道编码和译码看成是信道的一部分，而突出信源编码。同样， 研究信道编码时，将信源编码和译码看成是信源和信宿的一部分， 而突出信道编码。
5.1编码器
1、信源编码 设信源S {s1 , s 2 ,, s q }, 码符号集X {x1 , x 2 , x r }, 其xi 称为码符号（码元）， 将 si Wi ( xi1 , xi2 , , xil ) xik X (i 1,2,, q) 或 i ( si1 , si2 , , siN ) siK S