005 信息论与编码 第5章 信源编码

对变长码的译码: (1) 加标识信息，如同步信号（增加大量非信息位的 开销，效率低）；(2) 在变长码中寻找内在规律（现实可行）
12
5.3 限失真信源编码定理
该定理与香农第二编码定理一样，只是码的存在性定理。当R>R(D) 时，译码失真小于或等于D+ε的码一定存在，但定理并未告知码的 构造方法。当R< R(D)时，译码失真必大于D，且找不到满足条件的 码。 无失真信源编码定理，是寻求与信源消息(符号)熵相匹配的编码， 即 K K R (或 ) H ( X ) L L 限失真信源编码定理，则是寻求与信源单个消息的信息率失真 R(D)函数相匹配的编码
R R( D)
13
5.4 编码方式
实现无失真信源编码的方式
改造信源方式：将实际不理想的不等概率信源变换成理想的 具有最大熵值的等概率信源，再采用等长编码进行匹配。
适应信源方式：对实际的不等概率信源采用与之匹配的变长 编码方法，如Huffman编码、算术编码、游离编码等。
实现限失真信源编码的方式

Huffman编码是最优变长信源编码（前提：信源具有稳定、确知 的概率统计特性）
15
3
编码的概念
将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xilA={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yilB={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。只有分组码才有 对应的码表，而非分组码中则不存在码表。
无失真等长编码，求H(X)，η。 等长码，k=2，编码效率η=H(X)/K=7/4/2=7/8=87.5% H(X)=-∑i=1,..,4 p(xi)logp(xi)=1.75 bit/sym。 等长编码编码效率低。为提高编码效率（编码有效性），需将单消 息扩展成消息序列，然后进行联合编码。
11

7
无失真等长编码
为满足有效性——引入信源的统计特性——只对少数大概率典型序 列编码，对大批小概率非典型组合根本不编码——可能出现译码错 误（非一一对应编码）。

所谓无失真等长编码是指无失真或者近似无失真的信源编码。 由K/L ≥logn/logm=H(X)/logm，得Shannon第一等长编码定理： 当K/L logm≥H(X)+ε时，有效无失真信源编码存在，可构造； 反之，当K/L logm<H(X) - 2ε时，无失真信源编码不存在不可构造。
第五章
信源编码
本章内容
5.1 编码的概念 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
2
5.1 编码的概念
编码分为信源编码和信道编码，其中信源
编码又分为无失真和限失真。
一般称
第一极限定理：无失真信源编码定理
第二极限定理：信道编码定理
第三极限定理：限失真信源编码定理
x2 x2 x3 x3 x4 x4 X X x1 x1 , x x2 x3 10, x4 x 11 , x1 00, 00, x2 01, 01, x3 10, 1 p( x) 1 4 11 88 1 8 21124 1148 11 i p ( xi )
8

不等长编码定理：若信源编码器用不同长度符号（K不定值）来 表示信源的输出符号，则K’/L ≥H(X)/logm，即将等长码中的K变 为变长码中的平均码长K’。 典型的ε)> K’/L ≥H(X)/logm 对二进制(m=2) 则 H(X)+ε> K’/L ≥H(X)。 其中K’/L表示平均每个信源符号的编码长度。
9

若对离散无记忆信源的输出符号进行变长编码，则必存在一 种编码方式，可以使信源平均每符号的编码长度R= K’/L *log2m 接近于信源的信息熵 H(X)，即编码器输出符号的最小 信息率R略大于信息熵 H(X)，可做到无失真译码，条件是L必 须足够大。

变长码可以无失真编码，无差错译码。 编码效率η=H(X)/ R，R信源平均每个符号的编码长度。
变长编码： 如上例中信源进行不等长编码， X x1
平均码长 K’=∑i=1,..,4 p(xi)Ki=1/2*1+1/4*2+1/8*2*3=7/4=1.75 可得编码效率η= H(X)/K’=100%，即采用变长编码，逐位编码(L=1)可 达到100%的编码效率。

变长码的译码与等长码的按码位数周期性译码不同
X x1 x2 x3 x4 p ( x ) 1 2 1 4 1 8 1 8 i x2 x3 x4 变长码 0 1 0 110 111 p( x ) 1 2 1 4 1 8 1 8 i 解：H(X)=1.75 bit/sym 变长码 进行逐位编码 (L =1) ， 0 1 0 110 111
4
5.2 无失真信源编码定理
• 只讨论最简单情况下的信源无失真编码定理： 离散、无记忆、平稳、遍历、二（多）进制等 （变）长编码条件下的信源编码定理。
5
等长编码定理

x: 输入无记忆符号序列，共L位，每一位有n种可 能取值，S为信源编码输出的无记忆符号序列，共 K位，每一位有m种取值可能（等概），因K为定 值，其相应的编码定理为等长编码定理。
适应信源方式：认识信源的实际客观概率统计特性，寻找适 应此类概率统计特性的编码方法 ，如矢量量化编码。
改造信源方式：改造信源的客观统计特性，即解除实际信源 消息序列各消息间的统计相关性，使之成为无记忆信源，甚 至还可以进一步将无记忆信源化为理想最大熵等概率信源， 例如：预测编码和变换编码。
14
6
无失真等长编码

独立等概信源条件下，为实现无失真有效编码，应分别满 足：

无失真要求：nL≤mK 即每个消息序列必须有对应的编码码组
有效性要求： nL≥ mK 即编码的码组总数要小于信源消息序列 总数
由无失真条件： nL≤mK ==>K/L ≥logn/logm

若n=m 则 K ≥ L，即对独立等概信源编码，编码器输出的码 序列总数mK等于信源消息序列数nL ，可无失真编译码，但效 率低，不能进行压缩编码。

一般变长码要求的信源消息序列长度比等长码要小很多。
10
无失真离散信源编码

离散无失真信源编码是与信源符号熵互相匹配的编码——通常称为熵 编码。 实现形式：等长编码、变长编码 等长编码： 例 设一简单离散单消息信源如下，其中n=4, L=1, nL=4, k=2, m=2, mK=4. 有概率分布为
哈夫曼编码

Huffman编码—变长编码，异前置码—编码效率高，无失真编译 码 Huffman编码规则： 1. 将信源消息X按概率大小进行自上而下的排序 2. 从最小两概率开始编码，并赋予一定规则，如上支路为“0” ，下支路为“1”；若两支路概率相等，规则不变，且该规则 在整个编译码中保持不变 3. 将已编码的两支路概率合并，并重新排序、编码 4. 重复步骤3，直至合并概率归一时为止 5. 从概率归一端沿树图路线逆行至对应消息和概率，并将沿线 已编的“0”和“1”编为一组，即为该消息（符号）的编码。