《信息论》(电子科大)第3章 离散信源无失真编码

1、异前置码 如果所采用的不等长编码使接收端能从 码序列中唯一地分割出对应与每一个符 号元的码字，则称该不等长编码为单义 可译码。 单义可译码中，如果能在对应与每一个 符号元的码字结束时立即译出的称为即 时码，如果要等到对应与下一个符号元 的码字才能译出的称为延时码。
码A x1 x2 x3 x4 0.5 0.3 0.15 0.05 0 1 00 01
④将pa(xj)用二进制表示，取小数点后ki 位作为符号元xi的码字。
例1，对单符号离散信源
X x1 P( X) 0.5 x2 0.3 x3 0.15 x4 0.05
电子科技大学
编二进制香农码，并计算其编码效率。 解：①将xi按概率进行降序排列
xi p(xi) pa(xj) ki 码字
电子科技大学
m
i 1
n
Nki
m
N
从而 m
i 1
n
ki
1
电子科技大学
2、无失真编码定理 如果L维离散平稳信源的平均符号熵为 HL(X1X2…XL)，对信源符号进行m元不 等长组编码，一定存在一种无失真编码 方法，当L足够大时，使得每个信源符号 所对应码字的平均比特数
H L (X1X 2 X L ) K L lbm H L (X1X 2 X L )
k i lbm lbP (a i ) 即k i lbP (a i ) lbm
电子科技大学
取
lbP (a i ) lbm
ki
lbP (a i ) lbm
1
其平均码长
P (a i )
i 1 n
lbP (a i ) lbm
P(a i )k i P(a i )
lbm 电子科技大学 L
只要
lbm L
H L (X1X 2 X L )
K L
lbm H L (X1X 2 X L )
无失真编码定理又叫香农第一定理，该 定理从理论上阐明了编码效率
H L (X1X 2 X L ) K L lbm 1
的理想无失真编码的存在性，代价是取 无限长的符号序列进行组编码，即只有 L→∞时
与第一种编码相比，码字压缩了0.3个比 特，编码效率提高了14.5%。
进一步，如果对该信源的二次扩展信源
X 2 x1x1 2 P(X ) 0.25 x 3 x1 x 3x 2 x1x 2 0.15 x 3x 3 x1x 3 x1x 4 x 2 x1 x 2x 2 0.09 x 2x3 0.075 0.025 0.15 x 3x 4 x 4 x1 x 4x 2
②由于码长不等，如何保证接收端从码 序列中唯一地分割出对应与每一个符号 元的码字，以实现无失真译码？ ③对符号序列进行组(block)编码有助于 使平均码长接近离散熵，但平均码长能 否无限接近离散熵，从而使编码效率趋 近1？如果能，对序列长度有什么要求？
电子科技大学
二、无失真编码定理
电子科技大学
码B 0 01 011 0111
码C 0 10 110 111
电子科技大学
表中，码A不是单义可译码，它有二义性， 码B和码C才是单义可译码；码B是延时 码，它需等到对应与下一个符号元的码 字开头0才能确定本码字的结束，存在译 码延时，只有码C才是即时码。
码C的特点是：任何一个码字都不是其他 码字的前缀，因此将该码称为异前置码。 异前置码可以用树图来构造： 0 一个三元码树图 1 0 从树根开始到每一个 1 2 0 终节点的联枝代表一 1 2 个码字，故相应的异 2 前置码
000,001,002,01,02,1,2
电子科技大学
码C所对应的二元码树图
电子科技大学
0 0
1
1
0
1
m元长度为ki , i=1,2, …,n的异前置码存在 的充分必要条件是：
m
i 1
n
ki
1
该充要条件称为克拉夫特(Kraft)不等式。
设m元异前置码第i个码字的长度为ki , i=1,2, …,n 考虑一个N级满树，在第N级共有mN个节 点，在第ki级共有mki个节点。 根据异前置码的定义，第i个码字后的节 点不能再用，故不能用的节点数为mN-ki 构造异前置码的码树图上总共不用的节 点总数
x1
x2 x3 x4
0.5
0.3 0.15 0.05
电子科技大学
②令p(x0)=0，计算第j-1个码字的累加概
j 1
率 pa ( x j ) p( xi )
i0
j 1,2,, n
pa(x1)=0 pa(x2)=0+0.5=0.5 pa(x3)=0.5+0.3=0.8 pa(x4)=0.8+0.15=0.95 ③确定第i个码字的码长ki：
电子科技大学
lbp ( x4 ) lb 0.05 4.32, lbp ( x 4 ) 1 5.32 取k 4 5
④将pa(xj)用二进制表示，取小数点后ki 位作为xi的码字 pa(x1)=0.0=(0.0)2→0 pa(x2)=0.5=(0.10)2→10 pa(x3)=0.8=(0.110…)2→110 pa(x4)=0.95=(0.11110…)2→11110
电子科技大学

H(X) K

1.648 2
82.4%
码字的比特数中约有17.6%未携带信息， 属于冗余比特，传输这种码序列效率不 高。 为了压缩比特数，可以考虑对信源符号 进行不等长编码，如
x1 0, x 2 1, x 3 00, x4 01
但该编码不能实现无失真译码，即不能 保证符号元与码字的一一对应。
H( X) K L lbm H(X)
电子科技大学
式中，ε为任意给定的小正数。 此时香农界为H(X)。
对于m阶马尔科夫信源(m<L) ，当L足够 大时，由于其平均符号熵HL(X1X2…XL) =Hm+1，故对信源符号进行m元不等长组 编码，一定存在一种无失真编码方法， 使得每个信源符号所对应码字的平均比 特数
i 1 i 1
n
n
lbP (a i ) lbm
1
即
H(X1X 2 X L ) lbm
K
K L
H(X1X 2 X L ) lbm
1
lbm L
H(X1X 2 X L ) L

lbm
H(X1X 2 X L ) L
H L (X1X 2 X L )
K L
lbm H L (X1X 2 X L )
式中，ε为任意给定的小正数。
设不等长组编码对应于符号元ai=xi1xi2… xiL的码字长度为ki
取k i使之满足m
由于 m
i 1 n ki n
电子科技大学
k i
P(a i )
P (a i ) 1
i 1
说明该编码是异前置码
m
ki
P(a i )即m
ki

1 P (a i )
H m 1 K L lbm H m 1
电子科技大学
式中，ε为任意给定的小正数。 此时香农界为Hm+1。
平稳无记忆信源的香农界H(X)大于m阶 马尔科夫信源的香农界Hm+1，而m阶马尔 科夫信源的香农界Hm+1又大于一般平稳 信源的香农界H∞。
电子科技大学
因此，对离散平稳信源进行无失真编码， 每个信源符号所对应码字的平均比特数 平稳无记忆信源最多， m阶马尔科夫信 源次之，一般平稳信源最少。
一种能保证符号元与码字一一对应的不 等长编码为
x1 0, x 2 10, x 3 110, x 4 111
电子科技大学
其平均码长
K 0.5 1 0.3 2 0.15 3 0.05 3 1.7
编码效率
H(X) K 1.648 1.7 96.9%
K P(a i )k i 0.25 2 0.15 3
i 1 16
0.0075 8 0.0025 8 3.328
编码效率
H( X ) K
2

2H ( X ) K

3.296 3.3
与第二种编码相比，码字又压缩了约0.04 个比特，编码效率提高了2.1%。 总结该例子，有以下几点结论与问题： ①一般采用不等长编码，使平均码长接 近离散熵，从而在无失真前提下提高编 码效率；编码的基本原则是大概率符号 元编成短码，小概率符号元编成长码。
i 1
二进制香农码的编码步骤如下： ①将符号元xi按概率进行降序排列； ②令p(x0)=0，计算第j-1个码字的累加概
j 1
电子科技大学
率 pa ( x j ) p( xi )
i0
j 1,2,, n
③确定第i个码字的码长ki， ki为满足下 列不等式的整数：
lbp (xi ) k i lbp (xi ) 1
三、香农编码
电子科技大学
香农编码是一种采用异前置码的m进制 编码方法。 设离散信源
X x1 P( X) p( x1 ) x2 p( x 2 ) xn p( x n )
不失一般性，设p(x1)>p(x2)>…>p(xn)， n
且 p( x i ) 1
电子科技大学
一、无失真编码的基本思路
电子科技大学
先看一个单符号离散信源无失真编码的 例子：
X x1 P(X) 0.5 x2 0.3 x3 0.15 x4 0.05
其离散熵
H(X) P( x i )lbP ( x i )
i 1 4
0.5lb 0.5 0.3lb 0.3 0.15lb 0.15 0.05lb 0.05