第8讲——离散无记忆信源等长编码

定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集； 相应 TU (L, ) 的补集为非典型序列集。
令H(U)是集U , p(ak )的熵， 0 TU (L, ) uL : L[ p(ak ) ] Lk L[ p(ak ) ]
定义为给定信源U输出长为L的典型序列集，其中，
X
Y
信源
信源编码器
信道
L长序列
KL
码表
N长码字
DN
DN KL
N log D L log K
DN KL
实例
英文电报27个符号,K=27,L=1,D=2(二元编码)
N
L
log 2 log 2
K D
log 2
27
5
每个英文电报符号 至少要用5位二元符 号编码
实际英文电报符号信源，在考虑了符号出现的概率以
H (U
)
L[H (U ) ] log p(uL ) L[H (U ) ]
等式两边各项取指数，即得证。
推论2(典型序列数目)
当L足够大时，对于给定的信源 U , p(ak )和 0,典型序列
的个数 TU (L, ) 满足 (1 )2L[H(U) ] TU (L, ) 2L[H(U) ]
第八讲
离散无记忆信源 等长编码
信源编码基本概念
消息集
u L
码字集
vN
信源输出序列 字母表
码字序列
uL (u1,u2 , ,uL )
A
a1, a2 ,
p1 ,
p2
,
, aK , pK
v N (v1, v2 , , vN )
集合
B b1,b2, ,bD
D元码 等长码 不等长码 唯一可译码
推论1(特定序列出现的概率)
若 u L TU (L, ) ，则 2L[H (U ) ] p(uL ) 2L[H (U ) ]
即
p(uL ) 2LH (U )
证明：从典型序列定义式
TU (L, ) uL : H (U ) IL H (U )
有
即
H (U
)
1 L
log
p(uL )
即
TU (L, ) 2LH (U)
证明：1 p(uL)
p(uL )
2L(H (U ) ) TU (L, ) 2L[H (U ) ]
UL
u L TU ( L. )
uL TU (L. )
即
TU (L, ) 2L[H (U ) ]
由
2L[H (U ) ] p(uL ) 2L[H (U ) ]
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
1
即当L足够大时，IL 将以概率1取值为H(U)。
信源划分定理
定理：
给定信源U , p(ak )和 0，当 L 时，
Pr TU (L, ) 1
对于任意小 0，存在有正整数 L0，使得当
L L0时，有
Lk 是L序列中 ak出现的次数，又称之为强典型序列集。
信源划分定理
定理：
给定信源U , p(ak )和 0，当 L 时，
Pr TU (L, ) 1
由契比雪夫大数定理，对于 0
Pr
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) L
H (U )
1
2 I
L 2
1
及符号之间的依赖性后，平均每个英文电报符号所提 供的信息量约等于1.4比特，即编码后5个二元符号只 携带约1.4比特的信息量，远小于5比特( 最大熵)，可 见编码后的信息传输效率极低。
无失真等长编码
X
Y
信源
信源编码器
信道
L长序列
码表
N长码字
DN KL
N log D L log K
N log D LH (U )
有 1
p(uL )
T (L, ) 2 2L(H (U ) ) U
L[H (U ) ]
uLTU (L. )
uLTU (L. )
即 TU (L, ) (1 )2L[H(U) ]
理解典型序列
➢ 一个离散无记忆信源输出的消息序列可以分为两组， T (L, ) 各序列出现的概率近于相等；
几乎无失真编码
几乎无失真等长编码
选择L足够长，使 N log D L[H (U ) L ]
其中， L为与L有关的正数，且当 L 时有 L 0 ,才
能不损失信息。然而这样的编码不总能保证单义可译， 但非单义可译所引起的错误可渐近为任意小。反之， 若 N log D L[H (U ) ， 编L ] 码误差变得任意大。
N log D LH (U )
p(u L ) p(ul )
l
I (uL ) log p(uL ) log p(ul ) [ log p(ul )] I (ul )
l
l
l
I L I (u L ) / L
令信源的熵为 H (U )，I (ul ) 的方差为 I2，则 I L 的均值为
方差为
E
I
(u L L
)
E
l
I (ul L
)
EI (ul )
l
H (U )
L
E[ I (uL ) L
H (U )]2
1 L2
E[I (uL )
LH(U )]2
1 E[
L2
l
I (ul ) LH (U )]2
1 L2
*
L
2 I
2 I
/
L
由契比雪夫大数定理，对于 0
Pr
信源编码基本概念
信源符号
信源符号 出现概率
码0
a1 p(a1)=1/2 00 a2 p(a2)=1/4 01 a3 p(a3)=1/8 10 a4 p(a4)=1/8 11
码表
码1 码2 码3 码4
0
0
1
1
11 10 10 01
00 00 100 001
11 01 1000 0001
无失真等长编码
Pr uL TU (L, ) 1
由契比雪夫大数定理，对于 0
Pr
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) L
H (U )
1
2 I
L 2
1
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
来自百度文库
1
即当L足够大时，IL 将以概率1取值为H(U)。
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) H (U ) L
1
2 I
L 2
1
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
1
即当L足够大时，I L将以概率1取值为H(U)。
N log D LH (U )
典型序列
令H(U)是集U , p(ak )的熵， 0 TU (L, ) uL : H (U ) IL H (U )