第4章 离散无记忆信源无失真编码 4.1

码元来自百度文库符号
3、编码器的输出
信 源 {u1 ,u2 , ,uq }
U
编码器 f
X
W
{ w1 ,w2 , ,wq }
X
{x1 , x2 , , xr }
{ x1 , x2 , , xr }
f 是一一 对应的映射 新信源X ：
P ( w i ) P ( ui ) i 1,2, ,q
H(X ) H (W ) H (U ) l l
注：编码效率实际上也是新信源X 的信息含量 效率或熵的相对率。
c 1 c 新信源的冗余度也是码的冗余度：
7
H (W ) H (U ) bit/码字或bit/符
号 bit/码元
编码后的信息率R：平均一个码元携带的信息量。
R H(X )
H (W ) H (U ) l l
bit/码元
平均码长越小，每个码元携带的信息量就越 多，传输一个码元就传输了较多的信息。
6
4、编码效率
信 源 {u1 ,u2 , ,uq }
U
编码器 f
X
W
X
{ w1 ,w2 , ,wq } {x , x , , x } 1 2 r
{ x1 , x2 , , xr }
为了衡量编码效果，定义编码效率：编码 后的实际信息率与编码后的最大信息率之比。
R H(X ) H (U ) l H (U ) c Rmax H max ( X ) logr l logr
第4章 离散无记忆信源无失真编码
4.1 4.2 4.3 4.4 4.5 4.6 信源编码概论 码的唯一可译性 定长编码定理和定长编码方法 变长编码定理 变长编码方法 几种实用的无失真信源编码
4.1 信源编码概论
1、基本概念
信 源
U
信源 编码
W
信道 编码
X
信 道
Y
信道 译码
ˆ W
信源 译码
ˆ U
信 宿
等效无噪信道
噪声
•传输之前的两次变换：信源编码、信道编码。 •传输之后的两次反变换：信道译码、信源译码。 •采取适当信道编码和译码措施后，可使信道传 送的差错率降到允许的范围之内，因此，图中 虚框部分可近似地视为一个等效的无损确定信 道，简称为无噪信道，这是我们讨论信源编码 2
信 源
U
信源 W 编码
i 1 4
1 1 1 1 2 2 2 2 2 4 8 8
1 1 1 1 1 2 3 3 2 4 8 8
编码策略：经常出现(概率大)的符 编码策略：采用等长的码字。 号采用较短的码字，不经常出现 ( 概率小 ) 的符号采用较长的码字 5。
2
码元/符号
1.75
q i 1 i
例：编码
设DMS的概率空间为:
U u1 u2 u3 u4 P 1 2 1 4 1 8 1 8 U
l1 2 l2 2 l3 2 l4 2
信 源 {u1 ,u2 , ,uq }
U
编码器 f
X
W
{ w1 ,w2 , ,wq }
2、编码器模型
信 源
U
{u1 ,u2 , ,uq }
编码器 f
X
W
{ w1 ,w2 , ,wq }
码W 码字集W
码字wi
信源编码 f ：一一对应 wi , i 1, 2, 的变换。f : ui
{ x1 , x2 , , xr }
码元集 X
码元xi
,q
•码长li ：码字wi 所含码元的个数。单位：码元/符 号 •定长码(FLC, Fixed Length code) ：码中所有码字 均有相同的码长l ；否则称为变长码(VLC, Variable q q Length code) 。 l P ( wi )li P ( ui )l i 码元/符号 i 1 i 1 • 平均码长： 定长码：l P ( u )l l 码元/符号 4
{0， 1}
f 2 ( u1 ) w1 0 , l1 1 f 2 ( u2 ) w2 10 , l2 2 f2 : f 2 ( u3 ) w3 110 , l 3 3 f ( u ) w 111, l 3 2 4 4 4
l P ( ui )l i
无损确定信道 （等效）
W
信源 U ˆ 信 译码 宿
•信源编码分类：无失真编码、有失真编码。 •无失真编码：只对信源的冗余度进行压缩，不改 变信源的熵，又称冗余度压缩编码，它能保证码 元序列经译码后能无失真地恢复成信源符号序列. •有失真编码：又称熵压缩编码,将在第6章讨论。
无失真信源编码的作用： （ 1）符号变换：使信源的输出符号与信道的输 入符号相匹配； （ 2）冗余度压缩：使编码之后的新信源概率分 布均匀化，信息含量效率等于或接近于100%。 3
对其单个符号进行二进制编码。
f1 ( u1 ) w1 00 , f1 ( u2 ) w 2 01 , f1 : f1 ( u3 ) w 3 10 , f ( u ) w 11 , 1 4 4
l P ( ui )l i
i 1 4