离散序列信源的熵

11
• 说明： 比较上述结果可得：
H2（X）<H1（X），即二重序列的 符号熵值较单符号熵变小了， 也就是不 确定度减小了，这是由于符号之间存在 关联性（相关性）造成的。
2020/5/15
12
3. 离散平稳序列信源 (1) 时间不变性:联合概率具有时间推移不
变性：
p{Xi1=x1,Xi2=x2,…….,XiL=xL}
= p{Xi1+h=x1,Xx2+h=x2,……,XiL+h=xL }
2020/5/15
13
(2) H(XL/XL-1) 是L的单调递减函数 证明:
H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1) (条件较多的熵小于或等于减少一些条件的熵) =H(XL-1/X1X2…XL-2)（平稳性） ≤H(XL-1/X2X3…XL-2) (条件较多的熵小于或等于减少一些条件的熵) =H(XL-2/X1X2…XL-3) （平稳性） …
H(XL/
X1X2…XL-1)+…+
H(XL/ X1X2…XL-1)]
=
L
1
k
H(
X1X2…XL-1)+
k 1 Lk
H(XL/ X1X2…XL-1)
2020/5/15
17
当固定L时，有
lim HL+k(X) ≤ H(XL/ X1X2…XL-1)=H(XL/ XL-1)
L
又因为 H(XL/ XL-1) ≤ HL(X)
设：随机序列的概率为 ：
p(X=xi)=p(X1=xi1,X2=xi2,……,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)…p(xiL/xi1xi2…xiL-1) =p(xi1)p(xi2/xi1)p(xi3/xi12)…p(xiL/xi1L-1) 式中 xi1L-1=xi1xi2…xiL-1
• 若当信源退化为无记忆时，有
L
H（X）= H（Xl ） l 1
• 若进一步又满足平稳性时，则有
H（X）=LH（X）
2020/5/15
8
例2-4-1
• 已知: 离散有记忆信源中各符号的概率空间为:
X P
a0 11/
46
a1 4/9
a2
1
/
4
现信源发出二重符号序列消息（ai,aj），这两
个符号的概率关联性用条件概率p(aj/ai)表示，
p(xil ) log p(xil )
l 1 i 1
• 其中 L H (xl ) p(xil ) log p(xil ) i l 1
（2）若信源的序列满足平稳特性（与序号l无关）时， 有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL，则信源的 序列熵又可表示为H(X)=LH(x).
并由下表给出。求离散信源的序列熵和平均每
个符号的熵?
2020/5/15
9
ai
aj
a0
a1
a2
a0
9/11 2/9 0
a1
1/8 3/4 1/8
a2
0
2/9 7/9
2020/5/15
10
• 解：条件熵
22
H（X2／X1）=
p(ai a j ) log 2 p(a j / ai ) 0.872 比特/符号
所以，当 L 时， HL(X) = HL+k(X)
2020/5/15
1
• 分析：
（1）当信源无记忆（序列中的符号之间无
相关性）时，p(xi)=p(xi1xi2…xiL)= L p(xil ) l 1
2020/5/15
H ( X ) p(xi ) log p(xi )
i
L
L
p(xil ) log
p(xil )
i l 1
l 1
L
L
=H(X1X2…XL-1)+ H(XL/ X1X2…XL-1)
= (L-1)HL-1(X)+ H(XL/ XL-1) ≤ (L-1)HL-1(X)+ HL(X) 所以 HL(X) ≤ HL-1(X) 同理,有 H∞ (X) ≤ … ≤ HL+1(X) ≤ HL(X) ≤ HL-1(X) ≤ … ≤ H0(X)
（2）H（X1）≥H（X1／X2） H（X2） ≥ H（X2／X1）
2020/5/15
5
• 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1）
2020/5/15
6
2. 由有限个有记忆序列信源符号组成的序列
平均每个符号熵为
HL(X)=H(X)/L=H(x )(单个符号信源的符号熵 )
2020/5/15
3
第四讲
2003年5月6日
2020/5/15
4
2.4.2 离散有记忆信源的序列熵
• 问题
1. 对于由两个符号组成的联合信源，有下列 结 论：
（l）H（X1 X2）＝H（X1）＋H（X2／X1） = H（X2）+ H（X1／X2）
≤H(X2/X1)
2020/5/15
14
(3) HL(X) ≥H(XL/XL-1)
证明: HL(X)=H(X1X2…XL)/L
= [H(X1)+H( X2/X1)+…+H(XL/X1X2…XL-1)]/L
≥ [LH(XL/X1X2…XL-1)]/L = H(XL/XL-1)
2020/5/15
15
(4) HL(X) 是L的单调递减函数 证明: LHL(X)=H(X1X2…XL)
• 设：信源输出的随机序列为X，X＝(X1 X2…XL)， 则信源的序列熵定义为
H(X)=H(X1X2…XL)
=H(X1)+H(X2/X1)+…+H(XL/X1X2….XL-1)
记作 H（X）=H（XL）=
L
H ( X l / X l1 )
l 1
2020/5/15
7
• 平均每个符号的熵为 HL（X）=H（X）/L
i0 j0
2
单符号信源熵H1(X ) H (X1) p(ai ) log2 p(ai ) 1.543 比特/符号
i0
发二重符号序列的熵
H（X1 X2）=H（X1）+H（X2/X1） =1.543+0.872=2.415 比特/符号
平均符号熵
20H20/25/（15 X）=H（X2）/2=1.21 比特/符号
2020/5/15
16
(5) H∞ (X)= LlimHL(X)
=
lim
L
H(XL/
X1X2…XL-1)
H∞ (X)叫极限熵或极限信息量。
证明：
HL+k(X)
=
L
1
k
[H( X1X2…XL-1)+
H(XL/ X1X2…XL-1)+…+ H(XL+k/ X1X2…XL+k-1)]
≤
L
1
[H(
k
X1X2…XL-1)+