离散信源

⇒ 平稳性假设
H ( X N / X1 X N −1)＝H ( X N +1 / X 2 X N ) ≥ H ( X N +1 / X1 X N )
这说明对于平稳信源，条件越多，条件熵越不增加
3.3.2 离散平稳有记忆信源的熵(5)
2） 只要证明N个 H N ( X ) 的和不小于 N H ( X N / X1 X N−1 )
NH N ( X ) = H ( X 1 X N )
条件熵不随N增加
= H ( X 1 ) + H ( X 2 / X 1 ) + + H ( X N / X 1 X N −1 )
≥ N H ( X N / X 1 X N −1 )
⇒
H N ( X ) ≥ H ( X N / X1 X N −1 )
2
3.1.2 离散无记忆信源的数学模型
▲ 单符号离散无记忆信源的数学模
型：
⎡X
⎢ ⎣
P
⎤ ⎥ ⎦
=
⎡ ⎢ ⎣
a1 p (a1 )
an ⎤
p(an )
⎥ ⎦
n
∑ p ( a i ) ≥ 0 ,
p(ai) = 1
i =1
注释
Æ A={a1，…，an} →信源的符号集 Æ n →符号集的大小 Æ ai →随机变量的取值 Æ p(ai) → X= ai的概率。
≤ (N − 1)H N −1 ( X ) + H N ( X )
⇒ H N ( X ) ≤ H N −1 ( X )
移项到不等式左边
平均符号熵不随序列的长度而增加
3.3.2 离散平稳有记忆信源的熵(7)
4）通过以上证明可得，0 ≤ H N (X ) ≤ H N−1( X ) ≤ ≤ H1( X ) < ∞
3.3.2 离散平稳有记忆信源的熵(1)
▲ 根据平稳性和熵的不增原理
信源X输出长度为N序列 的平均不确定度
H ( X N ) ≤ N H ( X1)， 仅当无记忆信源时等式成立。
▲对于X的N次扩展源, 定义平均符号熵：
可用平均符号熵 作为信源X的近似
HN (X
)
=
1 N
H(X
N
)
=
1 N
H(X1
XN)
j
H ( X1
X
N −1)
+
j N
+1 +j
H
(X
N
/
X1
X N −1)
15
3.3.2 离散平稳有记忆信源的熵(8)
令 j → ∞ ，不等式右边第1项为0，第2项—》H ( X N / X1 X N−1)
再令
N
→
∞ ，有：H∞ ( X
)
≤
lim
N →∞
H(XN
/
X1
X N −1 )
另外，由（2）的结果，H∞ ( X
平均符号熵不小于条件熵
14
3.3.2 离散平稳有记忆信源的熵(6)
3） 由于 NHN (X) = H ( X1 X N −1 ) + H ( X N / X1 X N −1 ) 根据平均符号熵的定义和2）的结果，有
N H N ( X ) = (N − 1)H N −1 ( X ) + H ( X N / X1 X N −1 )
α2 (01) p(α2 )
α3 (10) p(α3 )
α4 (11)⎤ ⎥ ⎥
p(α4 ) ⎥⎦
② X 2各符号的概率为:
p(α ) = p2 , p(α ) = p(1− p) = p( α ), p(α ) = (1− p)2
1
2
3
4
5
3.1.3 离散有记忆信源的数学模型
离散马尔可夫信源 ▲ 马氏链是随机过程，因此可看成信源，即马尔可夫 信源；这种信源是有记忆信源。 ▲ 有限记忆的系统可以用有限状态机来描述。在有限 状态机中，既包含状态之间的转移关系，也包含输 出与状态之间的关系。 ▲ 可以从有限状态机的概念出发定义马尔可夫信源。
11
3.3.1 离散平稳信源(5)
▲对于平稳信源，条件概率也是平稳的。一般地，有 P(xi+N / xi , xi+1,⋅ ⋅ ⋅, xi+N −1) = P(x j+N / x j , x j+1,⋅ ⋅ ⋅, x j+N −1)
▲ 平稳信源的熵与时间起点无关，即
H ( X i X i+1 X i+N ) = H ( X j X j+1 X j+N ) H ( X i+N / X i , X i+1 , X i+N −1 ) = H ( X j+N / X j , X j+1 , X j+N −1 )
⎤ ⎥ ⎥⎦
=
⎡ ⎢ ⎣
α1
… αM
p(α1 ) … p(α M )
⎤ ⎥ ⎦
离散无记忆信源的N次扩展源
▲ 信源X的N次扩展源 ：设信源为X，由X构成的N维 随机矢量集合 X N = X1X 2 , , , X N , ( X i与X同分布) ▲ 信源与其扩展源的关系：
X N个连续输出的符号合并 X N = X1X 2 , , , X N
3.2 离散无记忆信源的熵
▲单符号离散无记忆信源的熵 ▲离散无记忆信源N次扩展源的熵
6
3.2.1 单符号离散无记忆信源的熵
例 3.2.1 写出例3.1.1 中的二元无记忆信源的熵的表 达式。
解： H(X ) = −plog p − qlogq = − p log p − (1− p) log(1− p) = H ( p)
3.2.1 单符号离散无记忆信源的熵
H(p)的主要性质：
▲ 具有熵的一切性质
▲
对p的导函数为
H ′( p) = log 1 − p p
H ( p)
▲ p=0.5时,H(p)达到最大值1bit
1
▲
H(p)是p的上突函数
H′′( p) = −(loge) 1 ≺ 0 p(1− p)
0
0.5
1
p
7
3.2.2 离散无记忆信源N次扩展源的熵
马尔柯夫信源的 输出序列
3.4.1 马氏链的基本概念(1)
定义：
▲ 随机序列 {xn , n ≥ 0}
▲ 每个随机变量xn (n ≥ 1) 仅依赖于 xn−1
▲ 离散平稳信源 ▲ 离散平稳有记忆信源的熵
3.3.1 离散平稳信源(1)
定义：
▲ 信源X具有有限符号集 A = {a1, a2 , , an}
▲ 信源产生随机序列{xi } i = ,1,2,
▲ 对所有 i1 , , iN , h, j1 , , jN , 及xi ∈ X 有 p(xi1 =aj1,xi2=aj2 , ,xiN =ajN )= p(xi1+h =aj1,xi2+h =aj2 , ,xiN+h =ajN )
k =1
离散无记忆信源的N次扩展源
例 3.1.2 求 例3.1.1 中信源的二次扩展模型。
解：
① 二元信源X的符号集为 {0,1}
⇒ 二次扩展源 : X 2 = X1X 2,符号集 :{00,01,10,11} ⇒ X 2的模型 :
⎡ X2 ⎤ ⎡
⎢ ⎢
⎥ ⎥
=
⎢ ⎢
α1(00)
⎢⎣ p(α)⎥⎦ ⎢⎣ p(α1)
)
≥
lim
N →∞
H
(X
N
/
X1
所以
H
∞
(
X
)＝
lim
N →∞
H (X N
/
X1
X N −1 )
X N −1)
同时大/小于一个 式子,两边夹原则
证毕。
3.3.2 离散平稳有记忆信源的熵(9)
定理3.3.1的注释：
▲ 该定理提供了通过计算极限条件熵得到信源符号
熵的方法；当信源为有限记忆时，极限条件熵的 计算要比极限平均符号熵的计算容易得多。
定理3.2.1 离散无记忆信源X的N次扩展源 X N 的熵等
于信源X熵的N倍，即
H(X N ) = N H(X)
证明： ① 无记忆信源 ② X i互相独立且分布相同
熵的可加性
⇒
n
∑ H ( X N ) = H ( X i ) = NH ( X ) i =1
3.2.2 离散无记忆信源N次扩展源的熵
例
3.2.2
解：
平稳性 ⇒ P(x3 = 0, x4 = 1) = P(x1 = 0, x2 = 1) = b
⇒ P(x4 = 1/ x3 = 0) = P(x3 = 0, x4 = 1) / P(x3 = 0) = b / p P(x2 = 1/ x1 = 0) = P(x1 = 0, x2 = 1) / P(x1 = 0) = b / p
∴0
≤
lim
N →∞
H
N
(
X
)
≤
H1(X
)
即H∞ ( X )存在
计算（N + j)H(N+ j) ( X ) = H ( X1 X N−1X N X N+ j )
= H ( X1 X N −1) + H ( X N / X1 X N −1) + + H ( X N + j / X1
利用1)的结果与平稳性，
第三章 离散信源
中山大学信息科技学院
本章内容
▲ 离散信源的分类与数学模型 ▲ 离散无记忆信源的熵 ▲ 离散平稳信源的熵 ▲ 有限状态马尔可夫链 ▲ 马尔可夫信源 ▲ 信源的相关性与剩余度
1
3.1 离散信源的分类与数学模型
▲ 信源离散信源的分类 ▲ 离散信源的数学模型
3.1.1 离散信源的分类
▲ 根据信源符号取值→连续/离散 ▲ 根据输入符号间的依赖关系→无记忆/有记忆 ▲ 有限离散信源/无限离散信源 ▲ 平稳信源/非平稳信源
―对于记忆长度为 m 的平稳信源
H∞(X )
=
lim
N →∞
H
(
X
N
|
X N −1 X N −2
X1)
( ) = H X m+1 | X m X m−1… X1
▲ 极限熵等于最小的平均符号熵。
16
3.4 有限状态马尔可夫链
▲ 马氏链的基本概念 ▲ 齐次马氏链 ▲ 马氏链状态分类 ▲ 马氏链的平稳分布
单符号离散无记忆信源
例 3.1.1 一个二元无记忆信源，符号集A={0,1}, p为 X=0的概率,q为X=1的概率，q=1-p；写出 信源的模型。
解：
信wk.baidu.com的模型：
⎡X ⎤
⎢ ⎣
P
⎥ ⎦
=
⎡0
⎢ ⎣
p
1⎤
q
⎥ ⎦
3
3.1.2 离散无记忆信源的数学模型
▲多维离散无记忆信源数学模型:
⎡X ⎢ ⎢⎣P
N
(j+1)个
X N + j−1)
H ( X N + j / X1 X N + j−1) ≤ ≤ H ( X N / X1 X N −1)
⇒（N + j)H(N + j) ( X ) ≤ H ( X1 X N −1) + ( j +1)H ( X N / X1 X N −1)
H(N+ j)(X )
≤
1 N+
⎡
给定离散无记忆信源模型：⎢⎣
X P
⎤ ⎥⎦
=
⎡a1 ⎢⎣1/
2
a2 1/ 4
a3 1/ 4
⎤ ⎥ ⎦
求其二次扩展源熵。
解： H ( X 2 ) = 2H ( X ) = 2[− 1 log 1 − ( 1 log 1 ) × 2]
2 24 4
= 2×1.5 = 3 bit / 符号
8
3.3 离散平稳信源的熵
2） H N ( X ) ≥ H ( X N / X1 X N −1)
3） H N ( X ) 不随N而增加
4） H ∞ ( X )
存在，且H ∞ ( X )
=
lim
N →∞
H
(
X
N
/
X1
X N −1 )
说明：有记忆信源的符号也可通过计算极限条件熵得到
13
3.3.2 离散平稳有记忆信源的熵(4)
1） 信源的平稳性 熵的不增原理
4
说明：
（1）对于离散无记忆信源 X ，其 N 次扩展记为
X N， X N = X1X2 X N
（2）每个 X i 取自同一个字母表 A = {a1,a2, ,an}，
且 X i 与 X 同分布
{ } （3） X N 的 符 号 集 为 AN = α1,α2, ,αnN ， ( ) ∏N
α j = α j1 ,α j2 , ,α jN ， p(α j ) = p jk
则称信源为离散平稳信源，所产生的序列为平稳序列
9
z 注意2个概念的引入:
–
离散信源：
⎡X ⎤ ⎢⎣ P ( x ) ⎥⎦
– 离散随机序列： X 1 , X 2 , , X N 产生自离散信源， 用于研究符号间的依赖（记忆）关系
3.3.1 离散平稳信源(2)
▲ 平稳序列的统计特性与时间的推移无关
p(xi1 , xi2 , , xiN ) = p(xi1+h , xi2 +h , , xiN +h ) p(xi , xi+1 , xi+N ) = p(x j , x j+1 , x j+N )
12
3.3.2 离散平稳有记忆信源的熵(2)
▲ 信源X的极限符号熵：
H∞ (X
)
=
lim
N →∞
1 N
H(X
N
)
=
lim
N →∞
1 N
H(X1
XN)
简称：符号熵/熵率
3.3.2 离散平稳有记忆信源的熵(3)
定理 3.3.1：任意离散平稳信源，若 H1(X ) < ∞
1） H ( X N / X1 X N−1) 不随N而增加
10
3.3.1 离散平稳信源(3)
例 3.3.1 一平稳信源X的符号集A={0，1}，产生随机序 列，其中P(x1=0)=p, 求P(xn=1)（n >1）的概 率。
解：
平稳性 ⇒ P(xn = 0) = p
⇒ P(xn = 1) = 1− p
3.3.1 离散平稳信源(4)
例 3.3.1续 对同一信源，若P(x1=0，x2=1)=b 求P(x4=1/x3=0)。