第三章 信源熵(3)
合集下载
信源熵
I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量： 在给定 zk 的条件下，xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率，X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率：由于信道受到干扰， 信宿收到 y j 后不但未使 xi 的不确定度 减少，反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
信息论讲义-第三章(8讲)
2006-11-61信息理论基础第8讲北京航空航天大学201教研室陈杰2006-11-62当前状态u l =(a l1, a l2, a l3, …, a lm )当前输出X l =a l1.信源状态S={S 1, S 2 ,…S J }, J =q m⎧⎪⎪⎨⎪⎪⎩()12|m q i j S S S p S S ⎡⎤⎢⎥⎢⎥⎣⎦()112|m mi i i i p a a a a + 状态转移概率p (S i |S j )由条件符号概率确定u lu l+1X l =a l新状态u l+1=(a l2, a l3, …, a lm ,a l )2.状态空间2006-11-633.极限熵当时间足够长时，遍历的m 阶马尔可夫信源可视为平稳信源()121lim |N N N H H X X X X ∞−→∞= ()112|m m H X X X X += 1m H +=()()|jj j s p S H X S =∑H (X|S j )是信源处于状态S j 时的条件熵()()()||log |jj i j i j S H X S p a S p a S =∑()()|log |ji j i j S p S S p S S =∑2006-11-64例3.7一阶马尔可夫信源的状态如例题图所示，信源X 的符号集为{0，1，2}。
（1）求平稳后的信源的概率分布；（2）求信源熵H ∞（3）求当p =0或p =1时信源的熵12pppppp2006-11-65解（1）状态转移矩阵令信源的平稳分布为则0 00 p p p p p p ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P []012 W W W =W 0011120121W pW pW W pW pW W W W =+⎧⎪=+⎨⎪++=⎩2006-11-66整理得，平稳后信源的概率分布（2）求信源熵H ∞。
根据平稳分布01213W W W ===()()jj k j s H p S H a S ∞=∑1113[lo g lo g ]3p p p p =×+11log logp p p p=+2006-11-67（3）p =0时p =1时∞→→=+=−=0311lim [loglog]lim ()log 0p p H p p ppp e∞→→=+=−=0311lim [loglog]lim ()log 0P P H p p ppp e3.5.3 马尔可夫信源解释：•信源熵表示的是信源的平均不确定性。
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第三章连续信源的信息熵
R
where, R is the domain of x . 为什么说相对熵反映连续变量的客观存在的平均不定度？首 先一个随机变量，当它的概率分布一旦确定，则它的不定性就该 给定，而不能随划分精度的变化而变化。第二，由于信息量的概 念是不定度的解除量，如果在相同划分精度下，再讨论两者之差 时,H()将会消失。所以我们可看到仅从Hc(X)上就可真正反映出 信息的全部属性 (包括非负性) 。因此，我们只要相对熵的定义就 足够了。同时我们也能给出两个连续变量的互信息问题：
H c ( X ) H c ( X Y ) H c (Y ) H c (Y X ) H c ( X ) H c (Y ) H c ( XY )
第三章. 连续信源的信息熵 §3. 3 相对熵的性质
( The Properties of Differential Entropy)
H c ( X ) H ()
def b
信息散度 D( p//q ) (relative entropy)
称为相对熵 Differential entropy 称为绝对熵 absolute entropy
where : and
H c ( X ) p ( x ) log p ( x )dx
a
H ( ) lim(log ) 0
n
def
§3. 2 连续变量的相对熵
在取极限的过程中由于n→∞ 相当于 →0，此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度无关，趋于一个常量——Hc(X)。 而另一项，随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。）
where, R is the domain of x . 为什么说相对熵反映连续变量的客观存在的平均不定度？首 先一个随机变量，当它的概率分布一旦确定，则它的不定性就该 给定，而不能随划分精度的变化而变化。第二，由于信息量的概 念是不定度的解除量，如果在相同划分精度下，再讨论两者之差 时,H()将会消失。所以我们可看到仅从Hc(X)上就可真正反映出 信息的全部属性 (包括非负性) 。因此，我们只要相对熵的定义就 足够了。同时我们也能给出两个连续变量的互信息问题：
H c ( X ) H c ( X Y ) H c (Y ) H c (Y X ) H c ( X ) H c (Y ) H c ( XY )
第三章. 连续信源的信息熵 §3. 3 相对熵的性质
( The Properties of Differential Entropy)
H c ( X ) H ()
def b
信息散度 D( p//q ) (relative entropy)
称为相对熵 Differential entropy 称为绝对熵 absolute entropy
where : and
H c ( X ) p ( x ) log p ( x )dx
a
H ( ) lim(log ) 0
n
def
§3. 2 连续变量的相对熵
在取极限的过程中由于n→∞ 相当于 →0，此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度无关，趋于一个常量——Hc(X)。 而另一项，随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。）
二次扩展信源的熵
二次扩展信源的熵：
H ( X ) H ( X ) p(i )log 2 p(i ) 3
2 i 1
9
2、离散平稳有记忆信源的概念及其信源熵
离散平稳有记忆信源：输出的符号序列是平稳随机序 列，并且符号之间是相关的，即不是统计独立的信源。 数学模型为：
X X1 X 2 X 3
例3.2
设有一离散无记忆信源X，其概率空间为 x1 x2 x3 X 1 1 1 P X 2 4 4 求该信源的熵率及二次扩展信源的熵。
注意：题目中的概率空间不是离散多符号无记忆信源 的概率空间，而是其对应的离散单符号信源的概率空 间。 该例题是对离散平稳无记忆信源求熵率的一个练习，
二次扩展信源的概率空间：
X 2 1 ( x1 x1 ) 2 ( x1 x2 ) 3 ( x1 x3 ) 4 ( x2 x1 ) 5 ( x2 x2 ) 2 1/ 8 1/ 8 1/ 8 1/16 P( X ) 1/ 4 6 ( x2 x3 ) 7 ( x3 x1 ) 8 ( x3 x2 ) 9 ( x3 x3 ) 1/16 1/ 8 1/16 1/16
X X1 X 2 X 3
离散单符号信源的 N 次平稳无记忆扩展信源（ N 次无记忆扩展信源）
它是一种N 次扩展信源，其每次输出的是 N 长符号序 列，数学模型为 N 维离散随机变量序列（随机矢量）
X X1 X 2 X N
其中每个随机变量之间统计独立。由平稳性知，每个 随机变量统计特性相同，故该信源又可表示为：
比特/号
2) 如果不考虑符号间的相关性，则信源熵为
1 4 11 H ( X ) H ( , , ) 1.542 比特/符号 4 9 36
第三章离散信源及离散熵
电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
信息熵的基本性质
pi pij log pi
pi pij log pij
i 1 j 1
i 1 j 1
nm
n
m
( pij ) pi log pi pi pij log pij
i1 j 1
i 1
j 1
n
n
m
pi log pi pi ( pij log pij )
电子信息工程学院
H ( p1, p2,, pq ) H ( p2, p3,, pq , p1) H ( pq , p1,, pq1)
电子信息工程学院
信息论
2.3 信息熵的基本性质
该性质表明：熵只与随机变量的总体结构有关，即与信源的总
体的统计特性有关。
X / 6
a3 1/ 2
,
Y P
a1 1/ 6
a2 1/ 2
a3 1/ 3
,
Z P
b1 1/ 3
b2 1/ 2
b3 1/ 6
差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但 它们的信息熵相同，表示三个信源总的统计特性相同，它们的信 息数和总体结构是相同的。即：
该性质是非常明显的，因为随机变量X的所有取值的概率 分布满足0 pi 时 1，熵是正值的，只有当随机变量是确知量 时，其熵等于零。
这种非负性对于离散信源而言是正确的，但对于连续信源 来说这一性质就不一定存在。以后可以看到，在差熵的概 念下，可能出现负值。
电子信息工程学院
信息论
2.3 信息熵的基本性质
pi log
pi
0
。而其余分量
pi
0(i
j), lim p j 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 0.71
这说明，写英语文章时，71%是由语言结构定好 的，是多余成分，只有29%是写文章的人可以自 由选择的。直观的说，100页英文书，理论上看 仅有29页是有效的，其余71页可以压缩掉，这压 缩掉的文字可以根据英文的统计特性来恢复。 信源的冗余度表示信源的可压缩程度。
从提高信息传输效率的观点出发，人们总是 希望尽量去掉剩余度。比如发电报，我们都知道 尽可能把电文写的简洁些以去除相关性。但冗余 度大的消息具有比较强的抗干扰性。从我们的第 五章开始，将讨论信源编码和信道编码，信源编 码是减少或消除信源的剩余度以提高信息的传输 效率，而信道编码则通过增加冗余度来提高消息 传输的抗干扰能力。
例3
一阶马尔可夫信源的状态图如下图所示。信源X的 符号集为{0, 1, 2}。 （1） 求平稳后信源的概率分布； （2） 求信源的熵H∞。 （3）求当P=0或P=1时信源的熵 ，并说明理由
P 0 P P P 2 P P
1
3.7 信源剩余度与自然语言的熵
1、关于离散信源熵的总结： 实际信源可能是非平稳的有记忆随机序列信源； 其极限熵是不一定存在的；解决的方法是假设其为离 散平稳随机序列信源，极限熵存在，但求解困难；进 一步假设其为m阶Markov信源，用其m阶条件熵近 似；再进一步假设为一阶Markov信源，用其一阶条 件熵来近似；最简化的信源是离散无记忆信源，其熵 为H(x);最后还可以假定为等概的离散无记忆信源， 其熵H(x)； 它们之间的关系可以表示为：
H0 X log2 27 4.76
Bit/符号
但实际上，用英文字母组成单词，再由单词 组成句子时，英文字母并不是等概率出现， 此时有：
1 H1 pi log 4.03 pi i 1
27
Bit/符号 Bit/符号 Bit/符号
H 2 3.32 H 3 3.1
因此，在信源所输出的序列中依赖关系越复杂， 信息熵就越小。实际上，英文信源的信息熵还 要小得多，一般认为 H 。因此，信息效 1.4 率和冗余度为：
(不依赖于i ) n 1 2 2 1 n 或 P ( n) P ( n ) 1 2 则称此链具有遍历性.
j
lim Pij ( n) j
j j j
qm i 1 im1 1
i
q
p( si ) p ( xim1 | si ) log p( xim1 | si )
p ( si ) H ( X | si ) p ( si ) p ( s j | si ) log p ( s j | si )
i j
例3 求例2中的二阶马尔可夫信源的极限熵。 解：这4种状态是不可约的非周期长返态，因 此是遍历的。 设状态的平稳分布为（w1,w2,w3,w4）,根据马 尔可夫链遍历的充分条件：WP=W，得
1 2 m
，从而得到
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。 通过引入状态转移概率，可以将对马尔可夫信源的研究转 化为对马尔可夫链的研究。
下面计算遍历的m阶马尔可夫信源的熵率。 当时间足够长后，遍历的马尔可夫信源可 以视作平稳信源来处理，又因为m阶马尔可 夫信源发出的符号只与最近的m个符号有关， H 所以极限熵 等于条件熵 。 H m1
第三章 信源及信源熵（3）
上节课回顾
马尔可夫链基础知识 什么是马尔可夫链？ 转移概率---转移概率矩阵 平稳性 遍历性
马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔
可夫链, 简记为 { X n X ( n), n 0,1,2,}.
转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
i
符号的平稳概率分布为：
p 0 0.8 p s1 0.5 p s2 0.5 p s3 0.2 p s4 0.5 p 1 0.2 p s1 0.5 p s2 0.5 p s3 0.8 p s4 0.5
为了更经济有效的传送信息，需要尽 量压缩信源的剩余度，压缩剩余度的方法 是尽量减小符号间的相关性，并且尽可能 的使信源输出消息等概率分布。
当冗余度＝0时，信源的熵＝极大熵 H 0 ，表明 信源符号之间：(1)统计独立无记忆;(2)各符号 等概分布。因此，冗余度可衡量信源输出的符 号序列中各符号之间的依赖程度。 例：以符号是英文字母的信源为例，英文字母加 上空格共有27个，则最大熵为
3、信源剩余度
H 1 1 H0
信源的剩余度来自两个方面：一是信源符号间的 相关性，相关程度越大，符号间的依赖关系越长， H 信源的 越小；另一方面是信源输出消息的不 等概分布使信源的 H减小。当信源输出符号间 不存在相关性并且输出消息为等概分布时信源的 H0 最大，等于 。对于一般平稳信源来说，其极 H H 限熵 远小于 。 H 0
H =H m 1 H3
i
Wi H X | si 5 1 1 5 H 0.8,0.2 H 0.5,0.5 H 0.5,0.5 H 0.8,0.2 14 7 7 14 0.8 比特/符号
p ak p si p ak | si
H m 1 H 2 ( x2 x ) 1
log q
log q H0 ( x) H1 ( x) H11 ( x) H 21 ( x) H m1 ( x) H
2、熵的相对率（一个信源的熵率与具有相同符号 集的最大熵的比值）
H H0
H 0 log q
对于一般的 m 阶马尔可夫信源，它的概率空间可以表 示成：
X x1 xi xq p( x | x x x ) im1 i1 i2 im P X
令 si xi xi xi , i1, i2 ,, im 1, 2, , q 马尔可夫信源的状态空间：
图
马尔可夫信源
例1 设一个二元一阶的马尔可夫信源，信源符号集为 x={0,1},信源输出符号的条件概率为：
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5
求状态转移概率
例2：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
0.8 W1 +0.5 W3 = W1 0.2 W +0.5 W = W 1 3 2 0.5 W2 +0.2 W4 = W3 0.5 W +0.8 W = W 2 4 4 W1 +W2 +W3 +W4 =1
求出
W1 =W4 =
5 1 ，W2 =W3 = 14 7
所以,
由此可见，信源共有2^2=4种状态 S：{S1=00,S2=01,S3=10,S4=11}
0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知，m阶马尔可夫信源符号集共有q个符号， 则信源共有 m 个不同状态。信源在某一时刻时，必然处于 q 某一种状态，等到下一个字符输出时，转移到另外一个状态。
若 j 1, 则称 ( 1 , 2 ,)为链的极限分布 .
本节课内容
马尔科夫信源 信源的相关性和剩余度
3.6
马尔可夫信源
马尔可夫信源是一类相对简单的有记 忆信源，信源在某一时刻发出某一符号 的概率除与该符号有关外，只与此前发 出的有限个符号有关。因此我们把前面 若干个符号看作一个状态，可以认为信 源在某一时刻发出某一符号的概率除了 与该符号有关外，只与该时刻信源所处 的状态有关，而与过去的状态无关。信 源发出一个符号后，信源所处的状态即 发生改变，这些状态的变化组成了马氏 链。
对于齐次遍历的马尔可夫链，其状态 si 由 xi xi xi 唯一确定，所以
1 2 m
p(s j | si ) p( xim1 | xi1 xi2 xim ) p( xim1 | si )
H m 1 H ( X m 1 | X 1 X 2 X m ) E p( xim1 | xi1 xi2 xim ) E p( xim1 | si )
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
遍历性 定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j I , 转移概率Pij ( n)存在极限
这说明，写英语文章时，71%是由语言结构定好 的，是多余成分，只有29%是写文章的人可以自 由选择的。直观的说，100页英文书，理论上看 仅有29页是有效的，其余71页可以压缩掉，这压 缩掉的文字可以根据英文的统计特性来恢复。 信源的冗余度表示信源的可压缩程度。
从提高信息传输效率的观点出发，人们总是 希望尽量去掉剩余度。比如发电报，我们都知道 尽可能把电文写的简洁些以去除相关性。但冗余 度大的消息具有比较强的抗干扰性。从我们的第 五章开始，将讨论信源编码和信道编码，信源编 码是减少或消除信源的剩余度以提高信息的传输 效率，而信道编码则通过增加冗余度来提高消息 传输的抗干扰能力。
例3
一阶马尔可夫信源的状态图如下图所示。信源X的 符号集为{0, 1, 2}。 （1） 求平稳后信源的概率分布； （2） 求信源的熵H∞。 （3）求当P=0或P=1时信源的熵 ，并说明理由
P 0 P P P 2 P P
1
3.7 信源剩余度与自然语言的熵
1、关于离散信源熵的总结： 实际信源可能是非平稳的有记忆随机序列信源； 其极限熵是不一定存在的；解决的方法是假设其为离 散平稳随机序列信源，极限熵存在，但求解困难；进 一步假设其为m阶Markov信源，用其m阶条件熵近 似；再进一步假设为一阶Markov信源，用其一阶条 件熵来近似；最简化的信源是离散无记忆信源，其熵 为H(x);最后还可以假定为等概的离散无记忆信源， 其熵H(x)； 它们之间的关系可以表示为：
H0 X log2 27 4.76
Bit/符号
但实际上，用英文字母组成单词，再由单词 组成句子时，英文字母并不是等概率出现， 此时有：
1 H1 pi log 4.03 pi i 1
27
Bit/符号 Bit/符号 Bit/符号
H 2 3.32 H 3 3.1
因此，在信源所输出的序列中依赖关系越复杂， 信息熵就越小。实际上，英文信源的信息熵还 要小得多，一般认为 H 。因此，信息效 1.4 率和冗余度为：
(不依赖于i ) n 1 2 2 1 n 或 P ( n) P ( n ) 1 2 则称此链具有遍历性.
j
lim Pij ( n) j
j j j
qm i 1 im1 1
i
q
p( si ) p ( xim1 | si ) log p( xim1 | si )
p ( si ) H ( X | si ) p ( si ) p ( s j | si ) log p ( s j | si )
i j
例3 求例2中的二阶马尔可夫信源的极限熵。 解：这4种状态是不可约的非周期长返态，因 此是遍历的。 设状态的平稳分布为（w1,w2,w3,w4）,根据马 尔可夫链遍历的充分条件：WP=W，得
1 2 m
，从而得到
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。 通过引入状态转移概率，可以将对马尔可夫信源的研究转 化为对马尔可夫链的研究。
下面计算遍历的m阶马尔可夫信源的熵率。 当时间足够长后，遍历的马尔可夫信源可 以视作平稳信源来处理，又因为m阶马尔可 夫信源发出的符号只与最近的m个符号有关， H 所以极限熵 等于条件熵 。 H m1
第三章 信源及信源熵（3）
上节课回顾
马尔可夫链基础知识 什么是马尔可夫链？ 转移概率---转移概率矩阵 平稳性 遍历性
马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔
可夫链, 简记为 { X n X ( n), n 0,1,2,}.
转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
i
符号的平稳概率分布为：
p 0 0.8 p s1 0.5 p s2 0.5 p s3 0.2 p s4 0.5 p 1 0.2 p s1 0.5 p s2 0.5 p s3 0.8 p s4 0.5
为了更经济有效的传送信息，需要尽 量压缩信源的剩余度，压缩剩余度的方法 是尽量减小符号间的相关性，并且尽可能 的使信源输出消息等概率分布。
当冗余度＝0时，信源的熵＝极大熵 H 0 ，表明 信源符号之间：(1)统计独立无记忆;(2)各符号 等概分布。因此，冗余度可衡量信源输出的符 号序列中各符号之间的依赖程度。 例：以符号是英文字母的信源为例，英文字母加 上空格共有27个，则最大熵为
3、信源剩余度
H 1 1 H0
信源的剩余度来自两个方面：一是信源符号间的 相关性，相关程度越大，符号间的依赖关系越长， H 信源的 越小；另一方面是信源输出消息的不 等概分布使信源的 H减小。当信源输出符号间 不存在相关性并且输出消息为等概分布时信源的 H0 最大，等于 。对于一般平稳信源来说，其极 H H 限熵 远小于 。 H 0
H =H m 1 H3
i
Wi H X | si 5 1 1 5 H 0.8,0.2 H 0.5,0.5 H 0.5,0.5 H 0.8,0.2 14 7 7 14 0.8 比特/符号
p ak p si p ak | si
H m 1 H 2 ( x2 x ) 1
log q
log q H0 ( x) H1 ( x) H11 ( x) H 21 ( x) H m1 ( x) H
2、熵的相对率（一个信源的熵率与具有相同符号 集的最大熵的比值）
H H0
H 0 log q
对于一般的 m 阶马尔可夫信源，它的概率空间可以表 示成：
X x1 xi xq p( x | x x x ) im1 i1 i2 im P X
令 si xi xi xi , i1, i2 ,, im 1, 2, , q 马尔可夫信源的状态空间：
图
马尔可夫信源
例1 设一个二元一阶的马尔可夫信源，信源符号集为 x={0,1},信源输出符号的条件概率为：
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5
求状态转移概率
例2：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
0.8 W1 +0.5 W3 = W1 0.2 W +0.5 W = W 1 3 2 0.5 W2 +0.2 W4 = W3 0.5 W +0.8 W = W 2 4 4 W1 +W2 +W3 +W4 =1
求出
W1 =W4 =
5 1 ，W2 =W3 = 14 7
所以,
由此可见，信源共有2^2=4种状态 S：{S1=00,S2=01,S3=10,S4=11}
0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知，m阶马尔可夫信源符号集共有q个符号， 则信源共有 m 个不同状态。信源在某一时刻时，必然处于 q 某一种状态，等到下一个字符输出时，转移到另外一个状态。
若 j 1, 则称 ( 1 , 2 ,)为链的极限分布 .
本节课内容
马尔科夫信源 信源的相关性和剩余度
3.6
马尔可夫信源
马尔可夫信源是一类相对简单的有记 忆信源，信源在某一时刻发出某一符号 的概率除与该符号有关外，只与此前发 出的有限个符号有关。因此我们把前面 若干个符号看作一个状态，可以认为信 源在某一时刻发出某一符号的概率除了 与该符号有关外，只与该时刻信源所处 的状态有关，而与过去的状态无关。信 源发出一个符号后，信源所处的状态即 发生改变，这些状态的变化组成了马氏 链。
对于齐次遍历的马尔可夫链，其状态 si 由 xi xi xi 唯一确定，所以
1 2 m
p(s j | si ) p( xim1 | xi1 xi2 xim ) p( xim1 | si )
H m 1 H ( X m 1 | X 1 X 2 X m ) E p( xim1 | xi1 xi2 xim ) E p( xim1 | si )
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
遍历性 定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j I , 转移概率Pij ( n)存在极限