第三章 信源及信源熵

X
P(
X
)
x1 p1
x2 p2
... xq
...
pq
q
且 0 pi 1， pi 1
i 1
3.2 离散单符号信源
信源输出信息能力
信源的平均自信息量（信息熵）：信源输出的所有消息的自
信息的统计平均值。
q
H ( X ) E log p(xi ) p(xi ) log p(xi )
掷骰子： 为六元信源。
X 1
P(
X
)
p1
2 p2
3 p3
4 p4
5 p5
6
p6
，且
i
6 1
pi
1
则该信源的熵为：
6
H(X) pi log pi i 1
3.3 离散多符号信源
定义
离散多符号信源：输出为符号序列。
用离散随机变量序列（随机矢量）表示，即：
举例
X
X1X2 XN
以8位电话号码为研究对象的试验
信 源
平稳信源
离散平稳信源
离散有记忆信源
连续平稳信源
记忆长度无限长：H 记忆长度有限(马尔可夫信源)：Hm
1
非平稳信源
3.2 离散单符号信源
定义
输出单个离散取值的符号的信源称为离散单符号信源。 是最简单也是最基本的信源，是组成实际信源的基本单元。 用一个离散随机变量表示。
数学模型
布完全相同，即对于任意的 N 0, 1, 2, ，X i X i1 X iN 和 X j X j1 X jN 具有相同的概率分布。也就是:
P(Xi ) P(X j ) P( Xi Xi1) P( X j X j1)
P( X i X i1 X iN ) P( X j X j1 X jN )
中文自然语言文字
离散多符号信源的实质
不是多个信源
而是以由一个信源发出的多个符号为研究对象的等价信源。
3.3 离散多符号信源
理清与离散多符号信源相关的几种常见信源的关系：
离散平稳信源
离散多符号信源输出的随机变量序列的统计特性往往比 较复杂，分析起来比较困难。
为了便于分析，假设信源输出的是平稳随机序列，即：
第三章 信源及信源熵
3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源
3.3.1 离散平稳信源 3.3.2 离散平稳无记忆信源 3.3.3 离散平稳有记忆信源 3.3.4 马尔可夫信源
3.4 信源的相关性和剩余度
3.1 信源的分类及其数学模型
信源的分类
➢ 分类1：根据信源输出的消息在时间和取值上是离散或连续分。
时间（空间) 取值 信源种类
举例
数学描述
离散
离散信源 离离散随机变量序列
离散
连续
连续信号
跳远比赛的结果、 连续随机变量序列 语音信号抽样以后
连续
连续
波形信源 （模拟信源）
语音、音乐、热噪 声、图形、图像
随机过程
连续 离散
不常见
3.1 信源的分类及其数学模型
➢ 分类2：根据各维随机变量的概率分布是否随时间的推移而变化分。 1）平稳信源 2）非平稳信源
➢ 分类3：根据随机变量间是否统计独立分。 1）有记忆信源 2）无记忆信源
3.1 信源的分类及其数学模型
➢ 实际信源分类：
离散无记忆信源：H (X) NH (X）
HX1 HX2 HXN
H
X2
X 1
H
X3 X 2
H
XN
X N 1
H X3 X 2 X 1 H X 4 X 2 X3 H X N X X N2 N1
举例1
i 1
二元信源X 输出符号只有两个，设为0和1。输出符号发生的
概率分别为p和q，p+q=1。即信源的概率空间为
X
则该信源的熵为：
P
0 p
1 q
H(X) p log p q log q
p log p ( 1 p)log ( 1 p) H(p)
3.2 离散单符号信源
举例2
第三章 信源及信源熵
信源
编码器
信道
译码器
信宿
噪声源
信源的主要问题：
➢ 信源的描述（数学建模）； ➢ 信源输出信息能力的定量分析（信源熵）； ➢ 信源信息的有效表示（信息编码）。
第三章 信源及信源熵
信源
编码器
信道
译码器
信宿
噪声源
信源的主要问题：
➢ 信源的描述（数学建模）； ➢ 信源输出信息能力的定量分析（信源熵）； ➢ 信源信息的有效表示（信息编码）。
之间是统计独立的，即： 称该多符号信源为离散无记忆信源的N次扩展信源。
举例 以8位电话号码为研究对象的试验
一般情况下，信源在不同时刻发出的符号之间是相互 依赖的，这种信源就为有记忆信源。
3.3 离散多符号信源
离散平稳有记忆信源 实际上，许多信源发出的符号往往只与前若干个符号的
依赖关系强，而与更前面符号的依赖关系弱。因此，在研究 分析时可限制随机序列的记忆长度。
序列的统计特性与时间的推移（起点）无关。
实际中很多信源也满足这个假设。 举例 以8位电话号码为研究对象的试验
均为离散平 稳信源
中文自然语言文字
离散平稳信源又分为无记忆信源和有记忆信源。
3.3 离散多符号信源
离散平稳无记忆信源 信源发出的各个符号彼此是统计独立的。 对于多符号信源X=(X1 X2 …XN)，各随机变量Xi(i=1,2, …,N)
i N 1
P X jN
X X X j j1
j N 1
X jN )
离散平稳信源的条件概率分布与时间起点无关，只与关联长度N 有关。
3.3.1 离散平稳信源
推论2
P(Xi ) P(X j ) P( Xi Xi1) P( X j X j1)
P( X i X i1 X iN ) P( X j X j1 X jN )
即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。
3.3.1 离散平稳信源
P(Xi ) P(X j )
推论1
P( Xi Xi1) P( X j X j1)
P
X i1
X i
P X j1 X j
P( X i X i1
X iN ) P( X j X j1
P
X iN
X X X i i1
当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫 信源，即：
信源每次发出的符号只与前m个符号有关，与更前面的 符号无关。
举例（离散平稳有记忆信源） 中文自然语言文字
3.3.1 离散平稳信源
定义：对于随机变量序列 X1, X 2, , X n , ，在任意两个不同
时刻 i 和 j ( i 和 j 为大于1的任意整数)信源发出消息的概率分