信源及信源熵介绍

信源及信源熵介绍
内容
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度
2
第二章 信源及信源熵
本章重点
离散/连续信源熵和互信息
本章难点
• 离散序列有记忆信源的熵
3
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit，
l det＝log210 3.322 bit
条件概率为 p(xi / y，j )则它的条件自信息量
定义为条件概率对数的负值：
I (xi / y j ) log p(xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量 相同，但两者含义不同。
18
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的 概率为0.023，“o”出现的概率为0.001。分别计算 它们的自信息量。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
为零。
24
例 2－2－3
电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成 n=103x10个不同的画面。按等概率1/103x10计算，平 均每个画面可提供的信息量为
n
H ( X ) p(xi ) log2 p(xi ) log2 103105 i 1
x1 p( x1
)
x2 p( x2 )

xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
9
第二节 离散信源熵和互信息
问题：
什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号 代表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个 以上符号的符号序列代表一个6 消息。
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
一个离散信源发出的各个符号消息的集合为
X {x1, x2,, xn} ，它们的概率分别为
P {p(x1), p(x2 ),, p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
8
第一节 信源的描述和分类
,

X P



c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包 含的不确定度就很小；
反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否 发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
16
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
30
几个概念
1. 条件熵
定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集 合的条件熵H（X/yj）为
H（X/yj）=
p(xi / y j )I (xi / y j )
i
在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为
H（X/Y）= =
p(yj )H(X / yj ) p(yj ) p(xi / yj )I(xi / yj )
0 0.2 0.4 0.6 0.8 1
p
29
说明：
信源信息熵H（X）是概率p的函数，通常用H（p）表 示。p取值于[0，1]区间。H（p）函数曲线如图所示。 从图中看出，如果二元信源的输出符号是确定的，即 p=1或q=1，则该信源不提供任何信息。反之，当二元信 源符号0和1以等概率发生时，信源熵达到极大值，等 于1比特信息量。
解: 依据题意 这一随机事件的概率空间为
X P


x1 0.8
x2 0.2
20
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
比较：
• “一个电视画面”平均提供的信息量远远超过 “一篇千字文”提供的信息量。
26
例2－2－4
设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p （x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号
定义：离散信源熵H(X)(平均不确定度/平均信 息量/平均自信息量)
定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：
H (X ) p(xi )I (xi ) p(xi ) log p(xi )
i
i
• 单位为比特/符号或比特/符号序2列3
4) 某一信源，不管它是否输出符号，只要这些符号具有某 些概率特性，必有信源的熵值；这熵值是在总体平均上 才有意义，因而是一个确定值，一般写成H（X），X是 指随机变量的整体（包括概率分布）。
13
2.2.1 自信息量
几个例子 i. 一个以等概率出现的二进制码元（0，1）所
包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位 可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制数。
解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
19
2.2.2 离散信源熵
例2-2-2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。
10
第二节 离散信源熵和互信息
什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？
11
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
j
i, j
p(xi y j )I31 (xi / y j )
i, j
相应地，在给定X（即各个xi）的条件下，Y集合的条件
熵H(Y/X)定义为
H(Y/X)= p(xi yj )I(yj / xi ) p(xi yj )log p(yj / xi )
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 信源
离散信源 连续信源
4
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
I (xi ) log p(xi )
说明：
x a.
因息量为也概就率较大p。越(由x小i 于)，
的出现就越稀罕，一旦出现，所获得的信 是随机出i现的，它是机量。而 是 的函数，它必须也是一个随机量。
I (xi ) xi
12
2.2.1 自信息量
b. 自信息量的单位的确定
I (xi y j ) log p(xi y j )
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
17
2.2.1 自信息量
3. 条件自信息量