第2章1信息论与编码

• 用概率意义表达为
p( xL | xL1,x1) p( xL | xL1,xLm )
15
2.2 离散信源熵和互信息
问题：
• • • • • • • • 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
21
2.2.1 自信息量
c. 一个出现概率接近于1的随机事件，发生的可能 性很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜 测在某个时刻它能否发生，所以它包含的不确 定度就很大； 若是确定性事件，出现概率为1，则它包含的 不确定度为0。
22
• I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合信息量等于它们分别的信 息量之和。 即统计独立信源的信息量等于它们分别的信息 量之和。
{
{ {
三、先验概率及概率空间的形式 • 一个离散信源发出的各个符号消息的集合为：
X {x1, x2 ,, xn }
• 它们的概率分别为
a,b,c,…z
P { p( x1 ), p( x2 ),, p( xn )}
• p(xi)为符号xi的先验概率 • 单符号离散信源的数学模型—概率空间
• 发出符号序列的信源
X 000 001 010 011 100 101 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
• 设信源输出的随机序列为 X =(X1X2…Xl…XL) • 序列中的变量Xl∈{x1,x2,… xn} • 这种由信源X输出的L长随机序列X所描述的信 源称为离散无记忆信源X的L次扩展信源
一个符号出现的概率只 与前面一个或有限个符 号有关,而不依赖更前面 的那些符号
体概率(即联合概 率)反映有记忆信 源的特征 12
• 此时需要引入条件概率来反映信源发出 符号序列内各个符号之间的记忆特征
p( x1 , x2 , x L ) p( x1 ) p( x2 | x1 ) p( x3 | x2 x1 ) p( x L | x L1 x1 )
• 信源的基本特性：具有随机不确定性。
3
2.1 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类 信源
{
离散信源 连续信源
4
2.1 信源的描述和分类
10
• 随机序列的概率
p( x1 , x2 , x3 , xL ) p( xL | xL 1 , x1 ) p( x1 , x2 , xL 1 ) p( xL | xL 1 , x1 ) p( xL 1 | xL 2 , x1 ) p( x1 , x2 , xL 2 )
• 当信源无记忆时 p( x x x x ) 1 2 l L
p( x1 ) p( x2 ) p( xl ) p( xL ) p( xl )
l 1
11
L
2.1.2
有记忆信源
• 一般情况下,信源在不同时刻发出的符号之间是相互 依赖的，也就是信源输出的平稳随机序列X中，各随 机变量Xl之间是有依赖的。 • 如在汉字序列中前后文字的出现是有依赖的，不能 认为是彼此不相关的。 • 表述有记忆信源要比表述无记忆信源困难得多 • 离散有记忆信源 –所发出的各个符号的概率是有关联的。 用信源发出的一 • 发出符号序列的有记忆信源 个符号序列的整 • 发出符号序列的马尔可夫信源
p ( xi ) 0
显然有，
x2 xn X x1 P p( x ) p( x ) p( x ) 1 2 n
p( x ) 1
i 1 i
6
n
2.1.1
无记忆信源
• 离散无记忆信源
–所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
25
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现 的概率为0.023，“o”出现的概率为0.001。分别计 算它们的自信息量。 解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
26
2.2.2 离散信源熵
例2-2-2
• 一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意
这一随机事件的概率空间为
X x1 P 0.8
x2 0.2
27
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 . 1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit 2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
I(0)= I(1)= －log2 (1/2)=log22=1 bit
• 一个m位的二进制数,有2m个等概率的可能组 合 I=－log2(1/2m)=m bit
20
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与 否，都存在不确定度，不确定度表征了该 事件的特性，而自信息量是在该事件发生 后给予观察者的信息量。
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特 （bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。 这三个信息量单位之间的转换关系如下：
1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
16
2.2 离散信源熵和互信息
• 什么叫后验概率？
• 什么叫互信息量？
• 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
17
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
• ②在形成消息时，从符号集中选择各个符
号的概率不同 。
• ③组成消息的基本符号之间有一定的统计
相关特性 。
14
2.1.3
马尔可夫信源
• 马尔可夫信源
–一类相对简单的离散平稳信源 –该信源在某一时刻发出字母的概率除与该 字母有关外,只与此前发出的有限个字母有 关
• m阶马尔可夫信源：
–信源输出某一符号的概率仅与以前的m个符 号有关，而与更前面的符号无关。
24
2.2.1 自信息量
4.条件自信息量 定义：在事件yj出现的条件下，随机事件xi发生 的条件概率为 p ( xi / y j ) ，则它的条件自信息 量定义为条件概率对数的负值：
I ( xi / y j ) log p( xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
1. 连续信源 连续信源是指发出在时间或幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的 离散消息的信源，如文字、数字、数据等符号都是 离散消息。 发出单个符号的无记忆信源 离散无记忆信源 发出符号序列的无记忆信源 离散信源 发出符号序列的有记忆信源 离散有记忆信源 发出符号序列的马尔可夫信源 5
• 单符号连续无记忆信源的概率空间
X (a, b) P p ( x) X
p x ( x) 0
随机取一节干电池测 其电压值作为输出符号, 符号取值为[0,1.5]之间 的所有实数。 该信源就是发出单符 号的连续无记忆信源
9

b
a
p X ( x) dx 1
3) 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次，红球出现的 次数为np（x1）次，白球出现的次数为 np（x2）次。随机摸取n次后总共所获得的 信息量为 np（x1）I（x1）+np（x2）I（x2）
28
4) 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）]
23
2.2.1 自信息量
3. 联合自信息量 两个消息xi，yj同时出现的联合自信息量
I ( xi y j ) log p( xi y j )
• 注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就 有 I(xiyj)=I(xi)+I(yj)。 b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
第二章 信源及信源熵
第一节 信源的描述和分类 第二节 离散信源熵和互信息
第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度