第2章_离散信源及信息测度2
合集下载
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
信息论与编码第二章
i 1
qN
H ( X N ) p(ai ) log p(ai ) ... p(ai1ai2 ...aiN ) log p(ai1ai2 ...aiN )
iq1 q
i11 iN 1
... p(ai1ai2 ...aiN ) log{p(ai1) p(ai2 )...p(aiN )}
2 p( 2 )
qN p( qN
)
a1a1 a1 p(a1a1 a1
)
a2 a1 a1 p(a2 a1 a1 )
a3a1 a1 p(a3a1 a1 )
aqaq aq p(aq aq aq )
• 离散(lísàn)无记忆N次扩展信源熵为：
• 证明： qN H ( X N ) H ( X 1 X 2 ...X N ) p( i ) log p( i ) NH ( X )
H Nk (X )
1 N k
H(X1 X N X Nk )
1
N k
H ( X 1 X N 1 ) H ( X N | X 1 X N 1 ) H ( X N k | X 1 X N k 1 )
i1 1 iN 1
H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X 1 X 2 X N 1 )
N个分量统计关联的随机矢量 x [x1x2 xN ]的联合
(liáHn(Xh1 éX)熵N )
，等于起始时刻的无条件
熵与各阶条件熵之和，并不随时间的推移而
变化。 精品文档
log p(ai ) log p(b j ) I (ai ) I (b j )
精品文档
自信息(xìnxī)的表达I(a式i ) log[1/ p(ai )]
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
信息论基础及应用第2章 信源及其信息的统计度量(2)_2.4~2.7
◆需要解决的问题： 它们之间的关系、性质等； 如何计算。
2.5.1 离散无记忆序列信源的熵
◆随机序列 X = XN = (X1, X2,…, XN) 中的各分量之间相互独立，
即 X 是 N 维离散无记忆序列信源，则其概率满足
N
P( x) P(x1x2 xN ) Pi (xi )
i 1
定义式为
I ( X ;YZ ) EX ,Y ,Z [I (x; yz)]
P(x y z)
P(xyz)log
X ,Y ,Z
P(x)
2.4.1 平均互信息
定义2.14 离散联合随机变量集 XYZ 上，在给定 Z 条件下，
由 Y 提供的关于 X 的平均互信息为 I(x;y | z) 在 XYZ 上的
概率P(αi)
1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
信源 X 的熵为： H ( X ) 1 log 2 2 1 log 4 1.5 bit/符号
24ຫໍສະໝຸດ 二次扩展信源 X 2 的熵为：
H ( X ) H ( X 2 ) 1 log 4 4 1 log8 4 1 log16 3 bit/符号
2.4 离散信源的平均互信息
本节主要内容
2.4.1 平均互信息 2.4.2 平均互信息的性质 2.4.3 各类熵之间的关系
2.4.1 平均互信息
1．平均互信息的定义与含义
定义2.11 离散联合随机变量集 XY 上，由 Y 中的事件 y = bj 提供的关于 X 的平均互信息为互信息 I(x,y) 在集合 X 中以后验概率加权的平均值，为
数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的
2.5.1 离散无记忆序列信源的熵
◆随机序列 X = XN = (X1, X2,…, XN) 中的各分量之间相互独立，
即 X 是 N 维离散无记忆序列信源，则其概率满足
N
P( x) P(x1x2 xN ) Pi (xi )
i 1
定义式为
I ( X ;YZ ) EX ,Y ,Z [I (x; yz)]
P(x y z)
P(xyz)log
X ,Y ,Z
P(x)
2.4.1 平均互信息
定义2.14 离散联合随机变量集 XYZ 上，在给定 Z 条件下，
由 Y 提供的关于 X 的平均互信息为 I(x;y | z) 在 XYZ 上的
概率P(αi)
1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
信源 X 的熵为： H ( X ) 1 log 2 2 1 log 4 1.5 bit/符号
24ຫໍສະໝຸດ 二次扩展信源 X 2 的熵为：
H ( X ) H ( X 2 ) 1 log 4 4 1 log8 4 1 log16 3 bit/符号
2.4 离散信源的平均互信息
本节主要内容
2.4.1 平均互信息 2.4.2 平均互信息的性质 2.4.3 各类熵之间的关系
2.4.1 平均互信息
1．平均互信息的定义与含义
定义2.11 离散联合随机变量集 XY 上，由 Y 中的事件 y = bj 提供的关于 X 的平均互信息为互信息 I(x,y) 在集合 X 中以后验概率加权的平均值，为
数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
2 第二章 单符号离散信源
I(ai)=f[p(ai)] (i=1,2,…,r) 自信息量函数：
I(ai)=f[p(ai)]=-log p(ai)
信息函数中对数log的底： log ? p(ai)
2 e 10 bit nat hat 一般假定以2为 底，记为log
公理性条件： (1) 如p(a1)>p(a2)，则I(a1)<I(a2)，f[p(ai)] 是p(ai)的单调递减函数； (2) 如p(ai)=0，则f[p(ai)] → ∞ ;
• 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。 • 单位：以2为底，比特/符号
Hr(X)=p(a1)I(a1)+p(a2)I(a2)+…+p(ar)I(ar) =-p(a1)logrp(a1)-p(a2)logrp(a2)-…-p(ar)logrp(ar)
H r ( X ) p(ai ) logr p(ai ) 信息单位/信源符号
(4) 两个统计独立事件的联合信息量，应 等于它们各自信息量之和： I(ab)=I(a)+I(b) 自信息量函数： I(ai)=f[p(ai)]=-log p(ai) 信息函数中对数log的底： log ? p(ai)
2 e 10 bit nat hat 一般假定以2为 底，记为log
自信息量
I(ai)=ai 的不确定性
例2.3
[X1 • P]=
X1：
a1
a2 0.5
P(X1)： 0.5 X1： [X2 • P]= P(X1)： 0.7
a1
a2 0.3
X1： [X3 • P]=
a1
a2
P(X1)： 0.99
0.01
log2 3 1.58 ; log2 5 2.32 ; log2 7 2.81; log2 10 3.32
I(ai)=f[p(ai)]=-log p(ai)
信息函数中对数log的底： log ? p(ai)
2 e 10 bit nat hat 一般假定以2为 底，记为log
公理性条件： (1) 如p(a1)>p(a2)，则I(a1)<I(a2)，f[p(ai)] 是p(ai)的单调递减函数； (2) 如p(ai)=0，则f[p(ai)] → ∞ ;
• 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。 • 单位：以2为底，比特/符号
Hr(X)=p(a1)I(a1)+p(a2)I(a2)+…+p(ar)I(ar) =-p(a1)logrp(a1)-p(a2)logrp(a2)-…-p(ar)logrp(ar)
H r ( X ) p(ai ) logr p(ai ) 信息单位/信源符号
(4) 两个统计独立事件的联合信息量，应 等于它们各自信息量之和： I(ab)=I(a)+I(b) 自信息量函数： I(ai)=f[p(ai)]=-log p(ai) 信息函数中对数log的底： log ? p(ai)
2 e 10 bit nat hat 一般假定以2为 底，记为log
自信息量
I(ai)=ai 的不确定性
例2.3
[X1 • P]=
X1：
a1
a2 0.5
P(X1)： 0.5 X1： [X2 • P]= P(X1)： 0.7
a1
a2 0.3
X1： [X3 • P]=
a1
a2
P(X1)： 0.99
0.01
log2 3 1.58 ; log2 5 2.32 ; log2 7 2.81; log2 10 3.32
第二章信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？ 第二章信源和信息熵
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
第二章信源和信息熵
第二章 信源和信息熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
自信息的两种含义：信源输出消息x1之前，自信息 I(x1)是关于x1发生地不确定性的度量；而在信源输出 消息x1后，自信息I(x第1二)章表信源示和信x息1熵所含有的信息量。
第二章 信源和信息熵
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的位） 的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前关于 某事件发生的不确定性－收到此消息后关于某 事件发生的不确定性
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
解：数学模型为：
且满足：
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？ 第二章信源和信息熵
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
第二章信源和信息熵
第二章 信源和信息熵
（2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立
表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。
自信息的两种含义：信源输出消息x1之前，自信息 I(x1)是关于x1发生地不确定性的度量；而在信源输出 消息x1后，自信息I(x第1二)章表信源示和信x息1熵所含有的信息量。
第二章 信源和信息熵
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的位） 的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前关于 某事件发生的不确定性－收到此消息后关于某 事件发生的不确定性
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
解：数学模型为：
且满足：
信息论导论-第2章_20131
信息论导论-第2章
14
互信息量(简述)
1、互信息量的定义 2、互信息量的性质
信息论导论-第2章
15
互信息量
两个随机事件X和Y，分别取值于信源、信宿 发出的离散消息集合 a
信源X的数学模型
a2 , p (a2 ),
n i =1
X a1 , = P( X ) p (a1 ),
∴ I ( x1 ) = −lbP ( x1 ) = −lb(1/ 2) = lb 2 = 1(bit ) −lbP ( x2 ) = −lb(1/ 4) = I ( x2 ) = lb 4 = 2(bit ) I ( x3 ) = −lbP ( x3 ) = −lb(1/ 8) = lb8 = 3(bit ) I ( x4 ) = −lbP ( x4 ) = −lb(1/ 8) = lb8 = 3(bit )
0
logxP(x) P(x) 1
③I(xi)是P(xi)的单调递减函数。
信息论导论-第2章
11
一、自信息量
证明：
P( xi ) ∈ [0,1] dI ( xi ) d ∴ = [−lbP( xi )] dP( xi ) dP( xi ) −lbe d = −lbe <0 [ln P ( xi )] = dP( xi ) P( xi )
n
i =1
k = 1, 2, , n
信息论导论-第2章
21
二、单符号离散信源的信息熵
n n ∂ 即 {−∑ P( xi )lbP( xi ) + λ[∑ P( xi ) − 1]} ∂P( xk ) i 1 = i 1 =
= −[lbe + lbP( xk )] + λ = 0,
14
互信息量(简述)
1、互信息量的定义 2、互信息量的性质
信息论导论-第2章
15
互信息量
两个随机事件X和Y，分别取值于信源、信宿 发出的离散消息集合 a
信源X的数学模型
a2 , p (a2 ),
n i =1
X a1 , = P( X ) p (a1 ),
∴ I ( x1 ) = −lbP ( x1 ) = −lb(1/ 2) = lb 2 = 1(bit ) −lbP ( x2 ) = −lb(1/ 4) = I ( x2 ) = lb 4 = 2(bit ) I ( x3 ) = −lbP ( x3 ) = −lb(1/ 8) = lb8 = 3(bit ) I ( x4 ) = −lbP ( x4 ) = −lb(1/ 8) = lb8 = 3(bit )
0
logxP(x) P(x) 1
③I(xi)是P(xi)的单调递减函数。
信息论导论-第2章
11
一、自信息量
证明：
P( xi ) ∈ [0,1] dI ( xi ) d ∴ = [−lbP( xi )] dP( xi ) dP( xi ) −lbe d = −lbe <0 [ln P ( xi )] = dP( xi ) P( xi )
n
i =1
k = 1, 2, , n
信息论导论-第2章
21
二、单符号离散信源的信息熵
n n ∂ 即 {−∑ P( xi )lbP( xi ) + λ[∑ P( xi ) − 1]} ∂P( xk ) i 1 = i 1 =
= −[lbe + lbP( xk )] + λ = 0,