第二章基本信息论2_平均互信息量
合集下载
第二章基本信息论2_平均互信息量
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p( xi
/
yj)
p( xi y j ) p( y j )
mn j1 i1
p( xi
p(x1) p(1) 1/ 4 p(x2 ) p(0) 3/ 4
信道转移概率p( yj / xi )：
p( y1 / x1) p(1/1) 5/ 6 p( y1 / x2 ) p(1/ 0) 1/ 2
p( y2 / x1) p(0 /1) 1/ 6 p( y2 / x2 ) p(0 / 0) 1/ 2
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
计算步骤：
1）计算联合概率：p(xi y j ) p(xi ) p( y j / xi )
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
p( x2
/
y2 )
p(x2 y2 ) /
p( y2 )
3/8 5 / 12
9 10
4）计算互信息量：I
(
xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
I (x1;
y1 )
lb
p(x1 / y1) p( x1 )
lb
5 / 14 1/ 4
第二章 基本信息论
信息的度量
3.自信息（量） 3.自信息（ 自信息 1)定义自信息量：I(xi)=log1/p(xi)=-logp(xi) 1)定义自信息量：I(xi)=log1/p(xi)=2)含义：描述信源的微观特性，是指消息集中某一消息 2)含义：描述信源的微观特性，是指消息集中某一消息 所含有的信息量。 在xi发生前---描述xi发生的不确定性大小。 发生前---描述xi发生的不确定性大小。 在xi发生后---描述xi所含有的（提供的）信 发生后---描述xi所含有的（提供的）信 息量。 3)采用对数定义的合理性 3)采用对数定义的合理性 对数函数能够同时满足条件，因此定义是合理的。 4)单位: 4)单位: 对数底(>1) 对数底(>1) 单位 2 bit e nat 10 Hart 1 nat=1.44 bit 1 Hart=3.32 bit 5)等概率分布离散信源的平均信息量H(X)=1/q∑logq 5)等概率分布离散信源的平均信息量H(X)=1/q∑logq =logq
信源熵
1. 定义： 定义： 2. 单位：与I(xi)相同。 单位： I(xi)相同。 3．物理意义： 物理意义： 等概率分布情况：一个符号含有的信息量。 非等概率分布情况：一个符号所含有的统计平均信息量， 是对信源宏观特性的描述。 结论： 结论： H(X)表征信源的总体特性----提供的统计平均信息量/ H(X)表征信源的总体特性----提供的统计平均信息量/符号 信源输出前的平均不确定性。 H(X)表征了信源的随机性。 H(X)表征了信源的随机性。
二元联合信源的共熵与条件熵
四．消息的剩余度 1．剩余: 剩余: 由于不等概或相关性使信源熵值减小，欲 输出相同信息量，必须增加位数，此为剩 余。
二元联合信源的共熵与条件熵
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
2.2平均互信息量
2.2平均互信息量现在来一般地研究平均互信息量。
2.2.1平均互信息量的定义定义互信息量在联合概率空间中的统计平均值作为平均互信息量：∑∑===ni mj xi p yj xi p lbxiyj p Y X I 11)()/()();( (2.2.1)考虑到条件概率与联合概率之间的关系式： 容易推出：∑∑===ni mj yj p xi yj p lbxiyj p X Y I 11)()/()();( (2.2.3)2.2.2平均互信息量的物理意义可以从三个不同的角度观察平均互信息。
（1）由式（2.2.3）得： （2）由式（2.2.2）得：（3）由式（2.2.3）得[例 2.2.1]仍以[例 2.1.5]为例，验证式（2.2.4），（2.2.5），（2.2.6）的正确性。
平均互信息的物理意义 （1）Y 对X 的平均互信息)/(log)()/()/()()/(1log)()(1log)()()/(log)();()();(21121121121111j i ni mj j i j i ni mj j i i ni mj j i i j i ni mj j i j i ni mj j i y x p y x p Y X H Y X H X H y x p y x p x p y x p x p y x p y x p y x I y x p Y X I ∑∑∑∑∑∑∑∑∑∑==========-=-=-===其中条件熵：* Y 对X 的平均互信息是对Y 一无所知的情况下，X 的先验不定度与收到Y 后关于X 的后验不定度之差，即收到Y 前、后关于X 的不确定度减少的量。
H(X/Y)表示收到随机变量Y 后，对随机变量X 仍然存在的不确定度，这是Y 关于X 的后验不定度，通常称它为信道疑义度或损失熵(代表了在信道中损失的信息)(2)X 对Y 的平均互信息* X 对Y 的平均互信息是Y 的先验不定度与发出X 后关于Y 的后验不定度之差，即发X 前、后关于Y 的不确定度减少的量。
平均互信息量
i 1 j 1
n
m
1 p ( xi / y j )
H (X ) H (X /Y)
H(X/Y) —信道疑义度/损失熵。 Y关
于X的后验不确定度。表示收到变量 Y后，对随机变量X仍然存在的不确 定度。代表了在信道中损失的信息。
H(X) —X的先验不确定度/无条件熵。 I(X;Y)—收到Y前、后关于X的不确
举 例
[例2.1.5] 把已知信源 接到图2.1.7所示的信道上， 求在该信道上传输的平均互信息量I(X;Y)，疑义度 H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。
X x1 , x2 P( X ) 0.5， 0.5
解：(1) 求联合概率
p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.5×0.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.5×0.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.5×0.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.5×0.98=0.40 (2) 求Y的各消息概率
i 1 j 1
1 2 p( y j )
p( xi y j ) log 2
i 1 j 1
n
m
1 p ( y j / xi )
H (Y ) H (Y / X )
H(Y/X)—噪声熵。表示发出随机变量X 后，对随机变量Y仍然存在的平均不确 定度。如果信道中不存在任何噪声，发 送端和接收端必存在确定的对应关系， 发出X后必能确定对应的Y，而现在不 能完全确定对应的Y，这显然是由信道 噪声所引起的。 I(Y;X) —发出X前、后关于Y的先验不 确定度减少的量。
n
m
1 p ( xi / y j )
H (X ) H (X /Y)
H(X/Y) —信道疑义度/损失熵。 Y关
于X的后验不确定度。表示收到变量 Y后，对随机变量X仍然存在的不确 定度。代表了在信道中损失的信息。
H(X) —X的先验不确定度/无条件熵。 I(X;Y)—收到Y前、后关于X的不确
举 例
[例2.1.5] 把已知信源 接到图2.1.7所示的信道上， 求在该信道上传输的平均互信息量I(X;Y)，疑义度 H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。
X x1 , x2 P( X ) 0.5， 0.5
解：(1) 求联合概率
p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.5×0.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.5×0.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.5×0.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.5×0.98=0.40 (2) 求Y的各消息概率
i 1 j 1
1 2 p( y j )
p( xi y j ) log 2
i 1 j 1
n
m
1 p ( y j / xi )
H (Y ) H (Y / X )
H(Y/X)—噪声熵。表示发出随机变量X 后，对随机变量Y仍然存在的平均不确 定度。如果信道中不存在任何噪声，发 送端和接收端必存在确定的对应关系， 发出X后必能确定对应的Y，而现在不 能完全确定对应的Y，这显然是由信道 噪声所引起的。 I(Y;X) —发出X前、后关于Y的先验不 确定度减少的量。
平均互信息量和各种熵关系
p( xi
|
y j ) log
p(xi | y j ) p(xi )
改写为
I(X;
yj
)
X
p( xi
|
y j ) log
p(xi ) p(xi | y j )
令
w
p(xi ) p(xi | y j )
则有 I (X ; y j )
X
p(xi | y j ) log w
利用不等式 ln w w 1; log w ln wlog e
9
HUST Furong WANG--- Information and Coding Theory
平均互信息量的其它定义
平均互信息量I(X;Y)也可定义为
def
I(X;Y)
XY
p(xi y j ) log
p(xi | y j ) p(xi )
def
I(X;Y)
XY
p(xi ) p( y j
平均互信息量I(X;Y)的凸函数性－例题
二元对称信道的X 输入概率空间为
X 0 1
P(X)
p
1 p
0
q
0
1-q
信道的转移概率图为右图所示
求平均互信息量I(X;Y),并画图
1-q
1
q
1
二元对称信道
16
HUST Furong WANG--- Information and Coding Theory
以{Y , P}表示输出离散概率空间
Y
P(Y
)
y1,
p(
y1
),
y2, L p( y2 ),L
, ,
y j , L , ym
p( y j ),L
第二章 信息论基本概念
i 1
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
一个信源总是包含着多个符号消息，各个符号消息又按概率 空间的先验概率分布，它的不确定度是各个符号的不确定度的数 学期望（即概率加权的统计平均值） 它的熵（平均不确定度）H（X）定义为： H（X）＝ E[I(x)]＝ P(X)I(X) ＝－ P(X)log2P(X) X
X
若信源X中的符号的概率空间简化表示为： X1，X2， „，XN X，PX＝ P1， P2，„， PN 则熵（平均不确定度）H（X）可写成： N H（X）＝－ PilogPi 注意：∵ I(X)为非负， P(X)为非负，且0≤P(X)≤1 ∴ H（X）也为非负
0.8 0.2
其中X1表示摸出的球为红球事件,X2表示摸出的球为白球事件
若告知摸出的是红球，则事件的自信息量为 I(X1)＝－logP(X1)＝－log20.8 bit 若告知摸出的是白球，则事件的自信息量为 I(X2)＝－logP(X2)＝－log20.2 bit 若取回后又放回摸取，如此摸取n此，红球出现的次数nP(X1)， 白球出现的次数为nP(X2)，则总信息量为 I＝nP(X1)I(X1)＋nP(X2)I(X2) 而平均随机摸取一次所获得的信息量为 H（X）＝ 1/n [nP(X1)I(X1)＋nP(X2)I(X2)] ＝－[P(X1)logP(X1)＋P(X2)logP(X2)] 2 ＝－ P(Xi)logP(Xi)
符号xi对联合事件符号yj zk之间的互信息量定义为： I(xi ; yj zk)＝ logP(xi|yj zk)/ P(xi) „„„„*
三. 条件互信息量 含义：在给定zk条件下，xi与yj之间的互信息量
条件互信息量I(xi ; yj|zk)定义为： I(xi ; yj|zk)＝ logP(xi|yj zk)/ P(xi|zk) 从上式，可使*式写成： I(xi ; yj zk)＝ I(xi ; zk) ＋ I(xi ; yj|zk) 推导如下: I(xi ; yj zk)＝ log P(xi|yj zk)/ P(xi)
第二章-信息论基本概念(2)(1)
(四） 平均互信息（平均交互信息熵/交互熵） 四 平均互信息（平均交互信息熵 交互熵） 交互熵
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•信宿接受消息Y前后关于X的平均不确定性消除 的程度 •H(X)经信道损失了H(X/Y)后信宿获得的净信息量 •收到消息集合Y后获得关于信源X的平均信息量 •信宿每收到一个消息所获得的平均信息量
2、I (Y ; X )
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
p( x2
/
y2 )
p(x2 y2 ) /
p( y2 )
3/8 5 / 12
9 10
4）计算互信息量：I
(
xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
I (x1;
y1 )
lb
p(x1 / y1) p( x1 )
lb
5 / 14 1/ 4
lb 10 7
0.515比特/消息
I (x1;
y2 )
lb
m j 1
n i 1
p( xi y j ) lb
p( xi ห้องสมุดไป่ตู้ y j ) p( xi )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
1 p( xi / y j )
H(X) H(X /Y)
其中：H ( X
/Y)
m j 1
n i 1
m j 1
n i 1
p( xi y j ) lb
1 p( y j )
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
H (Y ) H (Y / X )
其中：H (Y
/X)
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
表示信道输入信号由于信道中的噪声干扰而在信
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H ( X /Y ) 0.811 0.744 0.067比特/消息
2）噪声熵：
mn
H (Y / X )
p(xi y j ) lb p( y j / xi ) 0.913比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H (Y ) H (Y / X ) 0.980 0.913 0.067比特/消息
0.263比特/消息
5）计算平均互信息量：I ( X ;Y ) p(xi y j )I (xi; y j )
ji
I ( X ;Y ) p( x1 y1)I ( x1; y1) p( x1 y2 )I ( x1; y2 )
p( x2 y1)I ( x2; y1) p( x2 y2 )I ( x2; y2 )
1 p( y j )
m j 1
n i 1
p(xi y j ) lb
1 p( xi y j )
H ( X ) H (Y ) H ( XY )
其中：H ( XY )
m j 1
n i 1
p( xi y j ) lb
1 p( xi y j )
为联合熵，表示信源信宿双方通信后整个 系统仍存在的平均不确定度
p(x1)=1/4 x1=1 X空间
5/6 1/2
1/6
y1=1 p(y1) Y空间
p(x2)=3/4 x2=0
1/2
y2=0 p(y2)
分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi )
求平均互信息量：I ( X; Y )
mn
I ( X ;Y ) E[I (xi; y j )]
5 0.515 1 (-1.322) 3 (0.222) 3 0.263
24
24
8
8
0.067比特/消息
因此，信宿收到一个消息后，获得的平均信息量
是0.067比特/消息
思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？
二、平均互信息量的物理意义
1、I ( X ;Y )
•信源发出消息X前后关于信宿Y的平均不确定性的 消除程度
3、I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
3）联合熵：
mn
H ( XY )
p( xi y j ) lb p( xi y j ) 1.724比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.811 0.980 1.724 0.067比特/消息
三、平均互信息量的性质
1、对称性
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
计算步骤：
1）计算联合概率：p(xi y j ) p(xi ) p( y j / xi )
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
计算过程：
1）收到yj后，从yj中获得关于xi的非平均信息量
I
( xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
2）收到yj后，从yj中获得关于集合X的平均信息量
I ( X ;
y j
)
EX [I ( xi ; y j )]
n i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
i
3）计算后验概率： p(xi / y j ) p(xi y j ) / p( y j )
4）计算互信息量：I (xi ; 5）计算平均互信息量：
y
j
)
lb
p(xi / y p( xi )
j
)
I ( X ;Y )
p( xi y j )I (xi ; y j )
ji
解：根据题意，信源概率分布：
3）收到集合Y后，从Y中获得关于集合X的平均信 息量
I ( X ;Y )
EY [I ( X ; y j )]
m j 1
n
p( y j )
i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
平均互信息量
I ( X ;Y ) I (Y ; X ) H ( X ) H (Y ) H ( XY )
•信源X的先验平均不确定度+信宿Y的先验平均不
确定度–信源、信宿双方通信后整个系统尚存的后
验平均不确定度
•通信前后关于整个系统平均不确定性消除的程度
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
j 1
7 lb 7 5 lb 5 0.980比特/消息 12 12 12 12
平均互信息量：
mn
I ( X ;Y )
p( xi y j )I ( xi ; y j ) 0.067比特/消息
j1 i1
1）损失熵：
mn
H ( X /Y )
p( xi y j ) lb p( xi / y j ) 0.744比特/消息
p( xi y j ) lb
1 p( xi / y j )
称为信道疑义度/可疑度（损失熵）
•信宿收到信源发出的消息Y后，对信源X仍存在 的平均不确定度
•通信过程中信息在信道中的损失量
Y对X的平均互信息量
I ( X ;Y ) H ( X ) H ( X /Y )
•信源X的先验平均不确定度–观察到Y后对信源X 尚存的后验平均不确定度
宿端表现的散步范围，称为散布度（噪声熵）
•由于信道噪声的干扰，信源发出消息后无法判断 信宿是否正确收到消息
•信源发出消息X后，对信宿Y仍存在的平均不确 定度
X对Y的平均互信息量
I (Y ; X ) H (Y ) H (Y / X )
•信宿Y的先验平均不确定度–信源发出消息X后对 信宿Y尚存的后验平均不确定度
y
j
) lb
p( xi y j ) p(xi ) p( y
j
)
I (Y ; X )
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p( xi
/
yj)
p( xi y j ) p( y j )
mn j1 i1
p( xi
p(x1)=1/4 x1=1 X空间
2、I (Y ; X )
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
p( x2
/
y2 )
p(x2 y2 ) /
p( y2 )
3/8 5 / 12
9 10
4）计算互信息量：I
(
xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
I (x1;
y1 )
lb
p(x1 / y1) p( x1 )
lb
5 / 14 1/ 4
lb 10 7
0.515比特/消息
I (x1;
y2 )
lb
m j 1
n i 1
p( xi y j ) lb
p( xi ห้องสมุดไป่ตู้ y j ) p( xi )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
1 p( xi / y j )
H(X) H(X /Y)
其中：H ( X
/Y)
m j 1
n i 1
m j 1
n i 1
p( xi y j ) lb
1 p( y j )
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
H (Y ) H (Y / X )
其中：H (Y
/X)
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
表示信道输入信号由于信道中的噪声干扰而在信
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H ( X /Y ) 0.811 0.744 0.067比特/消息
2）噪声熵：
mn
H (Y / X )
p(xi y j ) lb p( y j / xi ) 0.913比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H (Y ) H (Y / X ) 0.980 0.913 0.067比特/消息
0.263比特/消息
5）计算平均互信息量：I ( X ;Y ) p(xi y j )I (xi; y j )
ji
I ( X ;Y ) p( x1 y1)I ( x1; y1) p( x1 y2 )I ( x1; y2 )
p( x2 y1)I ( x2; y1) p( x2 y2 )I ( x2; y2 )
1 p( y j )
m j 1
n i 1
p(xi y j ) lb
1 p( xi y j )
H ( X ) H (Y ) H ( XY )
其中：H ( XY )
m j 1
n i 1
p( xi y j ) lb
1 p( xi y j )
为联合熵，表示信源信宿双方通信后整个 系统仍存在的平均不确定度
p(x1)=1/4 x1=1 X空间
5/6 1/2
1/6
y1=1 p(y1) Y空间
p(x2)=3/4 x2=0
1/2
y2=0 p(y2)
分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi )
求平均互信息量：I ( X; Y )
mn
I ( X ;Y ) E[I (xi; y j )]
5 0.515 1 (-1.322) 3 (0.222) 3 0.263
24
24
8
8
0.067比特/消息
因此，信宿收到一个消息后，获得的平均信息量
是0.067比特/消息
思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？
二、平均互信息量的物理意义
1、I ( X ;Y )
•信源发出消息X前后关于信宿Y的平均不确定性的 消除程度
3、I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
3）联合熵：
mn
H ( XY )
p( xi y j ) lb p( xi y j ) 1.724比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.811 0.980 1.724 0.067比特/消息
三、平均互信息量的性质
1、对称性
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
计算步骤：
1）计算联合概率：p(xi y j ) p(xi ) p( y j / xi )
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
计算过程：
1）收到yj后，从yj中获得关于xi的非平均信息量
I
( xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
2）收到yj后，从yj中获得关于集合X的平均信息量
I ( X ;
y j
)
EX [I ( xi ; y j )]
n i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
i
3）计算后验概率： p(xi / y j ) p(xi y j ) / p( y j )
4）计算互信息量：I (xi ; 5）计算平均互信息量：
y
j
)
lb
p(xi / y p( xi )
j
)
I ( X ;Y )
p( xi y j )I (xi ; y j )
ji
解：根据题意，信源概率分布：
3）收到集合Y后，从Y中获得关于集合X的平均信 息量
I ( X ;Y )
EY [I ( X ; y j )]
m j 1
n
p( y j )
i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
平均互信息量
I ( X ;Y ) I (Y ; X ) H ( X ) H (Y ) H ( XY )
•信源X的先验平均不确定度+信宿Y的先验平均不
确定度–信源、信宿双方通信后整个系统尚存的后
验平均不确定度
•通信前后关于整个系统平均不确定性消除的程度
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
j 1
7 lb 7 5 lb 5 0.980比特/消息 12 12 12 12
平均互信息量：
mn
I ( X ;Y )
p( xi y j )I ( xi ; y j ) 0.067比特/消息
j1 i1
1）损失熵：
mn
H ( X /Y )
p( xi y j ) lb p( xi / y j ) 0.744比特/消息
p( xi y j ) lb
1 p( xi / y j )
称为信道疑义度/可疑度（损失熵）
•信宿收到信源发出的消息Y后，对信源X仍存在 的平均不确定度
•通信过程中信息在信道中的损失量
Y对X的平均互信息量
I ( X ;Y ) H ( X ) H ( X /Y )
•信源X的先验平均不确定度–观察到Y后对信源X 尚存的后验平均不确定度
宿端表现的散步范围，称为散布度（噪声熵）
•由于信道噪声的干扰，信源发出消息后无法判断 信宿是否正确收到消息
•信源发出消息X后，对信宿Y仍存在的平均不确 定度
X对Y的平均互信息量
I (Y ; X ) H (Y ) H (Y / X )
•信宿Y的先验平均不确定度–信源发出消息X后对 信宿Y尚存的后验平均不确定度
y
j
) lb
p( xi y j ) p(xi ) p( y
j
)
I (Y ; X )
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p( xi
/
yj)
p( xi y j ) p( y j )
mn j1 i1
p( xi
p(x1)=1/4 x1=1 X空间