3第二章信息度量2
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
《计算机网络技术基础》课件第2章
C = 2W lbn 其中，W为信道的带宽(以Hz为单位)，n为一个脉冲信 号代表的有效状态数。
奈氏准则描述的是有限带宽、无噪声信道的最大数据 传输速率与信道带宽之间的关系。如考虑信道噪声问题， 可用香农(Shannon)定律来表述，它描述了有限带宽、有随 机热噪声信道的最大数据传输速率与信道带宽、信号噪声 功率比之间的关系。信道的最大信息传输速率为C：
模拟数据反映的是连续消息，如话音和图像等。话音 的声压是时间的连续函数。数字数据反映的是离散消息， 就是用一系列符号代表的消息，而每个符号只可以取有限 个值。数字数据在传送时，一段时间内传送一个符号，因 此在瞬间内数据是离散的。因此，用来反映取值上离散的 文字或符号的数据是数字数据。
信号(Signal)是数据的电编码或电磁编码。它分为两种： 模拟信号和数字信号。模拟信号是一种连续变化的电信号， 它用电信号模拟原有消息。
在数据通信系统中，传输信息的通路称为“信道”。 信道一般都是用来表示向某一个方向传送信息的媒体。在 计算机网络中，有物理信道和逻辑信道之分。根据传输介 质是否有形，物理信道可以分为有线信道和无线信道。如 果按照信道中传输的数据信号的类型来分，物理信道又可 以分为模拟信道和数字信道。模拟信道传输的是模拟信号， 而数字信道直接传输二进制数字脉冲信号。
图2-5 异步方式字符结构
(2) 同步方式。如图2-6所示。发送前，发送端和接收端 应先约定同步字符的个数及每个同步字符的代码，以便实 现接收与发送的同步。
图2-6 同步传输
4．数据传输类型 1) 基带传输 由计算机或数字终端产生的信号是一连串的脉冲信号，它 包含有直流、低频和高频等组成分量。
模拟信道的容量指信道传输信号的可接收频率范围， 其带宽为传输信号的最高频率和最低频率的差值。如话音 电路接收的语音频率为300～3400 Hz，则其带宽为3400 300 = 3100 Hz(一般话音电路带宽取4 kHz)。
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
(完整版)第2章_信息的统计度量题与答案
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为 、 ，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
(1)
(2)
(3)
2.10 一的平均信息量。
解：
2.13 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为
求互信息量 和 。
解：
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
0
1
2
3
4
5
6
7
代码组
000
001
第二章：信息的度量
BUPT Press
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
8. 上凸性: H (p ) 是严格的上凸函数，设 . 上凸性:
p = ( p1 , p2 ,L , pq ), p ' = ( p1 ', p2 ',L , pq '), ∑ pi = 1, ∑ pi ' = 1
则对于任意小于1的正数 α , ( 0 < α < 1 ) 有以下不等式成立：
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
例2.1.3 某地二月份天气出现的概率分别为晴1/2，阴1/4， 雨1/8，雪1/8。某天有人告诉你：“今天不是晴天”，把 这句话作为收到的消息y1，求收到y1后， y1与各种天气的 互信息量。 解：把各种天气记作x1(晴),x2(阴),x3(雨),x4(雪)，收到消 息y1后，阴天发生的概率为
青岛版四年级上第二单元信息窗2角的度量
这个角是110 °
判断
这个角是40 °
同学们可真棒，现在我们一起来回忆 一下，这节课我们学了什么？ • 角的度量 —— 量角器 • 角的顶点 —— 量角器的中心 • 角的一条边 —— 量角器的0刻度线 然后去找角的另一条边对应的量角器的刻 度，读出刻度。 读数时，同学们可一定要注意区 分量角器的内外刻度线啊！
90°,120 °，60 °.
1
2
用量角器量角的步骤
1
1、把量角器放在角的上面；使量 角器的中心和角的顶点重合；
50°
1
2、零度刻度线和角的一条边重合； 3、观察与角的一边重合的0刻度线 是内刻度线还是外刻度线，是内的 就读内刻度，是外的就读外刻度线。
1
120°
2
判断
这个角是80°
判断
认识量角器
量角器的外刻度
60 50 40 30 20 10 0
70
80 90 100 110
120
130 140 150 160 170 180
1°
1°
1°
把半圆分成 180 等份，每一份所对的 角叫做 一度角 。记作 “ 1° ” 。
10份呢?
10°
10°
10°
认识了量角器后，现在请 大家在量角器上找出以下 角度。
角的度量
∠1
1
3
∠3
∠2
2 铲斗臂上的角 能大能小
工地上有这么 多挖掘机啊
1
2
想一想
铲斗臂形成的角，哪个角比较大呢？ 大多少呢？
认识量角器
量角器的0 °刻度线
量角器的0 °刻度线
认识量角器
量角器的中心
认识量角器
量角器的90°
信息论基础及应用第2章 信源及其信息的统计度量(2)_2.4~2.7
P(x y) P( xy ) log
X ,Y
P(x)
P(y x)
H (Y ) H (Y X ) P(xy)log
X ,Y
P( y)
P(xy)
H ( X ) H (Y ) H ( XY ) P(xy)log
X ,Y
P( x)P( y)
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (1) 式 I(X;Y ) H(X ) H(X Y ) 的物理含意 ◆ I(X;Y) 是信源的原有平均不确定度 H(X) 与仍然保留的平均
数学期望，称为在给定 Z 条件下由 Y 提供的关于 X 的
平均条件互信息（或平均条件互信息量），
定义式为
I ( X ;Y Z ) EX ,Y ,Z [I (x; y z)]
P(x y z)
P(xyz)log
X ,Y ,Z
P(x z)
2.4.2 平均互信息的性质
性质2.31（非负性） I(X;y=bj ) 和 I(X;Y) 是非负的，即
称 H(X | Y) 为信道疑义度（或损失熵）。
2.4.1 平均互信息
平均互信息的物理含意及其负熵的概念 (2) 式 I(X;Y ) H(Y ) H(Y X ) 的物理含意 ◆ I(X;Y)即信道传输的信息量，等于在 H(Y) 中
扣除掉 H(Y | X)后的量值。 ◆H(Y | X) 表示信源发出 X 后，对 Y 依然存在的平均不确定度，
2.4.2 平均互信息的性质
性质2.32（极值性）
H(X ) I ( X ;Y ) H (Y )
性质2.33（互易性、对称性） I(X ;Y ) I(Y ; X )
性质2.34（上凸性） I(X;Y) 是输入信源概率分布 P(x) 的 ∩形凸函数（又称上凸函数）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 j 1 i 1 j 1 n m n m
利用关系式p( xi / y j )
n m
p( xi y j ) p( y j )
, 可推出 p( xi y j ) p( xi ) p( y j )
(3)
I ( X ; Y ) p( xi y j ) log2
i 1 j 1
2.4.2平均互信息的物理意义
0
H n [ p( x1 ), p( x2 ),, p( xn )]
lim log 2 0
0
确定性(不确定性完全消失）
H (1,0) H (1,0,,0) H (0,1,,0) 0
可加性（证明P27)
证明(5)
极值性
H ( XY ) H ( X ) H (Y / X ) H ( XY ) H (Y ) H ( X / Y )
f ( p1 , p2 , , p N ) f (( p1 , p2 , , pK ), pK 1 , , p N ) ( p1 p2 pK ) f ( p1 , p2 , , pK )
, , ,
其中pK
,
pk , k 1,2, , K ( p1 p2 pK )
i 1 j 1 i 1 j 1 n m n m
p( xi / y j ) p( xi ) p( y j / xi ) p( y j )
I (Y ; X )是X对Y的平均互信息: (2) I ( X ; Y ) p( xi y j )I ( y j ; xi ) p( xi y j ) log2
H ( XY ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X ) H (Y ) I ( X ; Y ) H ( X / Y ) H (Y / X ) I ( X ; Y ) I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( XY ) H (Y / X ) H ( X / Y ) H ( X ) H (Y ) H ( XY )
X
Y
X
Y
交 互 熵
X
Y
பைடு நூலகம்
2熵 VS 互信息
信息熵是表征随机变量本身统计特性的一个物理量，它是 随机变量平均不确定性的度量，是从总体统计特性上对随 机变量的一个客观描述。 互信息I(U;V),我们又称它信息量一般是针对观测到另一个 随机变量时而言的，是一个相对量，是指观测者从随机变 量V中所获得的关于随机变量U的信息度量。在通信中，互 信息是针对接收者而言的，是指接收者收到的关于信源的 信息度量，当通信中无干扰时，接受者获得的信息量数量 上就等于信源给出的信息熵，但是两者的概念不一样；当 信道有干扰时，不仅概念上不一样，而且数量上也不相等。 信息熵也可理解为信源输出的信息量。
• 香农证明，当函数 f ( p1 , p2 ,, pN ) 满足上述 三个条件时，其形式唯一，如下所示： N 证明P24-25 f ( p , p , , p ) C p log p
1 2 N
n 1
n
n
若条件放宽， 会形成其它 唯一的熵
其中C 常数 0, 此即熵 H ( P ) pn log pn
X
Y
H(X /Y) H (Y / X )
H ( XY ) H (YX )
I ( X ; Y ) I (Y ; X )
H ( X / Y ) H ( XY ) H (Y ) H ( X ) I ( X ;Y )
X
Y
H (Y / X ) H ( XY ) H ( X ) H (Y ) I ( X ; Y )
总结
名称 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 符号
1 各种熵之间的关系
关 系 图
X
示
Y
H (X ) H (Y )
H(X ) H(X /Y) H ( X / Y ) I ( X ;Y ) H ( X ) H ( XY ) H (Y / X )
H (Y ) H (Y / X ) H (Y / X ) I ( X ; Y ) H (Y ) H ( XY ) H ( X / Y )
• 表明等概率信源的不确定性最大，具有最大熵， 且为 log2 n
对于离散随机变量，当其可能的取值等概分布 时，其熵达到最大值。即：
max H ( X ) log N
其中：N为X可能取值得个数。
例1.3：二元熵函数是对0－1分布的随机变量所求的熵：
X P（x） ＝ 0 p 1 1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p) 而： H’(X) = -logp-p/p+log(1-p)+(1-p)/(1-p)=log(1-p)/p 可以证明，p＝1/2时，H(p)取最大值，为log2=1。
– 连续性条件：f ( p1 , p2 ,, pN ) 应是 pn (n 1,2,, N ) 的连 续函数。 1 1 1 f ( , , ) g ( N ) 应为N的增函数 – 等概时为单调增函数： N N N – 可加性条件：当随机变量的取值不是通过一次试验而是若干 次试验才最后得到的，随机变量在各次试验中的不确定程度 应该可加，且其和始终与通过一次试验取得结果的不确定程 度相同，即
1 1 1 H n ( x1 , x2 , , xn ) H n ( , ,, ) log 2 n n n n
• 其它表述及证明（思考？）
X Y 对任意两个消息数相同 的信源 P(Y ), i 1,2, n有 P( X ) H n [ p( x1 ), p( x2 ),, p( xn )] p( xi ) log2 p( y j ) 其中
• 数据处理定理：当消息经过多级处理后，随着处理器数目的 增多，输入消息与输出消息之间的平均互信息量趋于变小。
离散互信息
当随机变量X和Y之间有确定的关系时
1、X可以唯一确定Y， 此时：
H (Y | X ) 0 H(X |Y) 0
故：
I ( X ; Y ) H (Y ) I ( X ;Y ) H ( X )
而p=0或1时，H(p)＝0，故二元熵函数的曲线如图所示：
H(p)/bit 1.0
等概时（p=0.5)：
随机变量具有最大的 不确定性，
p=0,1时：
随机变量的不确定性 消失。
0
0.5 二元熵函数曲线
1.0
p
扩展性
lim H n 1[ p( x1 ), p( x2 ),, p( xn ) , p( xn 1 ) ]
举例证明
• 对称性： I ( X ; Y ) I (Y ; X ) • 非负性： I ( X ; Y ) 0 怎样理解？大于0说明了解一事物对另一事物有帮助，等于0 说明x,y独立 • 极值性： I ( X ; Y ) H ( X )
(4-10)
举例计算 (10)
I (Y ; X ) H (Y )
2.3.5 信源熵的基本性质和定理
n 非负性 H ( X ) p( xi ) log2 p( xi ) 对称性 i 1 最大离散熵定理：信源X中包含n个不同离散 消息时，信源熵H(X)有 H ( X ) log2 n ，当 且仅当X中各个消息出现的概率全相等时， 上式取等号。
举例 (3) 应 用
上凸性(6)
• 对任何 (0
H [P (1 )Q] H ( P) (1 ) H (Q)
1)
和任何两个概率矢量P,Q
唯一性
• 香农指出，存在这样的不确定性的度量，它是概率 分布p1 , p2 ,, pN 的函数 f ( p1 , p2 ,, pN ) ，且该 函数应满足以下三个先验条件：
2、 Y 可以唯一确定X ，
此时： 故：
I (Y ; X )是对X和Y之间统计依存程度的信息量度
数据处理定理（信息不增原理）
X P(Y/X) Y P(Z/Y) Z
两级串联信道的情况
其数据处理定理的数学 表达式: 举例证明(12) I ( X ; Z ) I (Y ; Z ) I ( X ; Z ) I ( X ;Y )
了解Y后,X的不确定度的减少量
• 平均互信息 I ( X ; Y )克服了互信息量I ( xi ; y j ) 的随 机性，可作为信道中流通信息量的整体测度。 • 三种表达方式
I ( X ; Y )是Y对X的平均互信息: (1) I ( X ; Y ) p( xi y j )I ( xi ; y j ) p( xi y j ) log2
3对信息论基本概念的若干评注
信息论基本概念熵、互信息分别给出了随机变量不确定性的度量以及消除或减 少这一不确定性时所获信息的度量。
n 1 N
递增性(递推性)
• 若原信源X中有一元素划分(或分割)成m个元素 (符号),而这m个元素的概率之和等于原元素的概 率,则新信源的熵增加。
H n m 1 ( p1 , p2 , , pn 1 , q1 , q2 , , qm ) H n ( p1 , p2 , , pn 1 , pn ) pn H m ( 其中 q q1 q2 , ,, m ) pn pn pn
注解 : H ( X ), H (Y )分别为X和Y的先验不定度 H ( X / Y )是Y关于X的后验不定度 或称信道疑义度 , , 它还代表了信道中损失 的信息, 又称损失熵 H (Y / X )发出X后关于Y的后验不定度 常称噪声熵 ,
2.4.3平均互信息量的性质
平均互信息量的性质（怎样理解？X,y独立？）
思考 与 证明？
利用关系式p( xi / y j )
n m
p( xi y j ) p( y j )
, 可推出 p( xi y j ) p( xi ) p( y j )
(3)
I ( X ; Y ) p( xi y j ) log2
i 1 j 1
2.4.2平均互信息的物理意义
0
H n [ p( x1 ), p( x2 ),, p( xn )]
lim log 2 0
0
确定性(不确定性完全消失）
H (1,0) H (1,0,,0) H (0,1,,0) 0
可加性（证明P27)
证明(5)
极值性
H ( XY ) H ( X ) H (Y / X ) H ( XY ) H (Y ) H ( X / Y )
f ( p1 , p2 , , p N ) f (( p1 , p2 , , pK ), pK 1 , , p N ) ( p1 p2 pK ) f ( p1 , p2 , , pK )
, , ,
其中pK
,
pk , k 1,2, , K ( p1 p2 pK )
i 1 j 1 i 1 j 1 n m n m
p( xi / y j ) p( xi ) p( y j / xi ) p( y j )
I (Y ; X )是X对Y的平均互信息: (2) I ( X ; Y ) p( xi y j )I ( y j ; xi ) p( xi y j ) log2
H ( XY ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X ) H (Y ) I ( X ; Y ) H ( X / Y ) H (Y / X ) I ( X ; Y ) I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( XY ) H (Y / X ) H ( X / Y ) H ( X ) H (Y ) H ( XY )
X
Y
X
Y
交 互 熵
X
Y
பைடு நூலகம்
2熵 VS 互信息
信息熵是表征随机变量本身统计特性的一个物理量，它是 随机变量平均不确定性的度量，是从总体统计特性上对随 机变量的一个客观描述。 互信息I(U;V),我们又称它信息量一般是针对观测到另一个 随机变量时而言的，是一个相对量，是指观测者从随机变 量V中所获得的关于随机变量U的信息度量。在通信中，互 信息是针对接收者而言的，是指接收者收到的关于信源的 信息度量，当通信中无干扰时，接受者获得的信息量数量 上就等于信源给出的信息熵，但是两者的概念不一样；当 信道有干扰时，不仅概念上不一样，而且数量上也不相等。 信息熵也可理解为信源输出的信息量。
• 香农证明，当函数 f ( p1 , p2 ,, pN ) 满足上述 三个条件时，其形式唯一，如下所示： N 证明P24-25 f ( p , p , , p ) C p log p
1 2 N
n 1
n
n
若条件放宽， 会形成其它 唯一的熵
其中C 常数 0, 此即熵 H ( P ) pn log pn
X
Y
H(X /Y) H (Y / X )
H ( XY ) H (YX )
I ( X ; Y ) I (Y ; X )
H ( X / Y ) H ( XY ) H (Y ) H ( X ) I ( X ;Y )
X
Y
H (Y / X ) H ( XY ) H ( X ) H (Y ) I ( X ; Y )
总结
名称 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 符号
1 各种熵之间的关系
关 系 图
X
示
Y
H (X ) H (Y )
H(X ) H(X /Y) H ( X / Y ) I ( X ;Y ) H ( X ) H ( XY ) H (Y / X )
H (Y ) H (Y / X ) H (Y / X ) I ( X ; Y ) H (Y ) H ( XY ) H ( X / Y )
• 表明等概率信源的不确定性最大，具有最大熵， 且为 log2 n
对于离散随机变量，当其可能的取值等概分布 时，其熵达到最大值。即：
max H ( X ) log N
其中：N为X可能取值得个数。
例1.3：二元熵函数是对0－1分布的随机变量所求的熵：
X P（x） ＝ 0 p 1 1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p) 而： H’(X) = -logp-p/p+log(1-p)+(1-p)/(1-p)=log(1-p)/p 可以证明，p＝1/2时，H(p)取最大值，为log2=1。
– 连续性条件：f ( p1 , p2 ,, pN ) 应是 pn (n 1,2,, N ) 的连 续函数。 1 1 1 f ( , , ) g ( N ) 应为N的增函数 – 等概时为单调增函数： N N N – 可加性条件：当随机变量的取值不是通过一次试验而是若干 次试验才最后得到的，随机变量在各次试验中的不确定程度 应该可加，且其和始终与通过一次试验取得结果的不确定程 度相同，即
1 1 1 H n ( x1 , x2 , , xn ) H n ( , ,, ) log 2 n n n n
• 其它表述及证明（思考？）
X Y 对任意两个消息数相同 的信源 P(Y ), i 1,2, n有 P( X ) H n [ p( x1 ), p( x2 ),, p( xn )] p( xi ) log2 p( y j ) 其中
• 数据处理定理：当消息经过多级处理后，随着处理器数目的 增多，输入消息与输出消息之间的平均互信息量趋于变小。
离散互信息
当随机变量X和Y之间有确定的关系时
1、X可以唯一确定Y， 此时：
H (Y | X ) 0 H(X |Y) 0
故：
I ( X ; Y ) H (Y ) I ( X ;Y ) H ( X )
而p=0或1时，H(p)＝0，故二元熵函数的曲线如图所示：
H(p)/bit 1.0
等概时（p=0.5)：
随机变量具有最大的 不确定性，
p=0,1时：
随机变量的不确定性 消失。
0
0.5 二元熵函数曲线
1.0
p
扩展性
lim H n 1[ p( x1 ), p( x2 ),, p( xn ) , p( xn 1 ) ]
举例证明
• 对称性： I ( X ; Y ) I (Y ; X ) • 非负性： I ( X ; Y ) 0 怎样理解？大于0说明了解一事物对另一事物有帮助，等于0 说明x,y独立 • 极值性： I ( X ; Y ) H ( X )
(4-10)
举例计算 (10)
I (Y ; X ) H (Y )
2.3.5 信源熵的基本性质和定理
n 非负性 H ( X ) p( xi ) log2 p( xi ) 对称性 i 1 最大离散熵定理：信源X中包含n个不同离散 消息时，信源熵H(X)有 H ( X ) log2 n ，当 且仅当X中各个消息出现的概率全相等时， 上式取等号。
举例 (3) 应 用
上凸性(6)
• 对任何 (0
H [P (1 )Q] H ( P) (1 ) H (Q)
1)
和任何两个概率矢量P,Q
唯一性
• 香农指出，存在这样的不确定性的度量，它是概率 分布p1 , p2 ,, pN 的函数 f ( p1 , p2 ,, pN ) ，且该 函数应满足以下三个先验条件：
2、 Y 可以唯一确定X ，
此时： 故：
I (Y ; X )是对X和Y之间统计依存程度的信息量度
数据处理定理（信息不增原理）
X P(Y/X) Y P(Z/Y) Z
两级串联信道的情况
其数据处理定理的数学 表达式: 举例证明(12) I ( X ; Z ) I (Y ; Z ) I ( X ; Z ) I ( X ;Y )
了解Y后,X的不确定度的减少量
• 平均互信息 I ( X ; Y )克服了互信息量I ( xi ; y j ) 的随 机性，可作为信道中流通信息量的整体测度。 • 三种表达方式
I ( X ; Y )是Y对X的平均互信息: (1) I ( X ; Y ) p( xi y j )I ( xi ; y j ) p( xi y j ) log2
3对信息论基本概念的若干评注
信息论基本概念熵、互信息分别给出了随机变量不确定性的度量以及消除或减 少这一不确定性时所获信息的度量。
n 1 N
递增性(递推性)
• 若原信源X中有一元素划分(或分割)成m个元素 (符号),而这m个元素的概率之和等于原元素的概 率,则新信源的熵增加。
H n m 1 ( p1 , p2 , , pn 1 , q1 , q2 , , qm ) H n ( p1 , p2 , , pn 1 , pn ) pn H m ( 其中 q q1 q2 , ,, m ) pn pn pn
注解 : H ( X ), H (Y )分别为X和Y的先验不定度 H ( X / Y )是Y关于X的后验不定度 或称信道疑义度 , , 它还代表了信道中损失 的信息, 又称损失熵 H (Y / X )发出X后关于Y的后验不定度 常称噪声熵 ,
2.4.3平均互信息量的性质
平均互信息量的性质（怎样理解？X,y独立？）
思考 与 证明？