信源熵 第二章—3
合集下载
第二章 信源熵(0906)
一天有人告诉你：今天不是晴 天。 把这句话作为收到的消息b1。 当收到b1后，各种天气发生的概 率变成后验概率了。其中
p(a1 b1 ) 0,
1 p(a3 b1 ) , 4 1 p(a2 b1 ) , 2 1 p(a4 b1 ) 。 4
依据式(2.1.7)，可以计算出b1与各 种天气之间的互信息量。
事件的自信 息量只与其 概率有关， 而与它的取 值无关。
2 联合自信息量
XY P( XY )
a1b1 , , a1bm , , an b1 , , an bm p(a1b1 ), , p(a1bm ), , p(an b1 ), , p(an bm )
三个信息单位之间的转换关系如下：
1Hart log 2 10 3.322bit
1nat log 2 e 1.433bit
1bit 0.693nat 1bit 0.301Hart
由式(2.1.3)可知，一个以等概率出 现的二进制码元(0,1)所包含的自信 息量为1bit。
1 当p(0) p(1) 时， 2
代入式(2.1.3)就有
I (ai b j ) log p(ai ) log p(b j ) I (ai ) I (b j )
两个随机事件各自独立发生得到的自信息量之和。
（2.1.5）
说明两个随机事件相互独立时，同时发生得到的自信息量，等于这
3 条件自信息量：
条件概率对数的负值
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai )
必然事件
不可能事件
4
I (ai )是p(ai )的单调递减函数。
信源熵
I ( xi ) I ( xi | y j ) 信宿收到 y j 前对消息 xi 的先验不确定度 信宿收到 y j 后对消息 xi 的后验不确定度
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
4第二章3-熵的计算
q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系： 根据概率关系，可以得到联合熵与条件熵的关系： 联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
qபைடு நூலகம்
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值） 从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ） 由于信源 X 发出的符号序列中前后两个符号之间有依 由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号 赖性， 可以先求出在已知前面一个符号Xl＝ai时，信源输出 下一个符号的平均不确定性 的平均不确定性： 下一个符号的平均不确定性：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1） 平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、 有记忆平稳信源的联合熵、条件熵、平均符号熵 与无记忆信源熵之间的定量关系。 与无记忆信源熵之间的定量关系。
信息论 信源熵 (3)
3
平均互信息的非负性
Ic(X;Y) = Hc(X) – Hc(X/Y)
Ic(Y;X) = Hc(Y) – Hc(Y/X)
对称性—— Ic(X;Y) = Ic(Y;X) 非负性—— Ic(X;Y) ≥0 , Ic(Y;X) ≥0 条件熵不大于无条件熵
Hc(X/Y) ≤Hc(X) Hc(Y/X) ≤ Hc(Y)
§2.3.1 连续信源的熵
§2.3.2 几种特殊连续信源的熵
§2.3.3 连续信源熵的性质及
最大连续熵定理
§2.3.4 熵功率
1 2
连续信源熵可为负值
连续信源熵的可加性
H c ( XY ) = H c ( X ) H c (Y
X
)
H c ( XY ) = H c (Y ) H c ( X ) Y 推广到N个变量的情况
( x m)2 2 2
m为均值
xp( x)dx = m
2 2
为方差
2
( x m) p( x)dx =
2
当m = 0时
P = （平均功率）
H c ( X ) = p( x) log p( x)dx
1 = p( x) log( e 2
其它
假设任意信源概率密度q( x)
bN
aN
bN
p( x)da1da2 da N
a1
b1 a1
b1
= q( x)da1da2 da N = 1
aN
可以证明
H c q( x ), X H c p( x ), X
2 限平均功率的最大熵定理 平均功率为P，均值m受限，当信 源概率密度函数为正态分布时，具有最
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第2章信源熵--马尔科夫信源及极限熵
“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
第二章基本信息论6_连续信源的熵
说明：相比放大前，信 号放大后无穷大项小了 1/ 4 1比特，相对熵大了1比 特，而绝对熵保持不变。 0
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能 出现的消息数多于乙地可能出现的消息数。
18
III-2.条件熵
• 定义：
– 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为
H (X |yj) p (x i|yj)I(x i|yj)
X p(x)
x1, 0.99
x2 0.01
Y p(y)
y1, 0.5
y2 0.5
H (X ) 0 .9 lo 9 0 .9 g 0 9 .0 lo 1 0 .0 g 0 1 .0 比 8 /符 特
H (Y ) 0 .5 lo 0 .5 g 0 .5 lo 0 .5 g 1 比 /符 特 号
为整个信源的信息测度。
13
熵
有限值
信息量
可为无穷大
确定值 与信源是否输出无关
一般为随机量 接收后才得到信息
信源的平均不确定度 消除不定度得到信息
信源熵与信息量的比较
14
III-1.信源熵
• 信源熵具有以下三种物理含意：
– 信息熵H(X)表示信源输出后，每个离散消 息所提供的平均信息量。
– 信息熵H(X)表示信源输出前，信源的平均 不确定性。
含义
接收到某消息yj
后获得的关于事
件xi的信息量
4
互信息
• 互信息量
I(xi;yj)lo2gp(px(ix|iy)j) • 条件互信息量
I(xi;yj
zk)lo
gp(xi yjzk) p(xi zk)
• 联合互信息量
I(xi;yjzk)logp(xpi(xyij)zk)
5
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
得出：H(Y) ＞H(X) 信源Y比信源X的平均不确定性要大。
12
III-1.信源熵
• 信息熵：
–从平均意义上来表征信源的总体信息测度 的一个量。
• 自信息：
– 指某一信源发出某一消息所含有的信息量。 – 所发出的消息不同,它们所含有的信息量也
就不同。 – 自信息I (xi)是一个随机变量,不能用它来作
H (Y) 1lo1 g 0lo0 g0 比/符 特号
limεlogε=0
• 信源是一确定信源，所以不存在不确定性， 信息熵等于零。
17
(3) 甲、乙地天气预报为两极端情况：
pX(x)1晴 /4 1阴 /4 1雨 /4 1雪 /4
pY(y)1晴 /2,
雨 1/2
H(X)lo1g2比特 /符号 4
H(Y)lo1g1比特 /符号 2
– 信息熵H(X)反映了变量X的随机性。
区别：信源Leabharlann 表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的量度。
15
例2-7:
(1) 甲地天气预报
X 晴 阴雨雪 p(x)1/2 1/4 1/8 1/8
乙地天气预报
pY(y)7晴/8
雨 1/8
求：两地天气预报各自提供的平均信息量?
H (X ) 1 lo 1 g 1 lo 1 1 g lo 1 1 g lo 1 1 g .7比 5/符 特 2 24 48 88 8
• 离散信源熵H(X)
(平均不确定度/平均信息量/平均自信息量)
– 定义：
信源的平均不确定度H(X)为信源中各个符号 不确定度的数学期望，即：
H (X )p (x i)I(x i) p (x i)lo p (x ig )
i
i
单位为比特/符号或比特/符号序列
11
例如：有两个信源
其概率空间分别为：
8
• 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit
• 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit
• 如果每次摸出一个球后又放回袋中，再进行下 一次摸取。则如此摸取n次，红球出现的次数为 np(x1)次，白球出现的次数为 np (x2)次。随机摸 取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2)
i
– 在给定Y(即各个yj )条件下，X集合的条件熵H(X|Y)
H(X|Y) p(yj)H(X|yj) p(yj)p(xi|yj)I(xi|yj)
j
ij
p(xiyj)I(xi|yj)
ij
19
III-2.条件熵
• 条件熵是在联合符号集合(X,Y)上的条件自信息 量的联合概率加权统计平均值。
H (Y)7lo7 g1lo1 g0.5比 44/符 特号 8 88 8
• 甲地提供的平均信息量大于乙地
16
(2) 甲、乙地天气预报为两极端情况：
X 晴阴雨雪 p(x)1 0 0 0
Y 晴 雨 p(y)1 0
H (X ) 1 lo 1 0 lg o 0 0 lg o 0 0 lg o 0 0 比 g/符 特 号
• I、信息量
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
6
III、信源熵
9
• 平均随机摸取一次所获得的信息量为
H(X) 1n[np(x1)I(x1)np(x2)I(x2)] [p(x1)logp(x1) p(x2)logp(x2)]
2
p(xi)log2 p(xi) 0.72bit/符号 i1
H(X):平均信息量,称为信源X的熵。 信源熵、香农熵
10
III-1.信源熵
7
III-1.信源熵
例2-6:
一个布袋内放100个球，其中80个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色， 求平均摸取一次所能获得的自信息量？ 解: 依据题意，这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件。
第二章—3
信源熵
互信息
• 设有两个随机事件X和Y，X取值于信源发出的离 散消息集合，Y取值于信宿收到的离散符号集合
XPp(xx11)
x2 xn p(x2) p(xn)
YPp(yy11)
y2 yn p(y2) p(yn)
• 互信息定义：xi的后验概率与先验概率比值的 对数
I(xi;yj)lo2gp(px(ix|iy)j)