第三章-4连续信源及信源熵
合集下载
信源熵
I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量： 在给定 zk 的条件下，xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率，X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率：由于信道受到干扰， 信宿收到 y j 后不但未使 xi 的不确定度 减少，反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )
信息论 第三章 信源及信源熵
• （1）求信源熵 • （2）求由m个“0”和（100-m）个“1”构成
的某一特定序列自信息量的表达式
• （3）计算由100个符号构成的符号序列的熵
• 3.3.2离散平稳有记忆信源 • 熵函数的链规则：
X x1，x2，，xN ,其中每个随机变量之间存在统计依赖关系。 H ( X ) H ( X1X 2 X N ) H ( X1) H ( X 2 X1) H ( X 3 X1X 2 ) H (X N X1X 2 X N1)
i
j
则称其具有遍历性，w
为平稳分布
j
• 遍历的马尔可夫信源熵率: • (1)齐次的马尔可夫信源:视作平稳的信源来处理 • 遍历的马尔可夫信源都是齐次的 • 遍历的马尔可夫信源:视作平稳的信源来处理 • (2) m阶马尔可夫信源: 只与最近的m个符号有关.
H
＝
lim
N
H
(
X
N
X1X 2 X N 1)
件不断增加，平均符号熵
及HN (条X) 件熵
• H ( X N X1X 2 X3 X N1) 均随之减少。
• 当 N 时 HN (X)=H ( X N X1X 2 X N1)
• 即为熵率，它表示信源输出的符合序列中，平均 每个符号所携带的信息熵。
• 求熵率的两种途径：
• 1.极限平均符号熵 • 2.极限条件熵
4
)
0
0.5
0
0 0.5 0
0.5 0 0.2
0.5 0
=(w 1
0.8
w2
w3
w4 )
0.2w1 0.5w 2
+0.5w3 =w2 +0.2w4 =w3
lim lim 现在令N ，则有H (X )
信源和信息熵
且：I(X1;X2)＝I(X2;X1)
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
2.6连续信源的熵
2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。
见图2.6.1。
各采样值的概率可用其概率分布密度函数来确定。
图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。
设各种采样值之间无相关性，信源熵可写成：])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。
连续信源的熵不再具有非负性，这与离散信源显然不同。
同样可以定义两个连续变量的联合熵：⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵；⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系：)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。
1．输出幅度范围受限（或瞬时功率受限）的信源2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。
设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。
在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了，在定义域有限的条件下，以均匀分布的熵为最大。
信息论与编码2-信源及信源熵
随机英文字母信源，其中每个英文字母出现的概率是固定的。
实例3
随机天气状况信源，其中晴天、雨天、雪天出现的概率分别是0.7、0.2、0.1。
实例1
随机二进制信源，其中每个二进制符号（0或1）出现的概率为0.5。
离散无记忆信源的实例
离散有记忆信源
03
离散有记忆信源是输出符号序列中符号与符号之间存在记忆关系的离散随机序列。
应用场景
广泛应用于网络通信、金融交易、军事通信等领域，保障信息安全和隐私。
加密通信
03
应用景
广泛应用于通信系统、数据存储等领域，如CD、DVD、硬盘等存储设备的纠错编码。
01
纠错原理
通过在数据中添加冗余信息，检测和纠正数据传输过程中的错误。
02
常见纠错编码
如奇偶校验码、海明码、循环冗余校验码等，这些编码利用数学原理对数据进行校验，确保数据的正确性。
纠错编码
THANKS
感谢观看
离散有记忆信源的输出符号之间存在统计依赖关系，这种关系会影响信息熵的计算。
定义
性质
离散有记忆信源的定义与性质
计算方法
条件熵
联合熵
离散有记忆信源熵的计算
离散有记忆信源熵是描述信源不确定性的度量，可以通过统计模型来计算。具体计算方法包括条件熵和联合熵等。
条件熵是在给定前一个或多个符号条件下，输出符号的熵。
应用场景
广泛应用于文件存储、网络传输、多媒体处理等领域，如JPEG图片压缩、MP3音频压缩等。
数据压缩原理
通过去除数据中的冗余信息，将数据压缩至更小的存储空间，提高存储和传输效率。
数据压缩
加密原理
通过特定的加密算法将明文转换为密文，确保信息在传输过程中的保密性。
实例3
随机天气状况信源，其中晴天、雨天、雪天出现的概率分别是0.7、0.2、0.1。
实例1
随机二进制信源，其中每个二进制符号（0或1）出现的概率为0.5。
离散无记忆信源的实例
离散有记忆信源
03
离散有记忆信源是输出符号序列中符号与符号之间存在记忆关系的离散随机序列。
应用场景
广泛应用于网络通信、金融交易、军事通信等领域，保障信息安全和隐私。
加密通信
03
应用景
广泛应用于通信系统、数据存储等领域，如CD、DVD、硬盘等存储设备的纠错编码。
01
纠错原理
通过在数据中添加冗余信息，检测和纠正数据传输过程中的错误。
02
常见纠错编码
如奇偶校验码、海明码、循环冗余校验码等，这些编码利用数学原理对数据进行校验，确保数据的正确性。
纠错编码
THANKS
感谢观看
离散有记忆信源的输出符号之间存在统计依赖关系，这种关系会影响信息熵的计算。
定义
性质
离散有记忆信源的定义与性质
计算方法
条件熵
联合熵
离散有记忆信源熵的计算
离散有记忆信源熵是描述信源不确定性的度量，可以通过统计模型来计算。具体计算方法包括条件熵和联合熵等。
条件熵是在给定前一个或多个符号条件下，输出符号的熵。
应用场景
广泛应用于文件存储、网络传输、多媒体处理等领域，如JPEG图片压缩、MP3音频压缩等。
数据压缩原理
通过去除数据中的冗余信息，将数据压缩至更小的存储空间，提高存储和传输效率。
数据压缩
加密原理
通过特定的加密算法将明文转换为密文，确保信息在传输过程中的保密性。
信息与编码第3章 信源及信源熵5
解：为了计算方便，假设每类中汉字出现 是等概的，得表
类别 1 2 3 4
汉字个数 140 625-140=485 2400-625=1775 7600
所占概率 0.5 0.85-0.5=0.35 0.997-0.85=0.147 0.003
每个汉字的概率 0.5/140 0.35/485 0.147/1775 0.003/7600
H1=H(X) =9.773 bit/汉字 H0=13.288 bit/汉字
1 H1 0.264
H0
分析
该例题是求在不考虑符号间相关性的条件下求 剩余度，所以只要求出信源熵和极大熵即可。
总结
1、信源的相关性 2、信源的利用率和剩余度
第三章 信源及信源熵
主要学习内容
一、信源的分类及其数学模型 二、离散单符号信源、离散多符号信源的概念
及其信源熵 三、离散平稳无记忆信源、离散平稳有记忆信
源的概念及其信源熵 四、马尔科夫信源及其信源熵 五、信源的相关性、利用率和剩余度
1、信源的相关性
含义：也就是信源输出符号间的相互依赖关系 如何度量：用信源符号的利用率和剩余度
剩余度产生的原因
1）信源符号间的相关性，相关度越大，符号间的依 赖关系就越大，信源的极限熵H∞就越小，剩余度就 越大。
2）信源输出消息的不等概分布使信源的极限熵H∞减 小。
当信源输出符号间不存在相关性，且输出符号的概 率分布为等概分布时，信源的极限熵H∞达到最大， 等于H0
英文信源
H0=4.76 H1=4.03 H2=3.32 H3=3.1
H5=1.65
H =1.4
H 1.4 0.29
H0 4.76
1 0.71
5种文字在不同近似程度下的熵
信息论第3章信源及信息熵
举例
数学描述
离散信源 （数字信源）
连续信号
文字、数据、 离散化图象
离散随机变量 序列
跳远比赛的结果、语音 连续随机变量
信号抽样以后
序列
波形信源 （模拟信源）
语音、音乐、热噪声、 图形、图象
不常见
随机过程
表3.1 信源的分类
3.1 信源的分类及其数学模型
我们还可以根据各维随机变量的概率分布是否随时间的推移 而变化将信源分为平稳信源和非平稳信源，根据随机变量间 是否统计独立将信源分为有记忆信源和无记忆信源。
定义3.2 随机变量序列中，对前N个随机变量的联合熵求平
均：
HN
(X)
1 N
H ( X1X 2
XN)
称为平均符号熵。如果当N
时上式极限存在，则
lim
N
H
N
(X)
称为熵率，或称为极限熵，记为
def
H
lim
N
H
N
(
X
)
3.3.1 离散平稳无记忆信源
离散平稳无记忆信源输出的符号序列是平稳随机序列，并且
H(X ) H(X1X2 XN ) H ( X1) H ( X2 | X1) H ( X3 | X1X 2 ) H ( X N | X1X 2 X N1)
定理3.1 对于离散平稳信源，有以下几个结论：
（1）条件熵 H (X N | X1X 2 X N1) 随N的增加是递减的；
（2）N给定时平均符号熵大于等于条件熵，即
s1
si p(s j
| si )
s q
m
状态空间由所有状态及状态间的状态转移概率组成。通过引
入状态转移概率，可以将对马尔可夫信源的研究转化为对马 尔可夫链的研究。
信源熵率及冗余度
第三章：信源、熵率及冗余度
问题一
? 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
? 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
? 熵率、冗余度
– 信源输出信息的有效表示
? 信源编码
问题二
? 从信息论的角度如何为信源建模？
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号 (或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维 离散型随机变量 X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－单符号离散信源的数学描述
? 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。
离散信源－多符号离散信源的数学描述
? 多符号离散信源可用随机矢量/随机变量序列描述， 即
X =X1X2X3…
? 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。来自离散信源－离散平稳信源
? 若每变而信 个 量且，源 随 随即输 机 机每出 变 矢个的量量随随XX的机机i (各变序i=1维量列,2概,XX…率=i的，分可N(Ｘ布)能都都１取是，与值取Ｘ时是值２间， 有离起限…散点的，的无或Ｘ离关可散Ｎ，数型也)的随中就机，。 是在任意两个不同时刻随机矢量 X的各维概率分布都相同。 这样的信源称为 离散平稳信源 。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。
问题一
? 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
? 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
? 熵率、冗余度
– 信源输出信息的有效表示
? 信源编码
问题二
? 从信息论的角度如何为信源建模？
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号 (或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维 离散型随机变量 X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－单符号离散信源的数学描述
? 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。
离散信源－多符号离散信源的数学描述
? 多符号离散信源可用随机矢量/随机变量序列描述， 即
X =X1X2X3…
? 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。来自离散信源－离散平稳信源
? 若每变而信 个 量且，源 随 随即输 机 机每出 变 矢个的量量随随XX的机机i (各变序i=1维量列,2概,XX…率=i的，分可N(Ｘ布)能都都１取是，与值取Ｘ时是值２间， 有离起限…散点的，的无或Ｘ离关可散Ｎ，数型也)的随中就机，。 是在任意两个不同时刻随机矢量 X的各维概率分布都相同。 这样的信源称为 离散平稳信源 。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
E [ X ] m
xp(x)dx
0
0
x
1 m
e
x m
d
x
m
指数分布连续信源的熵为
H c ( X ) 0 p ( x ) lo g 2 p ( x ) d x
0
p ( x) log 2
1 m
e
x m
d
x
lo g 2 m
0
p(x)dx
log 2 e m
xp(x)dx
0
log 2 m e
两种功率受限情况与噪声比较
峰值功率受限、均匀分布的连续信源熵最大；
平均功率受限、均值为零高斯分布的连续信源熵 最大；
在这两种情况下，信源的统计特性与两种常见噪 声—均匀噪声和高斯噪声的统计特性相一致。
从概念上讲这是合理的，因为噪声是一个最不确 定的随机过程，而最大的信息量只能从最不确定 的事件中获得。
H c(X ) H c(X1X 2 X N )
bN aN
b1 a1
p ( x) log 2
p (lo g d x a1
N
(bi ai )
1
2N
1
(bi ai )
dxN
i1
i1
N
log 2 (bi ai ) i1
N
lo g 2 (bi a i ) i1
ai
)
0
bi ai ，其均匀分布的概率密度函数为
N
x (bi ai) i1
N
x (bi ai) i1
定义q(x)为除均匀分布以外的其它任意概率密 度函数 Hc[p(x),X]表示均匀分布连续信源的熵 Hc[q(x),X]表示任意分布连续信源的熵
在 bN aN
b1 a1
p(x)dx1
dxN 1
（1） 连续信源定义
连续信源：输出消息在时间和取值上都连 续的信源。
例子：语音、电视等。 连续信源输出的消息是随机的，与随机过 程{x(t)}相对应。可用有限维概率密度函数 描述。
(2) 随机过程及其分类
① 随机过程 ② 随机过程的分类
① 随机过程
随机过程定义：随机过程{x(t)}可以看成由 一系列时间函数xi(t)所组成，其中 i=1,2,3,…，并称xi(t)为样本函数。
其 中 p ( x ) d x＝1 x p ( x ) d x＝ m
0
0
3.6.4 连续熵的性质 (1) 连续熵可为负值 (2) 连续熵的可加性 (3) 平均互信息的非负性 (4) 平均互信息的对称性和数据处理定理
3.6.5 最大连续熵定理
在不同的限制条件下，信源的最大熵也不同。 (1) 限峰值功率的最大熵定理 (2) 限平均功率的最大熵定理 (3) 均值受限条件下的最大熵定理
一维连续随机变量X在[a,b]区间内均匀分布 时的熵为 Hc(X)=log2(b-a)
若N维矢量X=(X1X2…XN)中各分量彼此统计独 立，且分别在[a1,b1][a2,b2] …[aN,bN]的区域内 均匀分布，即
1
N
p(x)
(bi i1
ai
)
0
N
x (bi ai ) i1
N
x (bi ai ) i1
2e
连续信源的剩余度
(P P)
R X: p(x)
并 满 足Rp(x)dx1
② 连续信源的熵
P a ( i 1 ) x a i a a ( ii 1 ) p (x )d x p x i
n
n
n
H(X) p(xi)log2 p(xi) p(xi)log2 p(xi) p(xi)log2
i1
i1
bN aN
b1 a1
q(x)dx1
dxN 1的条件下
Hc[q(x),
X]
bN aN
b1 a1
q(x)log2
q(x)dx1
dxN
bN aN
b1 a1
q(x)log2
q(1x)
p(x) p(x)
dx1
dxN
bN aN
b1 a1
q(x)log2
p(x)dx1
dxN
bN aN
b1 a1
1）连续信源熵并不是实际信源输出的绝对熵，是 相对熵
2）连续信源的绝对熵还有一项正的无限大量，虽 然log2(b-a)小于0，但两项相加还是正值，且一般 还是一个无限大量。因为连续信源的可能取值数 有无限多，若假定等概率，确知其输出值后所得 信息量也将为无限大；
3）Hc(X)不能代表信源的平均不确定度，也不能代 表连续信源输出的信息量
e)
(xm)2
22
dx
因为
p(x)dx 1,
p(x)
(xm)2
22
dx
1 2
所以
Hc(X) log2
22
1 2
log2
e
1 2
log2
2e2
(3) 指数分布的连续信源的熵
若一维随机变量X的取值区间是[0,∞)，其概 率密度函数为
p(x)
1 m
e
x m
(x 0) m是 X的 均 值
两个连续变量的条件熵
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy R2
3.6.3 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 (2) 高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵
(1) 均匀分布的连续信源的熵
i1
当n , 0时，若极限存在，即得连续信源的熵为
n
n
limH(X)
n 0
lim n 0
i1
p(xi )log2
p(xi ) lnim(log2
0
)
i1
p(xi )
b
b
a p(x)log2 p(x)dx lnim(log2 ) a p(x)dx
0
b
a p(x)log2 p(x)dx lnim(log2 )
（3）均值受限的最大熵定理
连续信源的均值受到限制时，则输出信号 的幅度呈指数分布时达到最大熵。
证明（课后自己练习）
3.6.6 熵功率 熵功率的定义 信源剩余度
熵功率定义
若平均功率为P的非高斯分布的信源具 有熵h(X)，称熵也为h(X)的高斯信源 的平均功率称为熵功率。
P 1 e2h(X)
p(x)dx1
q(x)dx1
xp(x)dxm
xq(x)dxm
x2p(x)dxP
x2q(x)dxP
随机变量X的方差E[(Xm)2]E[X2]m2 P2 m2 2
当均值m0时，平均功率P2
对平均功率和均值的限制就等于对方差的限制；
把平均功率受限的问题变成方差受限的问题来讨 论；
把平均功率受限当成是m=0情况下，方差受限的 特例。
4）这种定义可以与离散信源在形式上统一起 来；
5）在实际问题中常常讨论的是熵之间的差值 问题，如信息变差、平均互信息等。在讨 论熵差时，两个无限大量互相抵消。所以 熵差具有信息的特征；
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
H c(X Y) p(xy)log2p(xy)dxdy R 2
H c(X1) H c(X 2) H c(X N )
(2) 高斯分布的连续信源的熵
一维随机变量X的取值范围是整个实数轴R，概
率密度函数呈正态分布，即
p(x) e 1
( x2m2)2
22
m是X的均值
mE[X] xp(x)dx
2是X的方差 2 E[(X m)2] (xm)2 p(x)dx
当m0时，2就是随机变量的平均功率 P x2p(x)dx
由这样随机变量X所代表的信源称为高斯分布的连续信源。
这个连续信源的熵为
Hc(X) p(x)log2 p(x)dx
p(x)log2
1
e dx (
xm)2 22
22
p(x)(log2
22 )dx
p(x)(log2
q(x)log2
p(x) q(x)
dx1
dxN
令z
p(x) q(x)
，显然z
0，根据ln
z
z
1
log2 z log2 elnz得
Hc[q(x),
X]
bN aN
b1 a1
q(x)
log
1
N
(bi ai
)
dx1
dxN
i1
bN aN
b1 a1
q(x)
p(x) q(x)
1
dx1
dxN log2 e
N
log2 (bi ai)(11)log2 e Hc[p(x), X] i1
即Hc[q(x), X] Hc[p(x), X]
③说 明
在实际问题中，常令bi≥0,ai=-bi, i=1,2,…,N。 这种定义域边界的平移并不影响信源的总 体特性，因此不影响熵的取值；
此时，随机变量Xi(i=1,2, ,…,N)的取值就被 限制在±bi之间，峰值就是│bi│；
0
连续信源的熵
H c(X )Rp (x)lo g 2p (x)d x
③举 例
若连续信源的统计特性为均匀分布的概率密度
函数
p(x)b01a
axb xb,xa
则 Hc(X)－abb1alog2b1adxlog2(ba)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
④连续信源熵的意义
定义高斯分布的连续信源的熵记为Hc[p(x),X] 定义任意分布的连续信源的熵记为Hc[q(x),X] 已知Hc[p(x),X]=(1/2)log2(2πeσσ) 任意分布的连续信源的熵为