2.3连续信源
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论第二章(2)
5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论与编码-教案
教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：
1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟
2数据处理定理，讲解20分钟
3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟
4讲解练习题，讲解60分钟
作业及课外训练：2.17
参考资料（含参考书、文献等）：
课后自我总结分析：
周次
第6周，第9次课
编写时间
2009.10.2
章节名称
2.3连续信源—2.4离散无失真信源编码定理
教学目的与要求：
参考资料（含参考书、文献等）：
课后自我总结分析：
理解离散平稳信源条件熵和极限熵的性质至关重要。
周次
第4周，第7次课
编写时间
2009.9.18
章节名称
2.2.4马尔可夫信源
教学目的与要求：
掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。
教学重点和难点：
教学重点：马尔可夫信源的特点
教学难点：马尔可夫信源极限熵的求解
2相对率，讲解10分钟
3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。
1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟
2数据处理定理，讲解20分钟
3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟
4讲解练习题，讲解60分钟
作业及课外训练：2.17
参考资料（含参考书、文献等）：
课后自我总结分析：
周次
第6周，第9次课
编写时间
2009.10.2
章节名称
2.3连续信源—2.4离散无失真信源编码定理
教学目的与要求：
参考资料（含参考书、文献等）：
课后自我总结分析：
理解离散平稳信源条件熵和极限熵的性质至关重要。
周次
第4周，第7次课
编写时间
2009.9.18
章节名称
2.2.4马尔可夫信源
教学目的与要求：
掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。
教学重点和难点：
教学重点：马尔可夫信源的特点
教学难点：马尔可夫信源极限熵的求解
2相对率，讲解10分钟
3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论
【例1】计算只能输出“1”和“0”两个消息(状态)的 简单二元信源的熵。 解：假设p(1)=p, p(0)=1-p(0≤p≤1)
H ( x ) - p( xi ) log p( xi ) - p log p - (1- p) log(1- p)
i 1 N
(1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0
损失了 信息量 p( x2 | y1 ) 3/8 I ( x2 , y1 ) log = log = 0.415bit
p( x 2 | y2 ) 3/ 4 I ( x2 , y2 ) log = log =0.585bit p( x2 ) 1/ 2
2013-10-26 18
p1 p2 pN 1/ N
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 25
2.3 二元联合信源的共熵与条件熵
2013-10-26
26
2.3.1 二元联合信源的共熵
1.定义 二元联合信源的共熵是指二元联合信源(X,Y)输出 一个组合消息状态所发出的平均信息量，也称为 联合熵，记作H(x,y)。 2.表达式
2013-10-26 24
令： F
p1 F (1 log p2 ) 0 p2
(1 log p1 ) 0
F (1 log pN ) 0 pN
可得 代入到约束方程可得 因此
p1 p2 pN e 1
1 1 H ( x) k log (2.1) H ( x) log -log P log N (2.2) P P 对数可以取2、e、10为底，相应不确定程度的单位 分别为比特(bit)、奈特(nat) 、哈特莱(Hartley) 。
2.2 多符号离散信源的熵
16
17
（2）某时刻信源所处的状态由该时刻输出的符号 和前一时刻的状态唯一确定。
发akm1 发akm2 发......
ak1 ak2 akm ak2 akm akm1 ak3 akm1 akm2
Si Si+1 Si+2
问：m阶马尔可夫信源最多有多少种状态？ nm
所有的状态构成状态空间S，每种状态 以一定的概率发生，则得到的数学模型就是 Байду номын сангаас阶马尔可夫信源的数学模型。
10
解：
3
H ( X ) p(ai ) log p(ai ) 1.542bit / 符号
i 1
H ( X 2 | X 1 ) p(ai ) p(a j | ai ) log p(a j | ai ) 0.870bit / 符号
i 1 j 1
3
3
H ( X 2 ) H ( X 1 X 2 ) H ( X ) H ( X 2 / X 1 ) 2.412bit / 双符号 1 平均符号熵H N ( X ) H ( X N ) N 1 H 2 ( X ) H ( X 2 ) 1.206bit / 符号 2
20
则：
H H m 1 H ( S j | Si )
nm i , j 1 nm
令所有的状态组成一个状态集合Si 或Sj
p( si s j ) log p( s j | si ) p( si ) p( s j | si ) log p( s j | si )
所谓平稳是指序列的统计性质与时间的推移无关。
非平稳随机序列：信源每发一个符号的概率与时间起 点有关。 离散无记忆信源：信源序列的前后符号之间是统计独 立的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 i i
N
dx1 dxN
（2.3.10）
log 2 (bi ai )
i 1
可见，N维统计独立均匀分布连续信源的熵是N维区域体积的 对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的 体现，因为各维区域的边界决定了概率密度函数的总体形状。
H c ( X ) log 2 (bi ai )
i 1
n
lim H ( X ) lim p (ai ) log 2 p( ai ) lim p (ai ) log 2 n n n i i 0 0 0
p ( x ) log p ( x )dx lim( p (ai ) ) log 2
显然，当 b a 1 时，Hc(X)<0，这说明它不具备非负性。 但是连续信源输出的信息量H(X)由于有一个无限大量的存 在，H(X)仍大于0。
b
这里，仍将Hc(X)定义为连续信源的熵，理由有二：
一是由于它在形式上与离散熵相似 ;
离散熵： 连续熵：
H ( X ) p(ai ) log 2 p(ai )
3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之差为连续信源的平均互 信息。记为，即有
Ic ( X ;Y ) Hc ( X ) Hc ( X / Y )
I c (Y ; X ) H c (Y ) H c (Y / X )
连续信源的平均互信息仍保留了非负性，即
I C ( X ;Y ) I C (Y ; X ) 0
不能把它作为ห้องสมุดไป่ตู้息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵
为
H c ( X ) log 2 (b a)
若N维矢量中各分量彼此统计独立，且分别在的区域内均匀 分布，即有 N 1 , x (bi ai ) N i 1 (bi ai ) p ( x) i 1 N 0 , x (bi ai ) i 1
容易证明，连续信源的平均互信息也满足对称性，即
I C ( X ; Y ) I C (Y ; X )
连续信源也满足数据处理定理，把连续随机变量Y处理成另一 随机变量Z时，一般也会丢失信息。即
Ic ( X ;Y ) 0 I c ( X ; Y ) I c (Y ; X ) Ic ( X ; Z ) Ic ( X ;Y )
1 2 2
( x m )2 2 2
e
dx
p( x)( log 2
( x m) 2 2 2 )dx p( x)(log 2 e) dx 2 2
因为
p( x)dx 1
( x m) 2 1 p( x) 2 2 dx 2
指数分布的连续信源的熵为
H c ( X ) p ( x) log 2 p( x) dx
0
0
x 1 m p( x) log 2 e dx m
x 1 m p ( x) e m
m
m
0
p( x)dx 1
Hc ( X ) p( x)log 2 p( x)dx p( x) log 2 1 e x / m dx 0 0
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
可以证明，N维均匀分布连续信源的熵为
H c ( X ) H c ( X 1 X 2 X N ) p( x ) log 2 p( x )dx1 dx N
aN a1
bN
b1
aN a1 N
bN
b1
1
(b a )
i 1 i i
N
log 2
1
(b a )
当均值m=0时，X的方差σ2就是随机变量的平均功率，即
P x p( x)dx
2
由这样的随机变量X所代表的连续信源，称为高斯分布 的连续信源。
高斯分布连续信源的熵为
H c ( X ) p( x) log 2 p( x)dx p( x) log 2
I 1
N
H c ( X ) p( x ) log 2 p( x )dx
R
用积分代 替求和
p ( xi ) p ( x ),
dx
i 1 R
n
另一个更重要的原因是在于实际处理问题时，比如互信息、 信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互 信息。这时，只要相差的两个连续熵在逼近时可取的间隔Δ是 一致的，两个同样的无限大的尾巴就可以互相抵消。 可见，Hc(X)具有相对性，它是为了引入互信息等重要概念而 引入的一个过渡性的概念。
R X : p( x)
并满足 p( x)dx 1
R
其中，R是全实数集，是变量X的取值范围。 量化单位越小，则所得的离散变量和连续变量越接近。因 此，连续变量的信息度量可以用离散变量的信息度量来逼近.
p(u) p(x)
第i个区间
a uii
a a+(i-1)△ a+i△ b
u x
3.指数分布连续信源的熵
若一随机变量X的取值区间是[0，∞），其概率密度函数为
1 m p( x ) e m
x
( x 0)
则称X代表的单变量连续信源为指数分布的连续信源。其 中常数m是随机变量X的数学期望
E ( X ) xp ( x)dx
0
0
x 1 m x e dx m m
1 1 H c ( X ) log2 2 log2 e log2 2 e 2 所以 2 2 上式说明高斯连续信源的熵与数学期望m无关，只与方差σ 2 有关。
2
在介绍离散信源熵时讲过，熵描述的是信源的整体特性。
由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的 对称中心在横轴上发生平移，曲线的形状没有任何变化。也 就是说，数学期望m 对高斯信源的总体特性没有任何影响。 但是，若X的方差σ2不同，曲线的形状随之改变。所以， 高斯连续信源的熵与方差有关而与数学期望无关。这是信源 熵的总体特性的再度体现。
由于 则
log 2 x log 2 e ln x
H c ( X ) log 2 m
0
log 2 e p( x)dx 0 xp( x)dx log 2 me m
上式说明: 指数分布的连续信源的熵只取决于均值m.这一点很容易理
解，因为指数分布函数的均值，决定函数的总体特性.
令x∈[a,b]，且a<b，现将它均匀划分为n份，每份宽度为△ ＝（a-b）/n，则变量落在第i个区间的概率为pi，则
( a i△)
pi
使上式成立。
[ a ( i 1)△]
p( x)dx p(ai ) △
（中值定理）
即当p(x)为x的连续函数时，由中值定理，必存在一个ai值，
此时连续变量X就可以用取值为 xi (i
p( x )dx p( x )dx 1
a
b
再按照离散信源信息熵的定义有：
H ( X ) ( pi ) log 2 ( pi ) p( ai ) log 2 p( ai )
i 1 i 1 n n
p( ai ) log 2 p (ai ) log 2
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
R'
R2
H c (Y / X ) p( xy ) log 2 p ( y / x)dxdy
它们之间也有与离散信源一样的相互关系，并且可以得到有
R2
信息特征的互信息：
Hc( XY ) Hc( X ) Hc( X / Y ) Hc(Y ) H c (Y / X )
这样定义的熵虽然形式上和离散信源的熵相似，但在概念上
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
2. 高斯分布的连续信源的熵
设一维随机变量X的取值范围是整个实数轴R，概率密度 函数呈正态分布，即
N
dx1 dxN
（2.3.10）
log 2 (bi ai )
i 1
可见，N维统计独立均匀分布连续信源的熵是N维区域体积的 对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的 体现，因为各维区域的边界决定了概率密度函数的总体形状。
H c ( X ) log 2 (bi ai )
i 1
n
lim H ( X ) lim p (ai ) log 2 p( ai ) lim p (ai ) log 2 n n n i i 0 0 0
p ( x ) log p ( x )dx lim( p (ai ) ) log 2
显然，当 b a 1 时，Hc(X)<0，这说明它不具备非负性。 但是连续信源输出的信息量H(X)由于有一个无限大量的存 在，H(X)仍大于0。
b
这里，仍将Hc(X)定义为连续信源的熵，理由有二：
一是由于它在形式上与离散熵相似 ;
离散熵： 连续熵：
H ( X ) p(ai ) log 2 p(ai )
3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之差为连续信源的平均互 信息。记为，即有
Ic ( X ;Y ) Hc ( X ) Hc ( X / Y )
I c (Y ; X ) H c (Y ) H c (Y / X )
连续信源的平均互信息仍保留了非负性，即
I C ( X ;Y ) I C (Y ; X ) 0
不能把它作为ห้องสมุดไป่ตู้息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵
为
H c ( X ) log 2 (b a)
若N维矢量中各分量彼此统计独立，且分别在的区域内均匀 分布，即有 N 1 , x (bi ai ) N i 1 (bi ai ) p ( x) i 1 N 0 , x (bi ai ) i 1
容易证明，连续信源的平均互信息也满足对称性，即
I C ( X ; Y ) I C (Y ; X )
连续信源也满足数据处理定理，把连续随机变量Y处理成另一 随机变量Z时，一般也会丢失信息。即
Ic ( X ;Y ) 0 I c ( X ; Y ) I c (Y ; X ) Ic ( X ; Z ) Ic ( X ;Y )
1 2 2
( x m )2 2 2
e
dx
p( x)( log 2
( x m) 2 2 2 )dx p( x)(log 2 e) dx 2 2
因为
p( x)dx 1
( x m) 2 1 p( x) 2 2 dx 2
指数分布的连续信源的熵为
H c ( X ) p ( x) log 2 p( x) dx
0
0
x 1 m p( x) log 2 e dx m
x 1 m p ( x) e m
m
m
0
p( x)dx 1
Hc ( X ) p( x)log 2 p( x)dx p( x) log 2 1 e x / m dx 0 0
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
可以证明，N维均匀分布连续信源的熵为
H c ( X ) H c ( X 1 X 2 X N ) p( x ) log 2 p( x )dx1 dx N
aN a1
bN
b1
aN a1 N
bN
b1
1
(b a )
i 1 i i
N
log 2
1
(b a )
当均值m=0时，X的方差σ2就是随机变量的平均功率，即
P x p( x)dx
2
由这样的随机变量X所代表的连续信源，称为高斯分布 的连续信源。
高斯分布连续信源的熵为
H c ( X ) p( x) log 2 p( x)dx p( x) log 2
I 1
N
H c ( X ) p( x ) log 2 p( x )dx
R
用积分代 替求和
p ( xi ) p ( x ),
dx
i 1 R
n
另一个更重要的原因是在于实际处理问题时，比如互信息、 信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互 信息。这时，只要相差的两个连续熵在逼近时可取的间隔Δ是 一致的，两个同样的无限大的尾巴就可以互相抵消。 可见，Hc(X)具有相对性，它是为了引入互信息等重要概念而 引入的一个过渡性的概念。
R X : p( x)
并满足 p( x)dx 1
R
其中，R是全实数集，是变量X的取值范围。 量化单位越小，则所得的离散变量和连续变量越接近。因 此，连续变量的信息度量可以用离散变量的信息度量来逼近.
p(u) p(x)
第i个区间
a uii
a a+(i-1)△ a+i△ b
u x
3.指数分布连续信源的熵
若一随机变量X的取值区间是[0，∞），其概率密度函数为
1 m p( x ) e m
x
( x 0)
则称X代表的单变量连续信源为指数分布的连续信源。其 中常数m是随机变量X的数学期望
E ( X ) xp ( x)dx
0
0
x 1 m x e dx m m
1 1 H c ( X ) log2 2 log2 e log2 2 e 2 所以 2 2 上式说明高斯连续信源的熵与数学期望m无关，只与方差σ 2 有关。
2
在介绍离散信源熵时讲过，熵描述的是信源的整体特性。
由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的 对称中心在横轴上发生平移，曲线的形状没有任何变化。也 就是说，数学期望m 对高斯信源的总体特性没有任何影响。 但是，若X的方差σ2不同，曲线的形状随之改变。所以， 高斯连续信源的熵与方差有关而与数学期望无关。这是信源 熵的总体特性的再度体现。
由于 则
log 2 x log 2 e ln x
H c ( X ) log 2 m
0
log 2 e p( x)dx 0 xp( x)dx log 2 me m
上式说明: 指数分布的连续信源的熵只取决于均值m.这一点很容易理
解，因为指数分布函数的均值，决定函数的总体特性.
令x∈[a,b]，且a<b，现将它均匀划分为n份，每份宽度为△ ＝（a-b）/n，则变量落在第i个区间的概率为pi，则
( a i△)
pi
使上式成立。
[ a ( i 1)△]
p( x)dx p(ai ) △
（中值定理）
即当p(x)为x的连续函数时，由中值定理，必存在一个ai值，
此时连续变量X就可以用取值为 xi (i
p( x )dx p( x )dx 1
a
b
再按照离散信源信息熵的定义有：
H ( X ) ( pi ) log 2 ( pi ) p( ai ) log 2 p( ai )
i 1 i 1 n n
p( ai ) log 2 p (ai ) log 2
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
R'
R2
H c (Y / X ) p( xy ) log 2 p ( y / x)dxdy
它们之间也有与离散信源一样的相互关系，并且可以得到有
R2
信息特征的互信息：
Hc( XY ) Hc( X ) Hc( X / Y ) Hc(Y ) H c (Y / X )
这样定义的熵虽然形式上和离散信源的熵相似，但在概念上
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
2. 高斯分布的连续信源的熵
设一维随机变量X的取值范围是整个实数轴R，概率密度 函数呈正态分布，即