信息论第4讲——连续信源的数学模型及其信息测度
合集下载
信息论连续信源
其他连续熵的定义：
h( XY ) p( xy) log p( xy)dxdy
R2
h( X ) p( xy) log p( x )dxdy Y y 2
R
h(Y
y )dxdy ) p( xy) log p( X x 2
R
2.3.2 几种特殊连续信源的熵
1
均匀分布的连续信源的熵
n
0
lim log p ( x)dx
n
0
连续信源熵定义：
1
h( X ) p( x) log p( x)dx
为了在形式上与离散信源熵统一 熵差仍然具有信X ) H ( X ) Y
例
求均匀分布的连续信源熵
原因
2影响信源的整体特性，m
对整体特性无影响
3 指数分布的连续信源的熵
1 e x0 p ( x) m 0 其它 h( X ) p( x) log p( x)dx
x m
0
1 p( x) log( e )dx 0 m x log m p( x)dx log e p( x) dx 0 0 m log( me)
x m
2.3.3 连续熵的性质
1 2
连续信源熵可为负值 可加性
h( XY ) h ( X ) h (Y
X
)
h( XY ) h (Y ) h ( X ) Y
3
非负性
Ic ( X ;Y ) 0
4
对称性
I c ( X ;Y ) I c (Y ; X )
2.3.4 最大熵和熵功率
p( x i )
信息论第4章(波形信源和波形信道)ppt课件
05-06学年上 2 .
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
信源的数学模型及分类
X X1X2 XN 表示，又称为随机序列。
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
信息论基础第4章连续信源与连续信道
为极值时的 p(x) 。限制条件为
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
信息论2015-4
种坐标系的变换。
信源
X
信号处理
Y
信道
Y1 g1 ( X 1 , X 2 ,...X N ) Y g ( X , X ,...X ) 2 2 1 2 N YN g N ( X 1 , X 2 ,...X N )
平稳的连续信源输出信号为N维连续随机向量X=(X1,X2,…XN)，
率受限，则当输出信号的概率密度函数为高斯分布时，信源具有最大熵。 如果N维平稳随机序列信源，其输出信号的协方差矩阵受限，则当各个随 机分量为统计独立且为高斯分布时，信源具有最大熵。
5
3.4.1 连续信源的最大熵
如果N维连续平稳信源输出的N维连续随机序列X=(X1,X2,…XN)是高斯分布的，则称 此信源为N维高斯信源。
可以证明
X J Y
1 J Y X
因此有
X p ( x , x , , x ) dx dx dx p ( x , x , , x ) J dy1dy2 dy N N 1 2 N N A X 1 2 B X 1 2 Y
F ( x, p ) 0 求这个辅助函数关于信源概率密度函数的微分，根据极值的条件有 p
如果考虑m个约束方程，能够求得概率密度函数的解，就可以确定这个连续信源的 最大熵和所对应的信源概率密度分布p(x)。
2
3.4.1 连续信源的最大熵
（1）峰值功率受限的连续信源最大熵
若一个连续信源，其一维连续随机变量X的取值区间是[-v, v]，X在其中的概率密度 函数是p(x)，这时对应只有一个约束方程， v
p( y )
1 2k
2 2
e
( y a ) 2 / 2 k 2 2
信息论课件CHAPTER4
由于
h( X
)
h( X
/Y
)
p( xy) log
p( x / y)dxdy p( x)
p( xy)(1
p( x) )dxdy p(x | y)
0
仅当X、Y独立时等式成立。
4.1.5 连续随机变量集合差熵的性质(续) ——连续熵与离散熵的类似性
3. 可加性 设N维高斯随机矢量集合 XΝ X1X2 X N ,很容易证明
4.1.1 连续随机变量的离散化
一个连续随机变量的离散化过程大致如下：
若给定连续随机变量集合X 的概率分布F(x) P{X x} 或 概率密度p(x) ；再给定一个由实数集合到有限或可数集 合的划分 P ，使得
P {Si, i 1, 2, }，其中Si 表示离散区间，i Si 为实数集合，
主要是高斯信源的差熵；然后介绍连续信 源最大熵定理；最后介绍连续集合之间的 平均互信息、离散集合与连续集合的平均 互信息。
§4.1 连续随机变量集合的熵
本节主要内容：
1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度
4.1.5 连续随机变量集合差熵的性质 ——连续熵与离散熵的类似性
1. 连续熵与离散熵计算表达式类似。通过比较可见，由计算 离散熵到计算连续熵，不过是将离散概率变成概率密度， 将离散求和变成积分。
2. 熵的不增性。连续熵同样满足熵的不增原理，即
h( X ) h( X / Y )
(4.1.15)
i
p(xi )x log p(xi ) p(xi )x log x （4.1.5）
《信息论、编码及应用》课件第4章
RR R
当N=2时，得二维条件差熵为
(4-21)
h( X 2 | X1) p(x1x2 ) log p(x2 | x1) d x1 d x2
(4-22)
RR
和离散信源的信息熵一样，我们将在4.5节中证得以下各种差熵
之间的关系:
h(X2|X1)≤h(X2) 当且仅当相互独立时等式才成立。
(4-23)
n
n
H ( X n ) Pi log Pi p(i ) log[ p(i )]
i 1
i 1
n
n
p(i ) log p(i ) p(i ) log
i 1
i1
n
n
p(i ) log p(i ) (log ) p(i )
i 1
i1
(4-9)
n
p(i ) log p(i ) (log )
假设另有一个连续信源Y，其概率密度分布函数为p(y)， 取值区间为[c，d]，并且p(y)是y在取值区间[c，d]中的连续函 数。我们用同样的方法得到其对应的离散信源Ym如下：Biblioteka Ym P(Ym)
1
P1
2
P2
m
Pm
1 p(1
)
m j 1
Pj
m j 1
p( j )
1
2 m
p(2 )
ai p(x)d x (i 1,2,,n)
a(i1)
(4-6)
概率密度分布及其等间隔Δ分割离散化的示意图如图4-1所示。
第4章 连续信源与连续信道
图 4-1 概率密度分布及其等间隔Δ分割离散化的示意图
第4章 连续信源与连续信道
根据积分中值定理，在区间[a+(i－1)Δ，a+iΔ]中必定存 在一个ξi，满足
当N=2时，得二维条件差熵为
(4-21)
h( X 2 | X1) p(x1x2 ) log p(x2 | x1) d x1 d x2
(4-22)
RR
和离散信源的信息熵一样，我们将在4.5节中证得以下各种差熵
之间的关系:
h(X2|X1)≤h(X2) 当且仅当相互独立时等式才成立。
(4-23)
n
n
H ( X n ) Pi log Pi p(i ) log[ p(i )]
i 1
i 1
n
n
p(i ) log p(i ) p(i ) log
i 1
i1
n
n
p(i ) log p(i ) (log ) p(i )
i 1
i1
(4-9)
n
p(i ) log p(i ) (log )
假设另有一个连续信源Y，其概率密度分布函数为p(y)， 取值区间为[c，d]，并且p(y)是y在取值区间[c，d]中的连续函 数。我们用同样的方法得到其对应的离散信源Ym如下：Biblioteka Ym P(Ym)
1
P1
2
P2
m
Pm
1 p(1
)
m j 1
Pj
m j 1
p( j )
1
2 m
p(2 )
ai p(x)d x (i 1,2,,n)
a(i1)
(4-6)
概率密度分布及其等间隔Δ分割离散化的示意图如图4-1所示。
第4章 连续信源与连续信道
图 4-1 概率密度分布及其等间隔Δ分割离散化的示意图
第4章 连续信源与连续信道
根据积分中值定理，在区间[a+(i－1)Δ，a+iΔ]中必定存 在一个ξi，满足
连续信源
11
HUST --- Information and Coding Theory
联合熵、条件熵和平均交互信息量
设有两个连续随机变量X 和Y
定义
H (X ,Y )
p(xy) log p(xy)dxdy
式中p( xy)为二维联合概率密度。
定义
H (Y | X )
p(xy) log p( y | x)dxdy
F x1,x2 ,L ,xn;t1,t2 ,L ,tn PX (t1) x1, X (t2 ) x2,..., X (tn ) xn
若F x1,x2 ,L ,xn;t1,t2 ,L ,tn 的 n 阶偏导数存在，则有
p(x1x2 L
xn ;t1t2 L
tn
)
n
F (x1, x2 ,L x1x2
3
2.3.1连续信源的熵
HUST --- Information and Coding Theory
简单连续信源的模型可写为
X x
P
p(
x)
p( x)dx
1
假设x [a,b],令x (b a) / n,xi [a (i 1)x, a ix], 则连续信源模型可改写成离散信源模型
2.4 离散无失真信源编码定理
6
连续信源的熵
HUST --- Information and Coding Theory
例1：均匀分布随机变量的概率密度为
p(x)
b
1
a
0
求其熵。
a xb 其它
例2：求均值为m、方差为 2的高斯分布的熵。
7
HUST --- Information and Coding Theory
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五讲
连续
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X), I(X;Y) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
第五讲
连续信源的数学模型 及其测度
X 和Y 之间的平均互信息由定义有
I (X；Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
ln
1
1
1 2 2
(x mx )2
(1
2
)
2 x
2(x mx )( y my ) (1 2 ) x y
a
0 xi
bx
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△ ，于是得到离散信
源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
其中
n
p( xi )
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
X p(
x)
(a, b)
p(
x)
并满足
b
p(x)dx 1
a
连续熵
考虑一个定义在[a,b]区间的连续随机变量，如下图
p(x)
p(xi)
△
1) 相对熵为绝对熵减去一个无穷大量； 2) 相对熵不具有非负性，可以为负值； 3) 相对熵不等于一个消息状态具有的平均信息量； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信
息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。
连续熵
定义：连续变量的联合熵为
yR
W
( y)
p(x
/
y) log W ( y) p(x / y)dx p(x)W ( y)
连续变量X与离散变量Y联合联合熵、条件熵
Hc ( XY ) W ( y) p(x / y) logW ( y) p(x / y)dx yR
Hc ( X / Y ) W ( y) p(x / y) log p(x / y)dx yR
HC HC
HC
(X) (X)
(X)
0； 0;
0 .
例 令X是数学期望为m，方差为 2 的正态随机变量，求
它的熵。
解：将正态随机变量的概率密度
p(x)
1
2
exp
1
2
2
(x
m)2
HC (X )
p(x) ln
1
2
1
2 2
(
x
m)
2
dx
ln 2 1
2
1 ln2 e 2
2
它的值视 2 的大小可正、可负或零，且与数学期望无关。
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
(
X
n
)}
lim{
0 n
i
1
p(xi ) log
p(xi ) log }
a
p(x) log p(x)dx lim{log } 0
Hc(X)
相对熵
连续熵
定义:连续信源的相对熵为
b
Hc ( X ) a p(x) log p(x)dx
)
R2
p(x,
y)
log
q( x) w(
y)
dxdy
连续变量的联合熵、条件熵和互信息之间关系
Hc ( XY ) Hc ( X ) Hc (Y / X ) Hc ( XY ) Hc (Y ) Hc ( X / Y ) I(X ;Y) Hc(X ) Hc(X /Y) I ( X ;Y ) Hc (Y ) Hc (Y / X ) I ( X ;Y ) Hc ( X ) Hc (Y ) Hc ( XY )
pX (x) pXY (xy)dy R
R
1 2 x y
1
2
exp
1 2(1 2)
(x
mx )2
2 x
2(x
mx )( y x y
my )
(y
my )2
2 y
dy
exp
1
2
2 x
(
x
mx
)2
pY ( y) pXY (xy)dx
1
2 y
exp
1
2 y2
(x my )2
连续熵
条件平均互信息量
p(xy / z)
I
(
X
;Y
/
Z
)
R3
p(xyz)
log
q(
x
/
z)w(
y
/
z)
dxdydz
联合平均互信息量
I (XY; Z )
R3
p(xyz) log
p(xyz) p(xy)w(z)
dxdydz
连续熵与平均互信息量
连续变量X与离散变量Y的平均互信息量
I ( X ;Y )
b
p(x)dx 1
a
i 1
按离散信源熵定义
n
H ( X n ) [ p(xi )]log[ p(xi )]
i 1
n
n
p(xi ) log p(xi ) p(xi ) log
i n1
i 1
p(xi ) log p(xi ) log
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
例 令X是在区间(a，b)上为均匀分布的随机变量， 求X的熵。
解：x的概率密度为
p(x)
b
1
a
0
x (a, b) x (a, b)
b1
HC ( X )
log(b a)dx log(b a) a ba
注意:连续变量的微分熵不具有非负性
当b－a>1 b－a<1 b－a=1
时， 时， 时，
e
2
Hc(X )
1 log 2
M
N 2
log 2 e
连续熵实例
设pXY是(xy)二维高斯概率密度函数
pXY (xy)
2
1
x y
1 2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2
(
x
mx )(
x y
y
my
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : Hc ( X ) ln(b a)
N
N
N维均匀分布 : Hc ( X ) ln (bi ai ) ln(bi ai )
i 1
i 1
• 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关
Hc
(X
)
1 2
log
2
Hc (XY ) p(xy)log p(xy)dxdy R2
定义：连续变量的条件熵为
Hc ( X / Y ) @ p(xy) log p(x / y)dxdy R2
Hc (Y / X ) @ p(xy) log p( y / x)dxdy R2
连续熵
定义：平均互信息量为
p(x, y)
I
(
X
;Y
连续
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X), I(X;Y) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
第五讲
连续信源的数学模型 及其测度
X 和Y 之间的平均互信息由定义有
I (X；Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
ln
1
1
1 2 2
(x mx )2
(1
2
)
2 x
2(x mx )( y my ) (1 2 ) x y
a
0 xi
bx
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△ ，于是得到离散信
源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
其中
n
p( xi )
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
X p(
x)
(a, b)
p(
x)
并满足
b
p(x)dx 1
a
连续熵
考虑一个定义在[a,b]区间的连续随机变量，如下图
p(x)
p(xi)
△
1) 相对熵为绝对熵减去一个无穷大量； 2) 相对熵不具有非负性，可以为负值； 3) 相对熵不等于一个消息状态具有的平均信息量； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信
息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。
连续熵
定义：连续变量的联合熵为
yR
W
( y)
p(x
/
y) log W ( y) p(x / y)dx p(x)W ( y)
连续变量X与离散变量Y联合联合熵、条件熵
Hc ( XY ) W ( y) p(x / y) logW ( y) p(x / y)dx yR
Hc ( X / Y ) W ( y) p(x / y) log p(x / y)dx yR
HC HC
HC
(X) (X)
(X)
0； 0;
0 .
例 令X是数学期望为m，方差为 2 的正态随机变量，求
它的熵。
解：将正态随机变量的概率密度
p(x)
1
2
exp
1
2
2
(x
m)2
HC (X )
p(x) ln
1
2
1
2 2
(
x
m)
2
dx
ln 2 1
2
1 ln2 e 2
2
它的值视 2 的大小可正、可负或零，且与数学期望无关。
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
(
X
n
)}
lim{
0 n
i
1
p(xi ) log
p(xi ) log }
a
p(x) log p(x)dx lim{log } 0
Hc(X)
相对熵
连续熵
定义:连续信源的相对熵为
b
Hc ( X ) a p(x) log p(x)dx
)
R2
p(x,
y)
log
q( x) w(
y)
dxdy
连续变量的联合熵、条件熵和互信息之间关系
Hc ( XY ) Hc ( X ) Hc (Y / X ) Hc ( XY ) Hc (Y ) Hc ( X / Y ) I(X ;Y) Hc(X ) Hc(X /Y) I ( X ;Y ) Hc (Y ) Hc (Y / X ) I ( X ;Y ) Hc ( X ) Hc (Y ) Hc ( XY )
pX (x) pXY (xy)dy R
R
1 2 x y
1
2
exp
1 2(1 2)
(x
mx )2
2 x
2(x
mx )( y x y
my )
(y
my )2
2 y
dy
exp
1
2
2 x
(
x
mx
)2
pY ( y) pXY (xy)dx
1
2 y
exp
1
2 y2
(x my )2
连续熵
条件平均互信息量
p(xy / z)
I
(
X
;Y
/
Z
)
R3
p(xyz)
log
q(
x
/
z)w(
y
/
z)
dxdydz
联合平均互信息量
I (XY; Z )
R3
p(xyz) log
p(xyz) p(xy)w(z)
dxdydz
连续熵与平均互信息量
连续变量X与离散变量Y的平均互信息量
I ( X ;Y )
b
p(x)dx 1
a
i 1
按离散信源熵定义
n
H ( X n ) [ p(xi )]log[ p(xi )]
i 1
n
n
p(xi ) log p(xi ) p(xi ) log
i n1
i 1
p(xi ) log p(xi ) log
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
例 令X是在区间(a，b)上为均匀分布的随机变量， 求X的熵。
解：x的概率密度为
p(x)
b
1
a
0
x (a, b) x (a, b)
b1
HC ( X )
log(b a)dx log(b a) a ba
注意:连续变量的微分熵不具有非负性
当b－a>1 b－a<1 b－a=1
时， 时， 时，
e
2
Hc(X )
1 log 2
M
N 2
log 2 e
连续熵实例
设pXY是(xy)二维高斯概率密度函数
pXY (xy)
2
1
x y
1 2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2
(
x
mx )(
x y
y
my
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : Hc ( X ) ln(b a)
N
N
N维均匀分布 : Hc ( X ) ln (bi ai ) ln(bi ai )
i 1
i 1
• 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关
Hc
(X
)
1 2
log
2
Hc (XY ) p(xy)log p(xy)dxdy R2
定义：连续变量的条件熵为
Hc ( X / Y ) @ p(xy) log p(x / y)dxdy R2
Hc (Y / X ) @ p(xy) log p( y / x)dxdy R2
连续熵
定义：平均互信息量为
p(x, y)
I
(
X
;Y