第三章-4连续信源及信源熵

两个连续变量的条件熵
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy R2
3.6.3 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 (2) 高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵
(1) 均匀分布的连续信源的熵
定义高斯分布的连续信源的熵记为Hc[p(x),X] 定义任意分布的连续信源的熵记为Hc[q(x),X] 已知Hc[p(x),X]=(1/2)log2(2πeσσ) 任意分布的连续信源的熵为
③说 明
当连续信源输出信号的均值为零、平均功率受限 时，只有信源输出信号的幅度呈高斯分布时，才 会有最大熵值。
4）这种定义可以与离散信源在形式上统一起 来；
5）在实际问题中常常讨论的是熵之间的差值 问题，如信息变差、平均互信息等。在讨 论熵差时，两个无限大量互相抵消。所以 熵差具有信息的特征；
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
H c(X Y) p(xy)log2p(xy)dxdy R 2
p(x)dx1
q(x)dx1
xp(x)dxm
xq(x)dxm
x2p(x)dxP
x2q(x)dxP
随机变量X的方差E[(Xm)2]E[X2]m2 P2 m2 2
当均值m0时，平均功率P2
对平均功率和均值的限制就等于对方差的限制；
把平均功率受限的问题变成方差受限的问题来讨 论；
把平均功率受限当成是m=0情况下，方差受限的 特例。
0
连续信源的熵
H c(X )Rp (x)lo g 2p (x)d x
③举 例
若连续信源的统计特性为均匀分布的概率密度
函数
p(x)b01a
axb xb,xa
则 Hc(X)－abb1alog2b1adxlog2(ba)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
④连续信源熵的意义
② 随机过程的分类
可以分为两类：根据统计特性，连续随机 过程可分为平稳与非平稳随机过程两大类。
(3) 通信系统中的信号
一般认为，通信系统中的信号都是平稳的 随机过程。
(4) 平稳遍历的随机过程
随机过程{x(t)}中某一样本函数x(t)的时间平均
值定义：
T
x(t)Tli m21T
x(t)dt
当m0时，2就是随机变量的平均功率 P x2p(x)dx
由这样随机变量X所代表的信源称为高斯分布的连续信源。
这个连续信源的熵为
Hc(X) p(x)log2 p(x)dx
p(x)log2
1
e dx (
xm)2 22
22
p(x)(log2
22 )dx
p(x)(log2
bN aN
b1 a1
q(x)dx1
dxN 1的条件下
Hc[q(x),
X]
bN aN
b1 a1
q(x)log2
q(x)dx1
dxN
bN aN
b1 a1
q(x)log2
q(1x)
p(x) p(x)
dx1
dxN
bN aN
b1 a1
q(x)log2
p(x)dx1
dxN
bN aN
b1 a1
(1) 限峰值功率的最大熵定理 ① 限峰值功率的最大熵定理 ② 证明过程 ③ 说明
① 限峰值功率的最大熵定理
若代表信源的N维随机变量的取值被限制在 一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。
② 证明过程 设N维随机变量
N
X (ai,bi) i1
1
N
p(x)
(bi i1
2e
连续信源的剩余度
(P P)
一维连续随机变量X在[a,b]区间内均匀分布 时的熵为 Hc(X)=log2(b-a)
若N维矢量X=(X1X2…XN)中各分量彼此统计独 立，且分别在[a1,b1][a2,b2] …[aN,bN]的区域内 均匀分布，即
1
N
p(x)
(bi i1
ai
)
0
N
x (bi ai ) i1
N
x (bi ai ) i1
H c(X1) H c(X 2) H c(X N )
(2) 高斯分布的连续信源的熵
一维随机变量X的取值范围是整个实数轴R，概
率密度函数呈正态分布，即
p(x) e 1
( x2m2)2
22
m是X的均值
mE[X] xp(x)dx
2是X的方差 2 E[(X m)2] (xm)2 p(x)dx
q(x)log2
p(x) q(x)
dx1
dxN
令z
p(x) q(x)
，显然z
0，根据ln
z
z
1
log2 z log2 elnz得
Hc[q(x),
X]
bN aN
b1 a1
q(x)
log
1
N
(bi ai
)
dx1
dxN
i1
bN aN
b1 a1
q(x)
p(x) q(x)
1
dx1
dxN log2 e
第二种方法：通过时间抽样把连续消息变 换成时间离散的函数，它是未经幅度量化 的抽样脉冲序列，可看成是量化单位Δx趋 近于零的情况来定义和计算连续信源熵。
(2) 连续信源的熵 ① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
① 单变量连续信源数学模型 单变量连续信源数学模型
N
log2 (bi ai)(11)log2 e Hc[p(x), X] i1
即Hc[q(x), X] Hc[p(x), X]
③说 明
在实际问题中，常令bi≥0,ai=-bi, i=1,2,…,N。 这种定义域边界的平移并不影响信源的总 体特性，因此不影响熵的取值；
此时，随机变量Xi(i=1,2, ,…,N)的取值就被 限制在±bi之间，峰值就是│bi│；
两种功率受限情况与噪声比较
峰值功率受限、均匀分布的连续信源熵最大；
平均功率受限、均值为零高斯分布的连续信源熵 最大；
在这两种情况下，信源的统计特性与两种常见噪 声—均匀噪声和高斯噪声的统计特性相一致。
从概念上讲这是合理的，因为噪声是一个最不确 定的随机过程，而最大的信息量只能从最不确定 的事件中获得。
3.6 连续信源及信源熵
3.6.1 一些基本概念 3.6.2 连续信源的熵 3.6.3 几种特殊连续信源的熵 3.6.4 连续熵的性质 3.6.5 最大连续熵定理
3.6.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程
E [ X ] m
xp(x)dx
0
0
x
1 m
e
x m
d
x
m
指数分布连续信源的熵为
H c ( X ) 0 p ( x ) lo g 2 p ( x ) d x
0
p ( x) log 2
1 m
e
x m
d
x
lo g 2 m
0
p(x)dx
log 2 e m
xp(x)dx
0
log 2 m e
e)
(xm)2
22
dx
因为
p(x)dx 1,
p(x)
(xm)2
22
dx
1 2
所以
Hc(X) log2
22
1 2
log2
e
1 2
log2
2e2
(3) 指数分布的连续信源的熵
若一维随机变量X的取值区间是[0,∞)，其概 率密度函数为
p(x)
1 m
e
x m
(x 0) m是 X的 均 值
T
统计平均值：
E(xti
)
xp(t)dx
wk.baidu.com
遍历的随机过程：时间平均与统计平均相等，
即
x(t)E(xti )
3.6.2 连续信源的熵
(1) 计算连续信源熵的两种方法 (2) 连续信源的熵 (3) 连续信源的联合熵、条件熵
(1) 计算连续信源熵的两种方法
第一种方法：把连续消息经过时间抽样和 幅度量化变成离散消息，再用前面介绍的 计算离散信源的方法进行计算。即把连续 消息变成离散消息求信源熵
其 中 p ( x ) d x＝1 x p ( x ) d x＝ m
0
0
3.6.4 连续熵的性质 (1) 连续熵可为负值 (2) 连续熵的可加性 (3) 平均互信息的非负性 (4) 平均互信息的对称性和数据处理定理
3.6.5 最大连续熵定理
在不同的限制条件下，信源的最大熵也不同。 (1) 限峰值功率的最大熵定理 (2) 限平均功率的最大熵定理 (3) 均值受限条件下的最大熵定理
R X: p(x)
并 满 足Rp(x)dx1
② 连续信源的熵
P a ( i 1 ) x a i a a ( ii 1 ) p (x )d x p x i
n
n
n
H(X) p(xi)log2 p(xi) p(xi)log2 p(xi) p(xi)log2
i1
i1
（1） 连续信源定义
连续信源：输出消息在时间和取值上都连 续的信源。
例子：语音、电视等。 连续信源输出的消息是随机的，与随机过 程{x(t)}相对应。可用有限维概率密度函数 描述。
(2) 随机过程及其分类
① 随机过程 ② 随机过程的分类
① 随机过程
随机过程定义：随机过程{x(t)}可以看成由 一系列时间函数xi(t)所组成，其中 i=1,2,3,…，并称xi(t)为样本函数。
1）连续信源熵并不是实际信源输出的绝对熵，是 相对熵
2）连续信源的绝对熵还有一项正的无限大量，虽 然log2(b-a)小于0，但两项相加还是正值，且一般 还是一个无限大量。因为连续信源的可能取值数 有无限多，若假定等概率，确知其输出值后所得 信息量也将为无限大；
3）Hc(X)不能代表信源的平均不确定度，也不能代 表连续信源输出的信息量
H c(X ) H c(X1X 2 X N )
bN aN
b1 a1
p ( x) log 2
p ( x)dx1
dxN
bN aN
b1
1
lo g d x a1
N
(bi ai )
1
2N
1
(bi ai )
dxN
i1
i1
N
log 2 (bi ai ) i1
N
lo g 2 (bi a i ) i1
（3）均值受限的最大熵定理
连续信源的均值受到限制时，则输出信号 的幅度呈指数分布时达到最大熵。
证明（课后自己练习）
3.6.6 熵功率 熵功率的定义 信源剩余度
熵功率定义
若平均功率为P的非高斯分布的信源具 有熵h(X)，称熵也为h(X)的高斯信源 的平均功率称为熵功率。
P 1 e2h(X)
ai
)
0
bi ai ，其均匀分布的概率密度函数为
N
x (bi ai) i1
N
x (bi ai) i1
定义q(x)为除均匀分布以外的其它任意概率密 度函数 Hc[p(x),X]表示均匀分布连续信源的熵 Hc[q(x),X]表示任意分布连续信源的熵
在 bN aN
b1 a1
p(x)dx1
dxN 1
i1
当n , 0时，若极限存在，即得连续信源的熵为
n
n
limH(X)
n 0
lim n 0
i1
p(xi )log2
p(xi ) lnim(log2
0
)
i1
p(xi )
b
b
a p(x)log2 p(x)dx lnim(log2 ) a p(x)dx
0
b
a p(x)log2 p(x)dx lnim(log2 )
① 限平均功率的最大熵定理 ② 证明过程 ③ 说明
① 限平均功率的最大熵定理
若信源输出信号的平均功率P和均值m 被限定，则输出信号幅度的概率密度函数 为高斯分布时，信源具有最大熵值。
② 证明过程
单变量连续信源X呈高斯分布时的概率密 度函数为
p(x) e 1
(x2m2)2
22
当X是高斯分布以外其它任意分布时，概率密度函数记为q(x)。由约束条件知
如果把取值看作输出信号的幅度，则相应 的峰值功率为2bi；
所以上述定理被称为峰值功率受限条件下 的最大连续熵定理，简称限峰值功率的最 大熵定理。此时最大熵值为
N
N
H c[p (x ),X ] lo g 2 [b i ( b i)] lo g 2 2 b i
i 1
i 1
(2) 限平均功率的最大熵定理