第6讲——连续信源的数学模型及其信息测度

−M
= −∫
M
p ( x) = 1 / 2M 于是有 − ∫− M p( x) ln p( x)dx ≤ ln 2M
M
最大连续熵定理
• 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内 取值，则X的相对熵
H c ( X ) ≤ ln 2 M
当且仅当X为均匀分布时等号成立。 • 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即 1 H c ( X ) ≤ ln 2π eσ = ln 2π eσ 2 2
最大连续熵定理
• 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内 取值，则X的相对熵 H c ( X ) ≤ ln 2 M 当且仅当X为均匀分布时等号成立。 • 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即 1 H c ( X ) ≤ ln 2π eσ = ln 2π eσ 2 2
时，等号成立。
将其代入两个约束条件，即可求得 ( x − m )2 − 1 2 p( x ) = e 2σ 2π σ 于是有 1 H c ( X ) ≤ ln 2π eσ = ln 2π eσ 2 2
5.4 熵功率
熵功率
当平均功率受限时，高斯分布信源的熵最大，若令 σ2 其平均功率为 ，则其熵为 1 H C ( X ) = ln 2π eσ 2 2 σ 2 ，则它的熵一定小于HC(X) 若另一信源的平均功率仍为 若平均功率为 σ 2的信源具有熵为HC(X)，则称熵为HC(X)的 高斯信源的平均功率为熵功率 σ 2
σ =
2
1 2π e
e2 HC ( X )
σ 2 ≥σ 2
连续信源的剩余度
• 平均功率受限时，一般信源的熵小于高斯分布信源的熵，
σ 2 总小于信号的实际平均功率σ 2。 所以信号的熵功率 σ 2 ≥σ 2
• 熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差 σ 2 − σ 2，称为连续信源的剩余度。
第六讲 连续信源的数学模型 及其测度
Review
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X)
第六讲 连续信源的数学模型 及其测度
5.1 连续信源的数学 模型
连续信源的数学模型
连续熵
考虑一个定义在在[a,b]区间的连续随机变量，如下图
p(x) p(xi) △
a
0 xi
b
x
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 X取值为xi的概率为p(xi).△ ，于是得到离散信源Xn的概 率源空间为：
x1 p(x1)△
a Δ →0
相对熵
连续熵
定义
H c ( X ) = − ∫ p ( x ) log p ( x ) dx
a b
1) 连续信源熵为相对熵，其值为绝对熵减去一个无穷 大量(因为连续信源有无穷多个状态） 2) 连续信源熵不具有非负性，可以为负值； 3) 连续信源熵不等于一个消息状态具有的平均信息 量，其值是有限的，而信息量是无限的； 4) 尽管连续信源的绝对熵为一个无穷大量，但信息论 的主要问题是信息传输问题，因此，当分析其互信 息量时是求两个熵的差，当采用相同的量化过程时， 两个无穷大量将被抵消，因而不影响分析。
−∞ −∞
∞ − λ1 − λ2 ( x − m )2
∞
∞
e e = ∫ p ( x) ln −∞ p ( x)
⎡ e − λ1 e − λ2 ( x − m ) ⎤ − 1⎥ dx dx ≤ ∫−∞ p ( x) ⎢ p( x) ⎢ ⎥ ⎣ ⎦
∞
2
当且仅当 p ( x) = e e
− λ1 − λ2 ( x − m )2
i =1 i =1 N N
与数学期望无关，仅与方差有关 • 高斯分布的连续信源的熵： 1 H c ( X ) = ln 2π eσ 2 2
连续熵的性质
• 性质
– 连续熵可为负值（连续熵的相对性所致） – 可加性 Hc ( XY) = Hc ( X ) + Hc (Y / X ) = Hc (Y ) + Hc ( X / Y ) – 平均互信息的非负性，对称性，信息处理定理
H ( X ) = lim{H ( X n )} = lim{−∑ p ( xi ) log p ( xi ) Δ − log Δ}
Δ →0 n →∞ b Δ →0 n→∞ i =1
i =1
绝对熵
= − ∫ p ( x ) log p ( x )dx − lim{log Δ} = H c ( X ) + ∞
连续熵
平均互信息量
I(X;Y) = HC(X) − HC (X | Y) = HC (Y) − HC (Y | X) = HC (X) + HC (Y) − HC (XY)
连续变量的联合熵和条件熵
H c ( X Y ) = − ∫∫ p ( xy ) log 2 p ( xy ) dxdy
xy
H c ( X / Y ) = − ∫∫ p ( xy ) log 2 p ( x / y ) dxdy
X ∈ (-M,M) H c ( X ) ≤ ln 2M
证明：应用拉格朗日乘因子法，首先构造函数 由相对熵定义，可得
−∫
M −M
Hc ( X ) − λ ∫
M
−M
p( x )dx
M
−∫
M
−M
p( x)ln eλ dx
p ( x) ln p ( x)dx − λ ∫
−M
p ( x)dx
p ( x) ln eλ p( x)dx −M M M ⎛ 1 ⎞ 1 = ∫ p ( x) ln λ − 1⎟ dx dx ≤ ∫ p ( x) ⎜ λ −M −M e p ( x) ⎝ e p ( x) ⎠ 2M = λ −1 e 1 = 1, 即p ( x) = e − λ 时，等号成立。 当且仅当 eλ p( x) M −λ 将其代入约束条件 ∫ p( x )dx = 1 可得 e = 1/ 2 M ，则有
Ic ( X ;Y ) ≥ 0 I c ( X ; Y ) = I c (Y ; X ) Ic ( X ; Z ) ≤ Ic ( X ;Y )
5.3 最大连续熵定理
最大连续熵定理
连续信源与离散信源不同，1) 它不存在绝对 最大熵;2) 其最大熵与信源的限制条件有关。
• 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内 取值，则X的相对熵 H c ( X ) ≤ ln 2 M 当且仅当X为均匀分布时等号成立。 • 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即 1 H c ( X ) ≤ ln 2π eσ = ln 2π eσ 2 2
x2 p(x2)△
… …
xn p(xn)△
x1 p(x1)△
其中
x2 p
∑
n
i =1
p ( x i )Δ =
∫
b a
p ( x)dx = 1
按离散信源熵定义 n
i =1 n
H ( X n ) = − ∑ [ p ( xi ) Δ ] log[ p ( xi ) Δ ]
xy
H c (Y / X ) = − ∫∫ p ( xy ) log 2 p ( y / x ) dxdy
xy
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : H c ( X ) = ln(b − a )
N 维均匀分布 : H c ( X ) = ln ∏ (bi − ai ) = ∑ ln(bi − ai )
例 题
设pXY是(xy)二维高斯概率密度函数
p XY ( xy ) = 1 2πσ x σ y ⎧ ⎡ ( x − mx ) 2 1 ⎪ exp⎨− 2 ⎢ 2 2 ⎪ 2(1 − ρ ) ⎣ σ x 1− ρ ⎩
−
2 ρ ( x − mx )( y − m y )
σ xσ y
( y − my )2 ⎤ ⎫ ⎪ + ⎥⎬ 2 σ y ⎥⎭ ⎦⎪
求X与Y的平均互信息。
作 业
2.28 2.29
本节小结
（内容见课本32-39页）
连续信源的数学模型
– 连续型随机变量或随机序列 – 随机过程
连续信源的相对熵
– 定义及含义 – 性质：可加性、极值性（最大熵定理）
平均互信息
– 定义、含义及性质
熵功率
= − ∑ p ( xi ) ⋅ Δ ⋅ log p ( xi ) − ∑ p ( xi ) ⋅ Δ ⋅ log Δ
n i =1 n i =1
= − ∑ p ( xi ) ⋅ log p ( xi ) ⋅ Δ − log Δ
当△→0，n→∞时，Xn接近于连续随机变量X，这时可 得连续信源的熵为： n
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。
⎡ X ⎤ ⎡ ( a, b) ⎤ ⎢ p( x) ⎥ = ⎢ p( x) ⎥ ⎣ ⎦ ⎣ ⎦ 并满足 ∫ p ( x)dx = 1
a b
5.2 连续信源的 信息测度
X的方差一定 H c ( X ) ≤ ln 2π eσ
证明：考虑到约束条件σ = ∫−∞ p( x )( x − m) dx < ∞ 和 ∫−∞ p( x )dx = 1