第6章 连续信源熵和信道容量
2.4连续信源熵
2.4 连续信源熵信源的数学模型信源的信息测度–随机变量、随机序列–简单离散信源：H(X)–离散无记忆信源：H ∞(X)–离散有记忆信源：H ∞(X)= H L (X)=H(X)离散信源≤H L (X) ≤H(X)复习输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
连续信源的数学模型(,)()()()1ba X ab p x p x p x dx ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦=∫并满足定义∫−=ba c dxx p x p X H )(log )()(1) 连续熵为相对熵，其值为绝对熵减去一个无穷大量(因为连续信源有无穷多个状态）2) 连续熵不具有非负性，可以为负值；4) 尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，因此，当分析其互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而不影响分析。
3) 连续熵不等于一个消息状态具有的平均信息量，其值是有限的，而信息量是无限的；连续熵连续变量的联合熵和条件熵222()()log ()(/)()log (/)(/)()log (/)c xyc xyc xyH XY p xy p xy dxdyH X Y p xy p x y dxdyH Y X p xy p y x dxdy=−=−=−∫∫∫∫∫∫连续熵(;)()(|)()(|)()()()C C C C C C C I X Y H X H X Y H Y H Y X H X H Y H X Y =−=−=+−平均互信息量–连续熵可为负值（连续熵的相对性所致）–可加性–平均互信息的非负性，对称性，信息处理定理)/()()/()()(Y X H Y H X Y H X H XY H ccccc+=+=连续熵的性质()()()()()()()()()()|||,(;)0(;)(;)(;)(;)c c c c c c c c c c c c c c c H X Y H X H Y X H Y H X YH Y X H Y H X Y H X H Y I X Y I X Y I Y X I X Z I X Y =+=+≤≤+≥=≤最大连续熵定理连续信源与离散信源不同，1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。
2.5 熵速率和信道容量
第 二 章 基 本 信 息 论
§2.5 熵速率和信道容量
三、无噪信道中的信道容量
2. 离散无噪信道的信道容量 离散无噪信道的信道容量 设离散无噪信道具有 种电平， 设离散无噪信道具有 K 种电平，即可传输 K 个不同 信道 的矩形脉冲， 的矩形脉冲，从而可传输 K 个不同的消息符号，则 个不同的消息符号， 信道容量 C = max{H′( X)} = max{nH( X)}.
2.10
为 0.01 秒, “划” 的长度为 0.04 秒。 “点” 和 “划” 出现 划 的概
试求信息速率为多少？ 率分别为 0.75 和 0.25, 试求信息速率为多少？ 若 “点” 和 解 (1) H ′( x ) ≈ 46.35875 (bit / s ) . 出现的概率相等，信息速率又为多少？ “划”出现的概率相等，信息速率又为多少？ (2) 设每秒可传输 n 个消息，则 个消息， 个， 秒， 0.5 × n × 0.01 + 0.5 × n × 0.04 = 1 (秒)，⇒ n = 40 (个)， 信息速率为： 信息速率为： ′( x ) = 40 × log 2 = 40 (bit / s ) . H 注 本例说明 虽然等概时熵最大 但熵速率不一定是最大的 本例说明, 虽然等概时熵最大, 但熵速率不一定是最大的, 因此, 利用熵速率刻画信源以及信道的特性要更好一些。 因此 利用熵速率刻画信源以及信道的特性要更好一些。 6
+∞
= −2 w ∫
+∞
−∞
p( x ) log p( x ) . (bi t / s)
9
第 二 章 基 本 信 息 论
§2.5 熵速率和信道容量
三、无噪信道中的信道容量
1. 信道容量的概念 信道容量的概念 信道容量主要用来刻画信道对信息熵的最大传输能力，即 信道容量主要用来刻画信道对信息熵的最大传输能力， 信道每秒钟到底能将多大的信息熵传递给信宿。 信道每秒钟到底能将多大的信息熵传递给信宿。 每秒钟到底能将多大的信息熵传递给信宿 对于无噪信道，它在自己可以传输的基本前提下， 对于无噪信道，它在自己可以传输的基本前提下，有能力 可以传输的基本前提下 以最大信源熵速率把信源的信息传递给信宿。 最大信源熵速率把信源的信息传递给信宿。 把信源的信息传递给信宿 对于有噪信道，它在自己可以传输的基本前提下， 对于有噪信道，它在自己可以传输的基本前提下，即使能 可以传输的基本前提下 以最大信源熵速率将信源的信息进行传递，但由于噪声的 以最大信源熵速率将信源的信息进行传递， 影响，实际传递给信宿的熵速率会降低。 影响，实际传递给信宿的熵速率会降低。因此这时要考虑 所谓的最大接收熵速率 最大接收熵速率。 所谓的最大接收熵速率。 10
连续信源和信道
b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,
2.6连续信源的熵
2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。
见图2.6.1。
各采样值的概率可用其概率分布密度函数来确定。
图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。
设各种采样值之间无相关性，信源熵可写成：])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。
连续信源的熵不再具有非负性，这与离散信源显然不同。
同样可以定义两个连续变量的联合熵：⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵；⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系：)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。
1．输出幅度范围受限（或瞬时功率受限）的信源2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。
设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ，并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。
在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了，在定义域有限的条件下，以均匀分布的熵为最大。
第6章 连续信源的熵、连续信道的平均互信息与信道容量
6.1 单符号连续信源的熵与微分熵
1、单符号连续信源
定义
信源发出的消息为单一符号，这些符号随机取值于 一个连续域
表示
连续型随机变量X
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX
随机变量X的取值x为信源发出的消息
定义
对应于单符号连续信源和单符号连续信宿的信道
表示
信源——连续型随机变量X 信宿——连续型随机变量Y
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX 随机变量X的取值x为信源发出的消息
Y y [c, d] 通常[c, d] [a , b] dP(Y y) p( Y y) p( y) dY 随机变量Y的取值y为信宿收到的消息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
第6章 连续信源的熵、连续信道的平均互信息 与信道容量
教学内容和要求
理解单符号连续信源及其模型，理解其熵，掌握 其微分熵 理解单符号连续信道及其模型，掌握其平均互信 息，理解其信道容量 掌握高斯信道的信道容量，香农公式
第6章 连续信源的熵、连续信道的平均互信息与信道容量
微分熵不能作为信息度量，平均互信息——微分熵 差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
I(X; Y) h(X) h(X / Y)
以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息
2.7 连续有噪信道中的熵速率和信道容量
13
第 二 章 基 本 信 息 论
§2.7 连续有噪信道中的熵速率和信道容量
例 某连续信道及信源的带宽均为 w = 5000 Hz，信道中存在 ， 加性零均值高斯噪声。 加性零均值高斯噪声。 信源的平均功率为 P = 18，噪声 ， 的平均功率为 N = 6。 。 (1) 求该信道的信道容量； 求该信道的信道容量；
a = −b , ⇒ 2 a = − 3b ,
a = 1/ 3, ⇒ b = −1 / 3 .
即连续信源的概率密度函数为
1e 3 p( x ) = 0,
− x 3,
x ≥ 0, x < 0,
15
第 二 章 基 本 信 息 论
§2.7 连续有噪信道中的熵速率和信道容量
第 二 章 基 本 信 息 论
§2.7 连续有噪信道中的熵速率和信道容量
二、连续有噪信道中的信道容量
3. 香农公式 首先，由于信道的噪声为加性(高斯)噪声， 噪声为加性 分析 首先，由于信道的噪声为加性(高斯)噪声，因此有
C = max{H′(Y )}− H′(Z) .
∀p( x)
H(Z) = log 2πe N .
12
第 二 章 基 本 信 息 论
§2.7 连续有噪信道中的熵速率和信道容量
已知一个平均功率受限的连续信号， 例 已知一个平均功率受限的连续信号，通过带宽 w = 1 M Hz 的高斯白噪声信道，试求： 的高斯白噪声信道，试求： (1) 若信噪比为 15，信道容量为多少 ，信道容量为多少? (2) 若信道容量不变，信噪比降为 7，信道带宽应为多少 若信道容量不变， ，信道带宽应为多少? 解 香农公式 C = w log (1 + P / N ) . (1) 信噪比为 P / N = 15，带宽为 w = 1 MHz =106 Hz， ， ， 故信道容量为 C = 106 log (1 + 15) = 4 × 106 (bit / s ). (2) 信噪比为 P / N = 7， 信道容量为 C = 4 × 106 , ， 故带宽应为 w =
2.4 连续信源的熵
+∞ +∞
−∞ −∞
p( x ) log p( x )dx − lim log ∆ ；
∆ →0
(2) 连续信源的相对熵定义为 连续信源的相对熵 相对熵定义为
H相 ( X ) = −∫
+∞ −∞
p( x ) log p( x )dx
记为
H(X ).
即连续信源的相对熵简称为连续信源的熵。 即连续信源的相对熵简称为连续信源的熵。 连续信源的熵 8
16
第 二 章 基 本 信 息 论
§2.4 连续信源的熵
三、连续信源的最大熵
2. 瞬时功率 或幅值)受限 瞬时功率(或幅值 受限 或幅值 约束条件 − V ≤ x ≤ V ,
∫
V
−V
p( x )dx = 1 .
结论 若信源输出的幅值限定在区域 [ −V ,V ] 内，则当输出 信号的概率密度是均匀分布时，信源具有最大熵。 信号的概率密度是均匀分布时，信源具有最大熵。 H max ( X ) = ln 2V ( na t )
∂F ∂ϕ 1 令 = −[1 + ln p( x )] + λ 1 = 0 , + λ1 ∂p ∂p
⇒ ln p( x ) = λ 1 − 1 ,
⇒ p( x ) = e λ 1−1 ,
代入
∫
V
−V
p( x )dx = 1 得
λ 1−1
∫
V
−V
e λ 1−1dx = e λ 1−1 2V = 1 ,
= log 2V (bi t ) .
1. 连续信源的离散化(逼近) 连续信源的离散化(逼近)
~ 离散化(或者说量化)为离散信源 或者说量化 连续信源 X 被离散化 或者说量化 为离散信源 X ：
第二章基本信息论7_熵速率和信道容量
R = n[ H ( X ) − H ( X / Y )] = 10000 × (1 − 0.0808) = 9192 比特/秒 < 9900 比特/秒
五、离散有噪信道的信道容量
♦ 离散有噪对称信道的信道容量
p p 信道矩阵为： N − 1 ⋮ p N −1 其中： p = 1 − p
p( y / x )：p(收 / 发) = p(1/ 0) = p(0 /1) = p = 0.01 p (收 / 发) = p(1/1) = p (0 / 0) = 1 − p = 0.99
p ( xy ) = p ( x ) p ( y / x )
1 p (01) = p (0) p (1/ 0) = p = 0.005 = p(10) 2 1 p (00) = p (0) p(0 / 0) = (1 − p ) = 0.495 = p (11) 2 H ( X / Y ) = − ∑∑ p ( xy )log p ( x / y ) p (0) = p (1) = 0.5 x y 且对称信道，则 1 1 = − p log p − (1 − p )log(1 − p ) p ( x / y ) = p ( y / x ) 2 2 1 1 − p log p − (1 − p )log(1 − p ) 2 2 = − p log p − (1 − p )log(1 − p ) = 0.0808 比特/符号
R = n ⋅ I ( X ;Y ) = I ' ( X ;Y )
= n [ H ( X ) − H ( X / Y )] = H ' ( X ) − H ' ( X / Y ) = n [ H (Y ) − H (Y / X ) ] = H (Y ) − H (Y / X )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x m
6.1.3 连续信源熵的性质和定理 1
连续信源熵可为负值 连续信源熵的可加性
2
H c ( XY ) H c ( X ) H c (Y X ) H c ( XY ) H c (Y ) H c ( X Y )
推广到N个变量的情况
H c ( X1 X 2
X N ) H c ( X1 ) H c ( X 2 X1 ) H c ( X 3 X1 X 2 ) H c ( X N X1 X 2 XN )
C max Ic ( X ;Y ) max Hc ( X ) Hc ( X Y ) max Hc (Y ) Hc ( X )
此情况下最大熵信源统计特 性与白噪声(均匀噪声)相同
(6.1.34)
18
2
限平均功率的最大熵定理
平均功率为P，均值m受限情况下，当信源 概率密度函数为正态分布时，具有最大熵。
p( x)
1 e 2 ( x m )2 2 2
,
p ( x )dx
q ( x )dx 1
第 6 章
连续信源熵和信道容量
1
6.1
连
续
信
源
熵
第6章
6.2
熵
功
率
6.3
连 续 信 道 的 信 道 容 量
2
平稳信源
统计特性与时间起点无关的 连续信源。
连续 信源
非平稳信源
遍历的随机过程
连续信源的分类
统计平均以概率1等于时间平
均的平稳随机过程。
3
时间平均：
1 lim T 2T
T
T
x(t )dt x(t )
x m
均值
(x 0)
0
H c ( X )
0
p( x) log 2 p( x)dx
0
log 2 m
p( x)dx log 2 e
0
1 p ( x) log 2 ( e )dx m x p ( x) dx log 2 (me) m
13
H c ( X ) log(bi ai )
i 1
N
(6.1.11)
Hc ( X N )
11
H c ( X1) H c ( X 2 )
2
高斯分布的连续信源的熵
概率密度函数： 均值：m
p( x)
1 e 2
( x m )2 2 2
xp( x)dx
H ( X ) p (ai ) log p (ai ) p (ai ) log p (ai ) p (ai ) log
i 1 i 1 n
lim H ( X )
n
0
p ( x) log p ( x)dx lim log
统计平均：
E X t i xp( x)dx
E X ti x (t )
满足上述条件的{x(t)}称为遍历的随机过程。
4
6.1.1 连续信源熵的定义
计算连续信源熵的两种方法：
1
2
将连续信源离散化，再用离散熵计算；
先进行抽样，再把抽样序列看作量化 单位△趋于0时的情况， 然后定义计算信源熵。
证明过程和方法与离散信源类似。
(6.1.30a) (6.1.30b)
连续信源的平均互信息量也满足对称性。
I c ( X ;Y ) I c (Y ; X )
连续信源的平均互信息量还满足数据处理定理。
(6.1.31)
I c ( X ; Z ) I c ( X ;Y ), I c ( X ; Z ) I c (Y ; Z )
并满足
p( x)dx 1
ba n
p ( x)
a
a (i 1)
xi
a i
b
x
6
图6.1.1 概率密度函数
中值定理：
P(a (i 1) X a i)
n i 1 n
a i
a ( i 1)
p( x)dx p( xi )
n
0
p ( x)dx
7
连续信源熵(相对熵)定义：
为了在形式上与离散信源熵统一，定义连续信源熵。
H c ( X )
熵差仍然具有信息的特征:
p( x) log p( x)dx
(6.1.6)
Ic ( X ; Y ) Hc ( X ) Hc ( X Y ) 1 a xb p ( x) b a x b, x a 0 b b 1 1 H c ( X ) p( x) log 2 p( x)dx log 2 dx a a ba ba log 2 (b a) , (b a) 1 均匀分布的连续信源熵
具有最大连续熵。
因为噪声是一个最不确定的随机过程，而最大的信息量只能从 最不确定的事件中获得。
3 均值受限条件下的最大连续熵定理
连续信源输出非负信号的均值受限条件
下，指数分布的连续信源具有最大熵。
21
1 m p ( x) e , x 0 m
x
H c max X log 2 me
xp( x)dx
2
xq( x)dx m
2 2
( x m) p( x)dx ( x m) q( x)dx
19
1 p ( x) H c q( x), x q( x)log 2 q( x)dx q( x)log 2 dx q ( x) p ( x)
最大熵 实际熵
(6.2.1)
实际信源熵可理解为最大熵与信息变差之间的差值
Hc [q( x), X ] H c [ p( x), X ] I p,q
均值为0，平均功率P受限的最大熵为
1 H c [ p ( x), X ] log 2 2eP 2
(6.2.2)
(6.2.3)
如果受限的平均功率下调为 P，则 1 1 H c [ p ( x), X P ] log 2 2eP log 2 2eP H c [ p( x), X ] 2 2
一维概率密度函数(边缘概率密度函数)：
dF ( x) p( x) pX ( x) dx dF ( y ) p( y ) pY ( y ) dy
F ( x ) : X的概率分布函数。
F ( y) :
Y的概率分布函数。
5
单变量连续信源的数学模型为：
R X : p ( x)
均值
连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件 有关。在不同的限制条件下，有不同的最大连续熵。
22
6.1
连6章
6.2
熵
功
率
6.3
连 续 信 道 的 信 道 容 量
23
信息变差(信源冗余度) I p,q H c [ p( x), X ] H c [q( x), X ]
14
证明：
H c ( XY ) p( xy ) log 2 p( xy )dxdy
R2
p( xy ) log 2 p( x)dxdy p( xy ) log 2 p( y x)dxdy
R2 R2
p ( xy )dy log 2 p ( x)dx p ( xy ) log 2 p ( y x)dxdy
(6.1.32)
16
4
最大连续熵定理 1 限峰值功率的最大熵定理 若代表信源的N维随机变量取值被限定在一定范围 内，在有限定义域内均匀分布的连续信源有最大熵。
X (ai ; bi ), bi ai
i 1
N
1 N (ai ; bi ) p( x) i 1 0
log 2 22
p ( x)dx log e
( x m) 2 2 p( x) dx log 2 e 2 2 2
12
高斯信源的熵仅与方差有关。
原因
3
影响信源的整体特性，m对整体特性无影响。
2
指数分布的连续信源的熵
1 p ( x) e m
R2 R2
p ( x) log 2 p( x)dx p ( xy ) log 2 p( y x)dxdy
R R2
H c ( X ) H c (Y X )
15
3
平均互信息量的非负性
I c ( X ;Y ) H c ( X ) H c ( X Y ) 0 I c (Y ; X ) H c (Y ) H c (Y X ) 0
任 意 分 布
p ( x) q( x)log 2 p( x)dx q( x)log 2 dx q ( x)
q( x)log 2
1 22
dx q( x)log 2 e
( x m )2 2 2
R2
9
6.1.2 几种特殊连续信源的信源熵 1
均匀分布的连续信源的熵 一维： log 2 (b a) N维：
X X1 X 2 X N
1 N (bi ai ) p( x ) i 1 0
x (bi ai )
i 1 N
N
x (bi ai )