第6章连续信源的熵连续信道的平均互信息与信道容量
合集下载
第6章 连续信源熵和信道容量
x m
6.1.3 连续信源熵的性质和定理 1
连续信源熵可为负值 连续信源熵的可加性
2
H c ( XY ) H c ( X ) H c (Y X ) H c ( XY ) H c (Y ) H c ( X Y )
推广到N个变量的情况
H c ( X1 X 2
X N ) H c ( X1 ) H c ( X 2 X1 ) H c ( X 3 X1 X 2 ) H c ( X N X1 X 2 XN )
C max Ic ( X ;Y ) max Hc ( X ) Hc ( X Y ) max Hc (Y ) Hc ( X )
此情况下最大熵信源统计特 性与白噪声(均匀噪声)相同
(6.1.34)
18
2
限平均功率的最大熵定理
平均功率为P，均值m受限情况下，当信源 概率密度函数为正态分布时，具有最大熵。
p( x)
1 e 2 ( x m )2 2 2
,
p ( x )dx
q ( x )dx 1
第 6 章
连续信源熵和信道容量
1
6.1
连
续
信
源
熵
第6章
6.2
熵
功
率
6.3
连 续 信 道 的 信 道 容 量
2
平稳信源
统计特性与时间起点无关的 连续信源。
连续 信源
非平稳信源
遍历的随机过程
连续信源的分类
统计平均以概率1等于时间平
均的平稳随机过程。
3
时间平均：
1 lim T 2T
T
T
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
连续信源和信道
b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,
《平均互信息》PPT课件
p(x)
p(x| y)
平均条件互信息：
I(X;Y|Z) P(xy)zlogP(x| yz)
XYZ
P(x| z)
P(xy)zlog P(xy| z)
XYZ
P(x| z)P(y| z)
I(X;YZ ) P(xy)lzoP g(x|y)z
XYZ
P(x)
I(X;YZ )H(X)H(X|YZ ) I(X;Y)I(X;Z|Y)
1-p
Y 0=b1
1=b2
1p p 1pp
P (M 1)P (M 2)P (M 3)P (M 4) 1/4 , P (0|M 1)P (0|0 )1p
输入M1和第一个输出符号0的联合概率为 P ( M 1 ,0 ) P ( M 1 ) P ( 0 |M 1 ) ( 1 /4 )1 (p )
根据信道特性，输出第一个符号为0的概率为
I(X;Y) P(xy)logP(x| y)
X ,Y
P(x)
P(xy)log P(xy) P(xy)logP(x)P(y)
x,Y
P(x)P(y) X,Y
P(xy)
logP(xy) P(x)P(y) logP(x)P(y) 0
x, y
P(xy)
x, y
I(X;Y) 0
但非平均互信息可能为负值。 互信息量＝log（后验概率）－log（先验概率）。
I(x i;y j) I(x i) I(y j) I(x iy j)
H（X|Y） I(X;Y)
H（Y|X）
H（X，Y）
H(X|Y) 常称为疑义度、含糊度，－－损失熵 它表示观察到Y后，集X还保留的不确定性。
H(Y|X) 常称为散布度，－－噪声熵（由噪声引起） 它表示由于干扰的影响，使观察的Y存在的 平均不确定性。
第6章 连续信源的熵、连续信道的平均互信息与信道容量
6.1 单符号连续信源的熵与微分熵
1、单符号连续信源
定义
信源发出的消息为单一符号，这些符号随机取值于 一个连续域
表示
连续型随机变量X
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX
随机变量X的取值x为信源发出的消息
定义
对应于单符号连续信源和单符号连续信宿的信道
表示
信源——连续型随机变量X 信宿——连续型随机变量Y
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX 随机变量X的取值x为信源发出的消息
Y y [c, d] 通常[c, d] [a , b] dP(Y y) p( Y y) p( y) dY 随机变量Y的取值y为信宿收到的消息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
第6章 连续信源的熵、连续信道的平均互信息 与信道容量
教学内容和要求
理解单符号连续信源及其模型，理解其熵，掌握 其微分熵 理解单符号连续信道及其模型，掌握其平均互信 息，理解其信道容量 掌握高斯信道的信道容量，香农公式
第6章 连续信源的熵、连续信道的平均互信息与信道容量
微分熵不能作为信息度量，平均互信息——微分熵 差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
I(X; Y) h(X) h(X / Y)
以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息
信源熵及平均互信息
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故，
通常只需研究上凸函数
14
詹森(Jenson)不等式
引理
若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对 于任意一组 x1, x2,..., xn [a,b] 和任意一组非负实数
4
平均自信息量—信息熵
定义 2.1.6 集X上，随机变量I(xi)的数学期 望定义为平均自信息量
n
H (X ) E I (xi) E log p(xi) p(xi) log p(xi) i 1
集X的平均自信息量又称做是集X的信息熵， 简称做熵。含义上信息熵与热熵有相似之处。
5
平均不确定性
i, pi 1,其余的pk 0 (k i)
即，信源虽然有不同的输出符号，但它只有一个符号几 乎必然出现，而其它符号几乎都不可能出现，那么，这 个信源是一个确知信源，其信源熵等于零。
这种非负性对于离散信源的熵是正确的，但是对于 连续信源来说，该性质不存在。
17
熵函数的性质—— 3.扩展性
lim
如：
二元熵函数 H(X)
1.0
0
1.0 p
二图元3熵.1熵函函数数
23
各种熵之间的关系
1.联合熵与信息熵、条件熵的关系
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)-H(X/Y)=H(Y)-H(Y/X) H(X1,X2,...,XN)
=H(X1)+H(X2/X1)+...+H(XN/X1X2...XN)
X P( X
)
0.x910, ,
通常只需研究上凸函数
14
詹森(Jenson)不等式
引理
若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对 于任意一组 x1, x2,..., xn [a,b] 和任意一组非负实数
4
平均自信息量—信息熵
定义 2.1.6 集X上，随机变量I(xi)的数学期 望定义为平均自信息量
n
H (X ) E I (xi) E log p(xi) p(xi) log p(xi) i 1
集X的平均自信息量又称做是集X的信息熵， 简称做熵。含义上信息熵与热熵有相似之处。
5
平均不确定性
i, pi 1,其余的pk 0 (k i)
即，信源虽然有不同的输出符号，但它只有一个符号几 乎必然出现，而其它符号几乎都不可能出现，那么，这 个信源是一个确知信源，其信源熵等于零。
这种非负性对于离散信源的熵是正确的，但是对于 连续信源来说，该性质不存在。
17
熵函数的性质—— 3.扩展性
lim
如：
二元熵函数 H(X)
1.0
0
1.0 p
二图元3熵.1熵函函数数
23
各种熵之间的关系
1.联合熵与信息熵、条件熵的关系
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)-H(X/Y)=H(Y)-H(Y/X) H(X1,X2,...,XN)
=H(X1)+H(X2/X1)+...+H(XN/X1X2...XN)
X P( X
)
0.x910, ,
连续信号与连续信道容量PPT精选文档
12
连续信源的联合熵和条件熵 两个连续变量的联合熵：
Hc(X)Yp(x)ylo2g p(x)yd xd y R2
两个连续变量的条件熵：
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy
R2
13
3、 几种特殊连续信源的熵
(1) 均匀分布的连续信源的熵
边缘概率密度函数满足：
p X (x )R p X(x Y )d yy p Y (y )R p X(x Y )d yx
8
2、 连续信源的熵
单变量连续信源数学模型：
R X: p(x)
并满 Rp足 (x)d： x 1
R 是连续变量 X 的取值范围。
先将连续信源在时间上离散化，再对连续变量进行量化 分层，并用离散变量来逼近连续变量。量化间隔越小， 离散变量与连续变量越接近，当量化间隔趋近于零时， 离散变量就等于连续变量。
其中 xi 是 a+(i－1)Δ 到 a+iΔ 之间的某一值。当 p(x) 是 X 的连续函数时，由中值定理可知，必存在一个 xi 值使上式成
立。
10
这样连续变量 x 就可用取值为 xi(i=1,2,…,n) 的离散
变量近似。连续信源被量化成离散信源。
n
n
n
H (X) p(xi)lo2g p(xi) p(xi)lo2g p(xi) p(xi)lo2 g
9
p(x)
x
a
b
a+(i-1)Δ
a+iΔ
设 p(x) 如图所示。把连续随机变量 X 的取图2值.3.1分概率割密度成函数n 个小
区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第 i 个
连续信源的联合熵和条件熵 两个连续变量的联合熵：
Hc(X)Yp(x)ylo2g p(x)yd xd y R2
两个连续变量的条件熵：
Hc(Y/X)p(xy)log2 p(y/x)dxdy R2
Hc(X/Y)p(xy)log2 p(x/y)dxdy
R2
13
3、 几种特殊连续信源的熵
(1) 均匀分布的连续信源的熵
边缘概率密度函数满足：
p X (x )R p X(x Y )d yy p Y (y )R p X(x Y )d yx
8
2、 连续信源的熵
单变量连续信源数学模型：
R X: p(x)
并满 Rp足 (x)d： x 1
R 是连续变量 X 的取值范围。
先将连续信源在时间上离散化，再对连续变量进行量化 分层，并用离散变量来逼近连续变量。量化间隔越小， 离散变量与连续变量越接近，当量化间隔趋近于零时， 离散变量就等于连续变量。
其中 xi 是 a+(i－1)Δ 到 a+iΔ 之间的某一值。当 p(x) 是 X 的连续函数时，由中值定理可知，必存在一个 xi 值使上式成
立。
10
这样连续变量 x 就可用取值为 xi(i=1,2,…,n) 的离散
变量近似。连续信源被量化成离散信源。
n
n
n
H (X) p(xi)lo2g p(xi) p(xi)lo2g p(xi) p(xi)lo2 g
9
p(x)
x
a
b
a+(i-1)Δ
a+iΔ
设 p(x) 如图所示。把连续随机变量 X 的取图2值.3.1分概率割密度成函数n 个小
区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第 i 个
第6章_连续消息和连续信道
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
第六章 连续消息和连续信道
东南大学移动通信国家重点实验室
2
“信息论与编码”课件
本章内容提要
连续消息的信息 连续消息在信道上的传输问题 香农信道容量公式 连续消息的识别和理想接收机 连续信源的数字处理及其编码
东南大学移动通信国家重点实验室
第二项，当x0时它趋于无限大，称为绝对熵，用 H(x0)表示： H ( x 0 ) p ( x ) lb x d x (6.7)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.1 基本思路
相对熵分析 由于H(x)=E[I(x)]，连续消息每一样值只有对应的概率 密度，其所占概率为0，根据自信息量的定义，连续消 息每一样值的自信息量都是无限大，况且量化前样值 集合的幅度连续，有无限多幅度值。 但经量化后，样值集合的幅度值变为有限，样值与样 值之间的差异也就变为有限。 反映在信息特性上，就是相对熵，它仅与连续信源的 概率密度有关，不同概率密度的信源具有不同的相对 熵，因此它表征了信源间平均信息量的差异，故又称 之为“熵差”。
h ( x1 ) h ( x 2 ) lo g 1
2
东南大学移动通信国家重点实验室
17
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.2 几种连续信源的相对熵
3. 指数分布 指数分布连续信源X的信源空间为
(0, ) X : X P : P (X ) : p(x)
当m = 0时，方差就是高斯连续信源X的p(x) p ( x ) d x 1 (6.14) 高斯分布连续信源的概率 密度函数的曲线描绘如图