第二章-信息量和熵

第二章信息量和熵

1.互信息量

2.平均自信息量-熵

3.平均互信息量

4.相对熵、熵、和互信息量的凸性

5.连续随机变量的熵

6.有记忆马尔可夫信源

X,Y的联合空间

2.平均自信息量--熵

信源的平均自信息量：又称为信源X的熵，信源熵是在平均意义上来表征信源的总体特征。

定义式：信源中各个符号自信息量的数学期望，即：

H(X)=E(I(X))=∑p(x i)I(x i)=-∑p(x i) log p(x i)

由上式可以看出，不同的信源因概率空间不同熵值就不同

规定：当符号概率为0时，规定p(x

) log p(x i)也为0

i

信息熵表示了信源输出前，信源的平均不确定度

信息熵表示了信源输出后，每个符号所提供的平均信息量信息熵H(X)反映了随机变量X的随机性

信息熵的唯一性定理

香农给出了信息熵函数满足的三个条件（公理化定义）–连续性：

–等概时单调增：

–可加性：

要寻找我校二年级的一位学生，设a是该系二年级学生总数，k是该系二年级的班级数，而bi是该系全体二年级第i班的学生人数。

二年级全体学生的不确定定性=班级的不确定性+每个班学生的平均不确定性。

信息熵的唯一性定理

证明思路流程

•必要性：容易验证满足性质(1～3)，•充分性

等概情况下熵函数的形式

由等概走向有理数非等概的情况

由有理数走向无理数

Khinchin条件

连续性

可加性

极值条件

零概率事件不影响不确定性

Khinchin条件与香农条件等价

(2)联合熵（共熵）

定义：联合熵是联合符号集合XY 上的每个元素对x i y j 的联合自信息量的联合概率加权统计平均值。定义为：

H （XY ）=

【说明】表示X 和Y 同时发生的平均不确定度。

,,(,)(,)(,)log (,)

=-∑∑i

j

i

j

i

j

i

j

i j

i j

p x y I x y p x y p x y ()()

()

()

,(,)(,)==X Y i j Y X i j H XY E I x y E E I x y

(4).条件熵不大于信源熵(无条件熵)

H(X/Y) ≤ H(X) H(Y/X) ≤ H(Y)

当且仅当Y和X相互独立时，式取等

物理含义：从平均意义上讲，条件熵在一般情形下总是小于无条件熵。从直观上说，由于事物总是联系的，因此对随机变量X的了解平均讲总能使Y 的不确定性减少。同样，对Y的了解也会减少X的不确定性。

推广1:两个条件下的条件熵与一个条件下的条件熵之间存在关系

H（Z|XY）≤H（Z|Y）

当且仅当P(z|xy)＝P(z|y)时，式取等

强调指出：条件熵的条件越多，其条件熵的值就越小

H（Z|XY）≤H（Z|Y ）≤H（Z）

推广2：共熵与两个集合的信源熵存在关系

H(XY)≤H(X) ＋H(Y)

当且仅当两个集合相互独立时，式取等号

(5). 扩展性：信源含有的新增消息为小概率时，熵不变

(6). 确定性：

2

3平均互信息物理意义

A. I(X;Y)= H(X) –H(X/Y)（可由定义直接推导！）

(1) H(X)——信源熵：X的不确定度

H(X/Y)——已知Y时，对X仍剩的不确定度(疑义度）[结论] I(X;Y) ——“Y已知”，X的不确定度的减少了,即获得了I(X;Y)的信息量

(2) H(X)——信源含有的平均信息量(总，有用)

I(X;Y)——信宿收到的平均信息量(有用部分)

[结论]H(X/Y)—因信道有扰而丢失的平均信息量，也称损失熵

3平均互信息物理意义

B.I(Y;X)= H(Y) –H(Y/X)= I(X;Y)

(1) H(Y)——信宿收到的平均信息量

I(X;Y)——信道传输的平均信息量

[结论] H(Y/X)——因信道有扰而产生的假平均信息量，称噪声熵、散布度、扩散度

(2)H(Y)——Y的先验不定度

H(Y/X)——发出X后，关于Y的后验不定度

[结论] I(Y;X)——发X前后，Y不定度的减少量

例已知一个二元信源连接一个二元信道，如图给出。求I(X ；Y)，H(XY)，H(X/Y)和H(Y/X)。

12

12()1/2()1/2x x X p x p x P ⎡⎤⎡⎤=⎢⎥⎢⎥==⎣⎦⎣

⎦I (X ;Y ) = H (X ) + H (Y ) –H (XY )

I (X ;Y )= H (X ) –H (X /Y )

I (Y ;X )= H (Y ) –H (Y /X )

信源熵：H(X)=1 bit/符号

(1)

求联合概率p (x i ，y j )=p (x i )p (y j /x i )=p (y j )p (x i /y j )

共熵：H(XY)=1.43 bit/符号

11122122(,)0.50.980.49

(,)0.50.020.01

(,)0.50.800.40

(,)0.50.200.10

p x y p x y p x y p x y =⨯==⨯==⨯==⨯=