第二章 信息量和熵

第二章信息量和熵

一、离散变量的非平均信息量

1、离散变量的非平均自信息量

集合{X；p(x)}中某个事件x的自信息量定义为：

=—log p(x) ——表达式是唯一的；

I（x）=log1

()

p x

其中，p(x)为事件x发生的概率。

含义：完全确定事件x所必需的信息量；

事件x中固有（包含）的信息量；

事件x出现的先验不确定性大小。

2、联合概率事件的非平均自信息量

联合空间{XY，p(xy)}中任一事件xy，x∈X和y∈Y的联合自信息量定义为：

I（xy）=—log p(xy)

同理：I（xyz）=—log p(xyz) 。

3、离散变量的非平均条件信息量

联合空间{XY，p(xy)}中，事件x∈X和y∈Y，事件x在事件y 给定（已知）时的条件信息量定义为：

I（x/y）=—log(/)

p x y

含义：已知y时事件x所具有的不确定性；

给定y时事件x中还剩余的信息量；

给定y条件下完全确定事件x所必需的信息量。

4、离散事件的非平均互信息量

两个离散事件集{X ，p(x)}和{Y ，p(y)}中，事件y ∈Y 的出现给出关于事件x ∈X 的信息量定义为： I （x ；y ）=log (/)()

p x y p x

含义：事件x 和y 之间的互信息量；

从事件y 中可获得关于事件x 的信息量。 5、离散事件的非平均条件互信息量

对于三个离散事件集的联合概率空间{XYZ ，p(xyz )}，给定事件

z Z

∈条件下，事件x X ∈和事件y Y ∈之间的条件互信息量定义为：

I （x ；y /z ）=log (/)(/)

p x yz p x z =log

(/)(/)(/)

p xy z p x z p y z

注：I （x ；y /z ）应理解为：I{(x ;y )/z}

含义：已知事件z 的条件下，从事件y 中可获得关于事件x 的信息量。

6、离散事件非平均信息量的性质 ● 非平均自信息量非负； I （x ）=—log p(x)≥0； I （x/y ）=—log (/)p x y ≥0 。 ● 非平均互信息量具有对称性； I （x ；y ）= I （y ；x ）； I （x ；y /z ）= I （y ；x /z ）。

注：非平均互信息量有可能为负值，如何理解？

x 和y 相互独立时，I （x ；y ）=0；P(xy)=P(x)P(y),P(x/y)=p(x) 事件y 出现有益于事件x 的出现时，I （x ；y ）≥0； 事件y 出现使事件x 出现的可能性减小时，I （x ；y ）≤0。 ● 互信息量和条件自信息量不大于非条件自信息量： I （x ；y ）≤I （x ） I （x ；y ）≤I （y ） I （x/y ）≤I （x ） ● 可加性：

I （xy ）= I （x ）+I （x/y ） = I （y ）+I （y/x ）

= I （x ）+ I （y ）—I （x ；y ）

I （xyz ）=I （x ）+I （y/x ）+I （z/xy ） I （x ；yz ）=I （x ；y ）+I （x ；z/y ）

I{(u 1；u 2)；u 3}=I （u 1）+ I （u 2）+ I （u 3）—I （u 1 u 2） —I （u 2 u 3）—I （u 1 u 3）+ I （u 1 u 2 u 3） I （u 1；u 2；u 3；…；u N ）

=()i I u ∑—()i j I u u ∑+()i j k I u u u ∑—…+（-1）N-1

I （u 1 u 2… u N ）

可加性几何解释：

I(x ；y)=0

二、熵——离散集的平均自信息量 1、熵的定义

集{X;q(x)}的平均自信息量定义为： H （X ）=∑∈X

x q(x)I （x ）=-∑∈X

x q(x)log q(x)

(1) 确定事件的信息量为0；

(2) 不可能事件的信息量为∞；但根据lim 0

→z z logz =0,它对熵的贡献为

0；

(3) 熵为集X 中一个事件出现的平均不确定性，既确定集X 中一个

事件出现平均所需的信息量。

(4) 例子：X{x1,x2}中，q(x1)=P, q(x2)=1-P,则 H(X)=-PlogP-(1-P)log(1-P)

2. 条件熵

（1）H(X/y)=∑x

P(x/y)I(x/y)=-∑x

P(x/y)log P(x/y)

(2) 在集{Y ，ω（y ）}上对H(X/y)求均值，有 H(X/Y)= ∑y

ω（y ）H(X/y)=-∑x ∑y

P(xy) log P(x/y)

注：集X 和集Y 统计独立时，P(xy)=p(x)P(y),即P(x/y)=P(x) 有：H(X/Y)=H(X) 3. 集X 和集Y 的联合熵

P

H(XY)= -∑x

∑y

P(xy) log P(xy)

4. 熵的性质

（1）对称性：熵值与概率矢量P=(P 1,P 2,…,P k )的次序无关，仅与概率分布有关； （2）非负；

（3）确定性: 概率空间中又确定事件时，其它事件为不可能事件，则熵为0；

（4）扩展性：lim 0

→εH k (P 1,P 2,…,P k ,ε)= H k (P 1,P 2,…,P k )

（5）可加性：H M （p 1q 11, p 1q 21,…,p 1q m 1,1, p 2q 12, p 2q 22,…,p 2q m 2,2, …, p K q 1K ,p K q 2K , …,p K q mK,K ）

=H K （p 1, p 2,…, p K ）+∑=K

k 1

p k H mk (q 1k , q 2k , …,q mK,K )

其中∑=K

k 1

p k =1, p k ≥0; ∑=K j 1q jk =1, q jk ≥0;M=∑=K

k 1

m k

(5) 极值性：最大离散熵定理 H K （p 1, p 2,…, p K ）≤H K （K 1

,

K

1 ,…,

K

1）=logK

(6) H K （P ）是概率矢量P=( p 1, p 2,…, p K )的上凸函数，即对于θ，

0≤θ≤1，和矢量P 1、P 2有：

H(θP 1+(1-θ) P 2)＞θH （P 1）+(1-θ) H （P 2）

(7) 熵的唯一性定理：熵函数的定义表达式是唯一的，不可能有其

它形式的函数来表示熵。

（8）条件熵不大于无条件熵：H(X/Y) ≤H(X)

三、离散集的平均互信息量

1．I（x；y）是空间XY中的随机变量，对空间X上的概率分布求平均有：

I(X；y)=∑

x p(x/y)log

)

(

)

/

(

x

p

y

x

p,

含义：事件y∈Y出现时，给出的关于集合X中各事件的平均信息量。2．集{X,p(x)}和集{Y,p(y)}之间的平均互信息量为：

I(X；Y)=∑

x ∑

y

p(xy)log

)

(

)

/

(

x

p

y

x

p=∑

x

∑

y

p(y)p(x/y)log

)

(

)

/

(

x

p

y

x

p

含义：一个集合中事件出现给出关于另一集合事件出现的信息量的平均值。

3．平均条件互信息量

集{XYZ,p(Xxyz)}上随机变量I(x;y/z)的数学期望

I(X；Y/Z)=∑

x ∑

y

∑

z

p(xyz)log

)

/

(

)

/

(

z

x

p

yz

x

p

4. 平均互信息量的性质

（1）平均互信息量非负；根据lnx≤x-1可证。即：

- I(X；y) =∑

x p(x/y)log

)

/

(

)

(

y

x

p

x

p≤loge∑

x

p(x/y)[

)

/

(

)

(

y

x

p

x

p-1]=0,

则I(X；y)≥0。

（2）对称性，I(X；Y) = I(Y；X) （3）I(X；Y) =H(X)-H(X/Y)

=H(Y)-H(Y/X)

=H(X)+H(Y)-H(XY)

（4）X与Y相互独立时，I(X；Y)=0

H(X)=H(X/Y)；H(Y)=H(Y/X)；H(X)+H(Y)=H(XY)

（5）I(X；Y) ≤H(X)；I(X；Y) ≤H(Y)

当X与Y完全相关时，p(x/y)=1,p（y/x）=1,有：

H(Y/X)=H(X/Y)=0, I(X；Y)=H(X)=H(Y)。

（6）I(X;YZ)=I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z);

（6）（信息处理定理）信息不增原理

集X为观测对象，集Z为观测到的数据集，

集Y为对观测结果Z的处理结果；有Y=f(Z)

则：H(X/Z)≤H(X/f(Z))= H(X/Y)

I(X；Z)≥I(X；f(Z))=I(X；Y)

当每个z∈Z有唯一的y∈Y与之对应时，等号成立。

上述系统可理解为：在已知Z的条件下，集X与集Y统计独立。证明要点：p(y/zx)=p(y/z),

I(X;Y/Z)= ∑

x ∑

y

∑

z

p(xyz)log

)

/

(

)

/

(

z

y

p

xz

y

p=0;有：

I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z)= I(X;Z)

得：I(X;Z)≥I(X；Y)。

含义：对所观测到的数据做任何处理都会造成信息损失，而不会使信息增加。

四、连续随机变量的互信息和相对熵 （一） 互信息 1．互信息的导出

离散随机事件的互信息I(x;y)=log )

()/(x p y x p =log

)

()()()/(y p x p y p y x p =log

)

()()(y p x p xy p

连续随机变量的互信息： I(x;y)=lim 0

→?→?x y log

y

y xp x p y x xy p ????)()()(= log

)

()()(y p x p xy p

其中p(xy)、p （x ）、p （y ）为概率密度； 条件：概率密度p （x ）≠0、p （y ）≠0。 2．连续集X 和Y 之间的平均互信息 I(X;Y)=??p(xy)log

)

()()(y p x p xy p

3. 连续随机变量和连续集的互信息与离散随机变量及离散集的互信息量定义类似，由概率密度代替了离散时的概率分布，积分代替了离散时的求和；且具有类似的性质。 （二）相对熵 1．概念提出

根据离散情况下的熵定义，设p x (x i )为概率密度，有： H(X)=-∑i

[p x (x i )Δx i ]log[p x (x i )Δx i ]

=-∑i

p x (x i )[log p x (x i )]Δx i -∑i

p x (x i )[log Δx i ]Δx i

当Δx i →0时，上式第二项为∞，说明连续变量的潜在信息量为∞。而实际中人或机器的分辨率有限，物理量的测量不必划分过细。

则比较两个连续事件的熵时，消去第二项（常称为绝对熵），而只留下第一项（相对熵）。

则相对熵(微分熵)为：H c (X)=-?∞

∞-p x (x)[log p x (x)]dx

例：正态随机变量，数学期望为m,方差为σ2，求相对熵。 解：概率密度为：p(x)=

σ

π21exp{-

σ

22

1

(x-m)2

} H c (x)=-?∞

∞

-p x (x)[log p x (x)]dx

=-?

∞

∞

-σ

π21exp{-

σ

22

1

(x-m)2

}[-σ

22

1

(x-m)2

-ln π

2σ]

=2

1ln2πe σ2(奈特) 其中，σ2=

e

π21e 2 Hc (x)—— 熵功率。

2．连续随机变量的相对熵具有与离散变量的熵类似的性质，但它不是非负的（略去了一个∞项）。 3．相对熵的极值

连续变量的相对熵为避免∞需要有一定的限制，如当功率为∞时，正态分布的熵也是∞。

（1）峰值功率受限：?-M

M

p(x)dx=1

当连续变量的峰值不超过M 时，x ∈(-M,M), ?-M

M

p(x)dx=1,则x 的相

对熵满足：H c (x)≤log2M 证：根据lnx ≤x-1

H c (x)-λ?-M

M

p(x)dx=-?-M

M

p(x)logp(x)dx-λ?-M

M

p(x)dx

=-?-M M

p(x)log a [a λ

p(x)]dx ≤log a e ?-M

M

p(x)[

)

(1

x p a λ

-1]dx

当

)

(1

x p a λ

=1时，等式成立为极值，此时有：p(x)=a λ- =

M

21,均匀分

布。极值H c (x)=log2M 。

（2）平均功率受限：σ2

=?∞

∞

-p(x)(x-m)2dx ＜∞

若连续随机变量x 的方差一定，则x 服从正态分布时相对熵最大。 一般情况下，H c (x)≤log πe 2σ

。

五、互信息的凸性 六、随机过程的信息量和熵