信息论第五讲

2.2.4 费诺（Fano ）不等式

我们曾借助于前已给出的通信模型，问从收到的Y 可以得到关于X 多少信息，从而定义了平均互信息的概念。这实际上是一个在给定条件下对关心的随机变量进行估值的问题。在现实问题中常会遇到这种现象，例如，我们想知道某种产品的长度X ，就用尺子去测量，得到读数Y 。不同产品的长度是在一定范围内的随机变量，由于测量误差我们也测不出被测产品的真实长度，所以，这也是根据Y 来估计X 的问题。

我们做过的一个习题说，当且仅当X 是Y 的单值函数时，随机变量X 的条件熵H(X|Y)=0，推而广之，我们希望条件熵H(X|Y) 较小时，能以较低的误差概率估计出X 。费诺不等式量化了这个想法。

设待估计的随机变量X ：n x x x ,,,21 具有分布)(x p ，我们观察与X 相关联的随机变量Y ，它关于X 的条件分布是)|(x y p 。由Y 计算函数)(Y g 作为X 的估值)(Y g X =∧

，现在要对X X ≠∧

的概率做出限定。 定义误差概率为

}{X X P P e ≠=∧

(2-49) 注意∧

→→X Y X 构成马尔可夫链。费诺不等式表述如下。

定理2.11

)|()1log()(Y X H n P P H e e ≥-+ (2-50) 其中n 是随机变量个数。式(2-50)可以减弱为

)|(log 1Y X H n P e ≥+ (2-51)

证明 首先定义一个误差随机变量

??

???

=≠=∧

∧X X X E X 如果如果01 然后根据熵的链式法则将)|,(Y X E H 以两种方式展开

),|()|()|,(Y X E H Y X H Y X E H += (2-52)

),|()|()|,(Y E X H Y E H Y X E H += (2-53)

因为E 是X 和g(Y ) 的函数，所以（2-52）中第二项0),|(=Y X E H ；因为条件作用使熵减少，所以（2-53）中第一项)()|(E H Y E H ≤，又因为E 是一个二值随机变量，所以)()(e P H E H =，于是得到：

(|)

()(|,e H X Y H P

H X E Y ≤+ (2-54)

而根据熵是统计平均的概念：

)1,|()1()0,|()0(),|(==+===E Y X H E P E Y X H E P Y E X H r r E=0意味着没有估计误差，知道Y 就完全确定了X ，所以H(X|Y,E=0)=0。当E=1

时，估值)(Y g X =∧

能取X 中其它n-1个值，根据定理 2.11，

)1log()1,|(-≤=n E Y X H ，将这些结果代入式（2-54），得到

(|)()(0)0(|,1) ()log(1)

e r e e e H X Y H P P E P H X Y E H P P n ≤+=?+=≤+-

费诺不等式得证。

如果没有任何关于Y 的知识，只能在毫无信息的情况下估计X ，对X 的最

佳估计是 ，

i x X =∧

其中n i j x p x p j i ,,2,1,()( =≥ )，此时的误差概率为)(1i e x p P -=，而费诺不等式变为)()1log(

)(X H n P P H e e ≥-+。

2.2.5 渐近均分性

在通信过程中，信源往往要发出很长的消息，例如发出一份中文稿件，相当于一个汉字的序列，如果把单个汉字看成是一个随机变量的实现，整个稿件就是对随机变量序列的一次观测。

我们注意到，上例中每个字都来源于同一个字库，而且一般地认为前后两个字互相独立，也就是说，这个随机变量序列是独立同分布的（i.i.d.）。概率论中的大数定律指出，对于独立同分布的随机变量序列，当n 很大时，∑

=n

i i X n

1

1近似

等于期望值EX 。渐近均分性与此类似，其正式描述是：

定理2.12 （AEP ）如果n X X X ,,,21 为i.i.d.序列，而且服从)(x p ，则依概率有

(2-55) 所谓依概率趋近)(X H ，即对任意0>ε，有

1|)(),,,(log 1|lim 21=??

?

??<--∞→εX H X X X p n P n n (2-56) 证明 因为i X 是独立同分布的，所以

)(),,,(1

21i n

i n X p X X X P ∏

==

，∑=-

=-n

i i

n X p n

X X X p n 1

21)(log 1

),,,(log 1 。

当∞→n 时，依概率有)(log )(log 11

X p E X p n

n

i i -→-

∑

=)(X H =

这意味着),,,(21n X X X p 会以很高的概率接近于)(2X nH -。

例2.13 设随机变量)1,0{∈X ，其概率密度为P(1)＝P(0)=1/2，现信源发出随机序列，问序列（1,0,1,1,0,1）出现的可能性有多大？

解 =)(X H 1，所以，依概率1)1,0,1,1,0,1(log 6

1→-p ，64

12)1,0,1,1,0,1(6=

=-p 6位二进制序列共有64个，如果0\1等概出现，则序列（1,0,1,1,0,1）出现的可能性是1/64当然是合理的。如果q P p P ==)0(,)1( ，则q q p p X H log log )(--=，

序列出现的概率就成为)

(62)1,0,1,1,0,1(X H p -=。

渐近均分定理又叫序列分组定理，因为利用它可以把随机变量序列的集合分为两个子集：典型集和非典型集。根据对数的意义把式（2-55）稍加变换，就得到典型集的的定义：

定义2.11 满足如下性质的序列Ω∈),,,(21n x x x 的集合叫做p(x)的典型集)

(n E A ：

))((21)

)((2),,,(2

εε--+-≤≤X H n n X H n x x x p (2-57) 典型集具有如下性质： (1) 如果)

(21),,,(n E n A x x x ∈ ，则

εε+≤-≤-)(),,,(log 1

)(21X H x x x p n

X H n

(2) 当n 充分大时，有ε->1}{)

(n E A P

(3) )

)(()(2||ε+≤X H n n E A ，其中|A|表示集合A 中的元素个数 (4) 当n 充分大时，有))(()

(2)1(||εε--≥X H n n E A

我们略去这些性质的证明，重点说明它们的意义（证明并不困难，有兴趣的读者可以作为练习）。

性质(1) 、(2)说明，对任意小的ε，只要n 足够大，随机变量序列都属于典型集。性质(3)、(4)说明了典型集包含的随机变量序列的个数，由于 ε非常小，所以

)

()

(2||X nH n E A → (2-58)

这就是说，从平均意义上讲，用nH(X)比特就可以表示序列n X 。

2.2.6 随机过程的熵率

渐近均分性表明，在平均意义下使用nH(X) 比特足以描述n 个独立同分布的随机变量序列，如果随机变量不独立，尤其是平稳随机过程，情况将会怎样？我们在下面引出随机过程熵率的概念。

定义2.12 随机过程的熵率定义为

),,,(1

l i m (21n n X X X H n

H ∞→=)X (2-59) 熵率反映随机变量序列的熵随n 值增长的变化情况。 例2.14 假定一台打字机可输出m 个等可能的字母。由此打字机可产生长度为n 的序列n m 个，且等可能出现。因此),,,(21n X X X H n m l o g =，熵率为

m H log )(=X 比特/每字符。

例2.15 对独立同分布随机变量序列，

)()

(lim ),,,(lim

)(1121X H n

X nH n X X X H H n === X

这个结果正是我们期望的每个字符的熵率。对于独立但非同分布随机变量序

列，情况变得复杂起来，因为在求熵率过程中，我们遇到

∑==

n

i i n X H X X H 1

1)(),,( ，和式中的)(i X H 不全相等。有可能出现∑)(1

i

X H n

的

极限不存在的情况，这样式（2.59）就失去意义。因此，重新定义一个与（2-59）相关的量：

),,,|(lim )(121X X X X H H n n n n --∞

→='X (2-60)

这个极限一定存在吗？

定理2.13 对于平稳随机过程，),,|(11X X X H n -随n 递减且存在极限。 证明 ),,,|(),,,|(211111X X X X H X X X X H n n n n n n -+-+≤ ),,|(11X X X H n n -=

其中不等号是由条件作用使熵减少，等号由平稳性得到。上式说明

),,|(11X X X H n n -是随

n 递减的，再由它的非负性，证明极限)(X H '必存在。

那么（2-59）和（2-60）两个极限有什么关系呢？

定理2.14 对于平稳随机过程，有 )()(X X H H '= (2-61)

证明 简记n n b X X X H n

=),,,(1

21 ，i i i a X X X H =-),|(11

由链式法则：

∑

=-=

n

i i i n X X X H X X X H 1

1121),,|(),,,(

用简记符号改写为

∑

==

n

i i

n a n

b 11

两边取极限

∑

=∞

→∞

→=

n

i i

n n n a n b 1lim 1lim

根据定理2.13，等号右边趋向于)(X H '，而等号左边等于)(X H ，定理得证。

上述定理的证明不是十分严密，并不影响所得结论。注意)(X H '与)(X H 的物理意义已经不同，前者表示在已知过去情况下最新出现随机变量的条件熵，后者是n 个随机变量的每字符的熵。但是它们的单位都是（熵 / 每字符）。考虑到随机过程含有时间跨度的概念，每个字符的出现将占有一个时间段τ，如果把上述熵率除以τ，我们就得到了单位时间的熵（也叫时间熵），这就是所以叫做熵率的原因。平稳马尔可夫链的熵率简单地等于条件熵，使得计算起来十分方便，下面的定理就叙述这个结果。

定理2.15 设{X }为平稳马尔可夫链，其分布为μ，转移矩阵为P ，则熵率为

∑-

=j

i j i j

i i P P

H ,,,log )(μX (2-62)

证明 对于平稳马尔可夫链，熵率的计算十分简单，这时有

)|(lim ),,|(lim )()(111--=='=n n n n X X H X X X H H H X X

∑-

==j

i i j i j

i P P X X H ,12)|(log )|()|(μμμμ

μ

∑∑

?

??

?

??-=

i

j

j i j i i P P ,,l o g μ∑

-=j i j i j i i P P ,,,l o g μ

例2.16 有两状态的马尔可夫链，其转移概率为 1-α

α 1-β

??

????--=ββαα11 P ，求其熵率。

解 此一阶马尔可夫链有两种状态，四个 转移概率。可绘香农线图如图。设两个状态的 β

概率密度函数为μ，则有：121=+μμ由线图 图2-5 例题2.16附图

得到βμαμμ211)1(+-=，即21βμαμ= 将上两个方程联立，解得

,1β

αβμ+=

β

ααμ+=

2

仿照定理 2.15的证明， 2

3

)|()(12X X H H =X 1

)]1log()1(log []log )1log()1[(21ββββμααααμ--+-+---=? )()(ββ

αααβ

αβH H ?++

+=

5

4

例 2.17 设一个粒子可以在右图上由一个节 图2-6 例题2.17附图

点到另一个节点作随机游动，表示为}{n X ，},,2,1{m X n ∈是图中的顶点序列。

设连接节点i 的各边权重之和为∑=j j i i W W ,，从i X n =移到j X n =+1的转移

概率应该是连接i 和j 的边的权重占与i 相连的所有边权重的比例，即

i

j i k

k

i j

i j i W W W

W P ,,,,=

=

∑。记W W i j j i j i =∑>:,,，则图中所有边权重之和W W i

i 2=∑，所以

每个节点的概率为W

W W

W i i

i

i

i 2=

=

∑μ。容易证明，j i

j i i P μμ=∑,，因此，本例可以

看作平稳马尔可夫链。

现在计算它的熵率。

∑∑

-

==i

j

j i j i i

P P X X H H ,,12log )|()(μX ∑

∑-

=i

j

i

j i i

j

i i W W W

W W

W ,,log

2

∑-

=j

i i

j i j

i W W W

W ,,,log

2∑∑+

-

=j

i j

i i

j

i j i j

i W W W W W

W W

W ,,,,,2log 22log 2

),2,

(),2,

(, W

W H W

W H i

j i -= 现假设所有边的权重相同，连接节点i 的边数是Ei ，图中总边数是E ，则节点i 的权重就是E E i 2/，随机游动的熵率为

??? ??-=E E E

E

E E H E H m 2,,2,2)2log()(21 X

例 2.18 假定国际象棋中的“王”在88?棋盘上作随机游动。“王”子若在

棋盘内部周围有8个可移位置，在边上有5个可移位置，若在角上则只有3个位置可以移动。将上述结果代入例3.9，可得熵率为0.92log8。