熵函数的唯一性和有根概率树

熵函数的唯一性和有根概率树
苏驷希
在信息论中，对于离散随机变量X
的熵的计算公式来自
C.E.Shannon 。

()
()[()]()log()p x x
H X I x p x x E ==-∑ （1）
或者简单记为：
12()(,,...,)n H X H p p p =，其中i p 为X 的概率分布 （2）
下面来说明，如果不考虑常数差别，这个公式是唯一的。

由于()H X 用来度量X 的不确定性，则它应该满足下面三个条件， [1] ()H X 是概率的连续函数；
[2] 当X 是等概率随机变量时，()H X 应该是X 取值符号数n 的增函数；
[3] 可加性；
其中第一和第二个条件简单，并且容易理解；下面简单说明第三个条件，考虑一个有三个结果的试验α，
1231
2
3
:(
)a a a p p p α
它的熵为： 123()(,,)H X H p p p = (3) 为了确定那一个结果出现，可以考虑两个相继的试验。

在第一次试验
1α中，先确定是1a 出现，还是2a 或3a 出现，它的熵为
1123()(,)H X H p p p =+。

如果1a 出现，则结果确定，无须第二次试验；
如果2a 或3a 出现，则需要做第二次试验2α以确定是2a 或3a 出现，试验
2α的熵为32
22323
()(
,)p p H X H p p p p =++。

由于整个试验不确定性的客观性，应该有：
32
123123232323
(,,)(,)()(
,)p p H p p p H p p p p p H p p p p =+++++
（4） 下面来考虑C.E.Shannon 的定理。

定理1 唯一满足条件[1]，[2]和[3]的()H X 有下面的形式， 1()()log()log n
i i x
i H X C p x x C p p ==-=-∑∑，其中C 为正常数 （5）
证明：记11
1(,,...,)()H f n n n n
=，当然()f n 为n 的单调增函数。

然后考虑一个有nm 个结果的等概试验，将它分解为m 个有n 个等概结果的试验，根据[3]，应该有：
1()()()()()f nm f m m f n f m f n m
=+=+ （6） 根据微积分知识，满足（6）的单调增函数一定有形式
()log f n C n =，
其中C 为正常数 （7） 为了证明一般的情形，先假设所有的i p 为有理数，不妨认为
1
i
i n
k
k n p n
==
∑。

然后考虑一个有1
n
k k n =∑个等概结果的试验α，并且这个试验
α被认为是两类相继的试验，其中第一类试验i α的概率是i p ，而i α包
括有i n 个等概试验结果，而第二个试验是在出现试验i α的基础上，考虑它是i n 个等概结果中的那一个，则根据[3]有：
121
1
log (,,...,)log n
n
i n i i i i C n H p p p C p n ===+∑∑
整理得：
121
1
1
1
1
(,,...,)[log log ]
[(log log )]log n n
n i i i i i n n n
i i i i i
i i i H p p p C n p n C p n n C p p ======-=-=-∑∑∑∑∑
也就是说，在所有的i p 为有理数的情况下，证明了定理1。

如果有的i p 为无理数，则可以去考虑逼近它的有理数序列，则（5）成立；另外根据()H X 的连续性，通过取极限同样可以证明定理1。

下面不妨假设C 为常数1，考虑12()(,,...,)n H X H p p p =的计算。

所谓依照有根概率树来计算熵，即下面的定理2。

实际上就是将原来的试验按照概率树分解为若干子试验，并且利用熵的条件[3]进行处理。

其实前述有三个试验结果的条件[4]就是下面（8）的表现形式。

定理2离散随机变量X 的熵()H X 等于所对应的有根概率树上所有节点(包括根节点，不包括叶)的分支熵用该节点概率加权的和，即
()()()i i i
H X q u H u =∑ （8）
其中，()i q u 为节点i u 的概率，()i H u 为节点i u 的分支熵。

定理的证明利用数学归纳法容易完成。

最后，如果反复利用熵的条件[3]按照概率树进行分解，实际上是从根向叶子方向前进；而如果利用数学归纳法直接证明（8）则是从叶子向根方向前进。

利用有根概率树来处理熵的计算在很多场合下可以简化计算。