第5讲信息熵课件

1第5讲 随机变量的信息熵在概率论和统计学中，随机变量表示随机试验结果的观测值。

随机变量的取值是不确定的，但是服从一定的概率分布。

因此，每个取值都有自己的信息量。

平均每个取值的信息量称为该随机变量的信息熵。

信息熵这个名称是冯诺依曼向香农推荐的。

在物理学中，熵是物理系统的状态函数，用于度量一个物理系统内部状态和运动的无序性。

物理学中的熵也称为热熵。

信息熵的表达式与热熵的表达式类似，可以视为热熵的推广。

香农用信息熵度量一个物理系统内部状态和运动的不确定性。

信息熵是信息论的核心和基础概念，具有多种物理意义。

香农所创立的信息论是从定义和研究信息熵开始的。

这一讲我们学习信息熵的定义和性质。

1. 信息熵我们这里考虑离散型随机变量的信息熵，连续型随机变量的信息熵以后有时间再讨论，读者也可以看课本上的定义，先简单地了解一下。

定义1.1 设离散型随机变量X 的概率空间为1212......n n x x x X p p p P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦我们把X 的所有取值的自信息的期望称为X 的平均自信息量，通常称为信息熵，简称熵（entropy ），记为H(X)，即11()[()]logni i iH X E I X p p ===∑ (比特)信息熵也称为香农熵。

注意，熵H (X )是X 的概率分布P 的函数，因此也记为H (P )。

定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ，所得结果称为r-进制熵，记为H r (X )，其单位为“r-进制单位”。

我们有2()()log r X H H rX =注意，在关于熵的表达式中，我们仍然约定0log 00 0log00x==， 信息熵的物理意义：信息熵可从多种不同角度来理解。

（1） H(X)是随机变量X 的取值所能提供的平均信息量。

（2） 统计学中用H(X)表征随机变量X 的不确定性，也就是随机性的大小。

例如，假设有甲乙两只箱子，每个箱子里都存放着100个球。

甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。

显然，甲里面球的颜色更具有不确定性。

从两个箱子各摸出一个球，甲里面摸出的球更不好猜。

（3） 若离散无记忆信源的符号概率分布为P ，则H(P)是该信源的所有无损编码的“平均码长”的极限。

令X 是离散无记忆信源的符号集，所有长度为n 的消息集合为{1,2,,}n M X =每个消息i 在某个无损编码下的码字为w i ，码字长为l i 比特。

假设各消息i 出现的概率为p i ，则该每条消息的平均码长为1Mn i i i L p l ==∑因此，平均每个信源符号的码长为11Mn i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长，其量纲为（码元/信源）。

我们有() lim () n n n L LH X H X nn →∞≥=且这是信源编码定理的推论。

3例1.3 课本第26页例2.4. 天气预报的平均信息量。

练习：在电脑主板上，串行接口（Serial Interface ）用于向外设输出数据，每次输出1比特符号，若某段时间内输出符号的概率分布为11/32/3X p ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦求此时段内该串行接口的信息率，即平均每符号所传递的信息（单位为“比特/符号”）。

4练习解答：输出0所传递的信息为1(0)l o g l o g 3 (3I =-=比特)输出1所传递的信息为2(1)loglog 3 1 (3I =-=-比特) 因此，输出符号的信息熵为 122()log 3(log 31)log 3333H X =+-=-≈0.919(比特) 于是所求的信息速率为0.919比特每符号。

说明：上述信息熵H (X )反映了串行接口传输信息的速率，称为该接口的信息率。

2. 熵函数H(P)的性质 性质1. 非负性和确定性 H (P )≥0其中H(P)=0 当且仅当P 为退化分布。

一个随机变量的概率分布为退化分布，当且仅当该随机变量是常量，即取值唯一（所以其取值是确定的）。

性质2. 对称性 11(,,,,,,)(,,,,,,)i j n j i n H p p p p H p p p p =性质3. 连续性 1(,,)n H p p 对于其中任何变量i p 是连续的。

5性质4. 扩展性 可扩展性1： 11(,,,0)(,,)n n H p p H p p =可扩展性2：证明：由连续性和可扩展性1立即可得。

证毕意义：可扩展性表明，一个小概率事件对于熵的影响很小，可以忽略不计。

在熵的计算中，可以忽略其中一部分小概率事件。

例2.1 《中华字海》中收录了85000多个汉字，而常用汉字仅有3000个左右。

（据统计现代汉语中这2400个汉字在一般书刊文章中所占的字数比例是99%）在计算汉字的熵时，大部分汉字都可以忽略不计，仅统计常用汉字出现的频率，以此作为这些汉字出现的概率，从而计算出汉字的熵。

性质5. 可加性注意：即课本第31页的“递增性”。

课本上的“可加性”事实上是联合熵的链法则，涉及到条件熵，放在此处不妥，后面再讨论。

我们将赋予“递增性”更贴切的含义。

定理2.2（可加性公式）其中令12n m p q q q =+++证明：可用熵函数的定义证明，细节留给读者完成。

证毕 可加性公式让我们不断降低信息熵中概率分布的维度，将高维计算简化为低维计算。

有的教材称可加性为递推性。

例2.3 应用熵函数的可加性计算1111(,,,)3366H 121211212(,,,,,,,)(,,,),,,m n m n n n nn q q qH p p p q q q H p p p p H p p p -⎛⎫=+ ⎪⎝⎭12112210lim (,,,,,)(,,,,,)n n n n n H p p p p H p p p p p εεε---→-=6解：1111111111(,,,)(,,)(,)33663333221log3 31.918 (bit)H H H =+=+≈注意，可连续应用可加性公式：111121211111(,,,)(,)(,)(,)33663332232221(,) 1 33H H H H H =++=+连续应用可加性公式，我们有 定理2.4 （更一般的可加性公式）其中1ir i ijj p p==∑解释：我们可以把可加性理解为分步试验结果的熵等于各步试验结果熵的加权组合。

设一个随机试验分为两个步骤。

第1步共有n 个可能结果11,2,X n =，，其概率分布为12(,,,)n p p p 。

这一步试验结果的熵为12(,,,)n H p p p 。

在第1步试验结果的基础上进行第2步试验。

假设当第1步试验结果1X i =时，第2步试验共有i r 个可能结果，并且其概率分布为12,,,i ir i i i ii p p p p p p ⎛⎫⎪⎝⎭12111212112121(,,,,,,,,,)(,,,),,, (2.1)n i r r n nr nir i i n i i i ii H p p p p p p p p pH p p p p H p p p =⎛⎫=+ ⎪⎝⎭∑7对应的熵为12,,,i ir i i i ii p p p H p p p ⎛⎫ ⎪⎝⎭因此，第2步传递的平均信息量为121,,,i nir i i i i i ii p p p p H p p p =⎛⎫⎪⎝⎭∑ 两步所获得的平均信息量之和就是上述（2.1）中的右式。

左式可解释为第2步试验的所有可能结果的平均信息量。

练习：应用熵函数的可加性计算(1/6,1/6,1/6,1/9,1/9,1/12,1/12)H性质6. 递增性低维分布分解为高维分布时，信息熵严格递增。

定理2.5 将n-维概率分布分解为n+1维分布后，熵增大：证明：由可加性立即可得。

证毕性质7. 严格上凸性定理2.6 熵函数H (P )是严格上凸函数。

证明：根据严格上凸性定义，我们设P =(p 1, p 2, …, p n )与Q=(q 1,q 2, …, q n )是两个不同的概率分布并且设12(,)λλ为非退化分布，只需证明下列不等式1212()()() (1)H P H Q H P Q λλλλ+<+即12121(,,,)(,,,,,) (0<)n n n n H p p p H p p p p p εεε-<-<8121212111l o g l o g ()l o g ()n nniiii i i i ii i i p p qq p q p q λλλλλλ===--<-++∑∑∑ 合并同类项后，上述不等式等价变换为12121211log log 0nni i i i i i i i i i p q p qp q p q λλλλλλ==+++<∑∑ 注意，12P Q λλ+是一个n-维概率分布，根据预备知识中所证明的“信息不等式”，我们有121log0 ni ii i ip q p p λλ=+≤∑（2）其中等号成立当且仅当12P P Q λλ=+，即P =Q 。

我们前面已假设P ≠Q ，所以上述不等式中的等号不成立。

同理我们有121log0 ni ii i ip q q q λλ=+<∑（3）由（2）和（3）可得（1）。

证毕不等式（1）也可以用基本对数不等式证明。

不等式（1）的第二个证明：取12i iip q x p λλ+=，由1ln1 x x≥- 得12212ln() (4)ii i i i i i i ip p p p q p q p q λλλλλ≥--=-+根据预备知识中证明的基本对数不等式，（4）中等号成立的充要条件是12P P Q λλ=+，即P =Q 。

我们前面已假设P ≠Q ，所以不等式（4）中的等号不成立。

因此，我们有9112ln0 (5)nii i i ip p p q λλ=>+∑同理我们有112ln0 (6)nii i i iq q p q λλ=>+∑由（5）和（6）可得（1）。

证毕性质8. 极值性（最大离散熵原理）定理2.7（最大离散熵原理）对于任何n 维概率分布p ，()log H p n≤其中，等号成立的充要条件是p 为均匀分布，即(1/,1/,,1/)p n n n =证明： 令q 为均匀分布(1/n ,1/n ,…,1/n )，应用信息不等式立刻可得该定理成立。

证毕记号：我们用H 0表示一个随机变量的最大熵。

当且仅当某随机变量共有n 种取值时，0log ()H n =比特例2.8 二十问题游戏（the game of twenty problems ）。

甲心里想到一个事物，让乙猜。

乙可以向甲提问，甲只回答是或者不是。