第二章：信息论的基本概念

凸性的概念：若对区域D中任意两点
(1 ) D, 0 1
则称：区域D是凸域。
理解：若两点 和 在凸域D内，则和 之间的线段也整个在区域D内。
在[a,b]上定义的下凸函数
f ( p ) (1 ) f (q )
f [p (1 )q ]
联合熵与条件熵
联合熵
物理意义：二元随机变量 不确定性的量度
联合熵、条件熵的关系：
H ( XY ) H ( X ) H (Y / X ) H (Y ) H ( X / Y )
当X,Y相互独立时，有：
p (ak , b j ) p (ak ) p (b j )
p ( ak | b j ) p ( a k ) p (b j | ak ) p (b j )
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 第二次 测量后： X2 1 2 ＝ P（x2） 1/2 1/2 3 0 4 0 5 0 6 0 7 0 8 0
H(x2) = log2 = 1(bit/符号)
H(x1) － H(x2) =1 －－获得1bit信息量
第三次
测量后：
X3 ＝ P（x3）
1
1
2
0
3
0
4
0
5
0
6
0
7
0
8
0
H(x3) = log1 = 0(bit/符号)
H(x2) － H(x3) =1 －－获得1bit信息量
H(X)表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的平均不确定性，即要确定哪个灯 泡是坏的，至少需要获得3个bit的信息量，才能完全消除不确定性。？？必须测3次吗？？
log pn 0
所以：
H ( P) 0
熵函数的性质－－非负性
证明二：
x 0
有： 所以：
log x x 1
或：
log 1 1 x x
N
H ( P) pn log
n 1
N
1 pn
pn (1 pn ) 0
n 1
熵函数的性质－－上凸性
和 ， D, D 均有：
函数 件

f ( p1 , p2 ,, pn ) 是随机变量不确定性的量度，若此函数满足条
连续性 等概时单调增函数性 可加性 则此函数必为
f ( p1 , p2 ,, pn ) C pn log pn
n 1
N
证明：作业二
熵函数的性质－－唯一性
唯一性－－限制条件 D.A.Fadiev:
熵是随机变量平均不确定性的描述

熵函数的性质
香农熵是概率矢量的非负的上凸函数

性质1：非负性
性质2：上凸性 性质3：唯一性（连续性、可加性、等概单调增）


熵函数的性质－－非负性
证明一： 而： 故：
H ( p1 , p2 ,..., p N ) pn log pn
n 1
N
0 pn 1
Y
Z
问题：能否度量、如何度量？？
香农指出：存在熵函数 满足先验条件
1、连续性条件：
f ( p1 , p2 ,, pn ) 是 pn
的连续函数
2、等概时为单调增函数：
1 1 1 是N的增函数 f ( N , N ,..., N ) g ( N )
3、可加性条件：多次试验确定取值时，X在各次试验中的不确定性可加。
香农熵与热力学中热熵的关系
熵
这个名词是仙农从物理学中的统计热力学借用过来 的，在物理学中称它为热熵是表示分子混乱程度的 一个物理量，这里，仙农引用它来描述信源的平均 不确定性，含义是类似的。但是在热力学中已知任 何孤立系统的演化，热熵只能增加不能减少；而在 信息论中，信息熵正相反，只会减少，不会增加。 所以有人称信息熵为负热熵。 二者还有一个重大差别：热熵是有量纲的，而香农 熵是无量纲的。
熵的物理含义
观察随机变量X、Y、Z
X ＝ P（x） 0.01 a1 ＝ P（z） Z ＝ a1 0.5 a2 a3 0.5 a4 a5 0.99 a2 a1 a2 H(X) = -0.01log0.01-0.99log0.99 =0.08（比特/符号）
Y
H(Y) = -0.5log0.5-0.5log0.5 =1（比特/符号） H(Z) = 5(-0.2log0.2) =2.32（比特/符号）
而p=0或1时，H(p)＝0，故二元熵函数的曲线如图所示：
H(p)/bit 1.0
等概时（p=0.5)：
随机变量具有最大的 不确定性，
p=0,1时：
随机变量的不确定性 消失。
0
0.5 二元熵函数曲线
1.0
p
熵函数的性质－－唯一性
定理2.2 设离散随机变量的概密矩阵为
X P（x） ＝ a1 a2 p1 p2 … … aN pN
结论：唯一的形式：
f ( p1 , p2 , , pn ) C pn log pn
n 1
N
C=常数>0， 即：
H ( p1 , p2 ,..., p N ) pn log pn
n 1
N
熵的单位
信息熵的单位与公式中的对数取底有关。 通信与信息中最常用的是以2为底，这时单位 为比特（bit）；理论推导中用以e为底较方 便，这时单位为奈特（Nat）；工程上用以10 为底较方便，这时单位为笛特（Det）。它们 之间可以引用对数换底公式进行互换。比如： 1 bit = 0.693 Nat = 0.301 Det
K
J
p(ak , b j ) log p(ak | b j )
K J p ( a k ,b j ) p (b j )
p(ak , b j ) log p(ak ) ＋ p(ak , b j ) log
k 1 j 1 p ( a k ,b j ) p ( ak ) p ( b j )
I ( X ;Y ) H ( X ) H ( X | Y )
I (Y ; X ) H (Y ) H (Y | X )
离散互信息
I ( X ;Y )
＝
I (Y ; X )
证明略。
I ( X ; Y ) 和I (Y ; X ) 是随机变量X和Y之间相互提供的信 息量－－称为互信息是完全确切的
P（y）
0.2 0.2 0.2 0.2 0.2
熵的物理含义
熵是随机变量的随机性的描述。

变量Y、Z等概，随机性大，变量X不等概，则随机性小 等概情况下，可取值越多，随机性越大 H（）是描述随机变量所需的比特数 X试验中发生a1,获得的自信息为-log0.01=6.64(bit) Y试验中发生a1,获得的自信息为-log0.5=2.32(bit) H（）反映的是平均的不确定性
上节课内容回顾
信息、信息科学与信息论

信息、信息技术、信息科学、信息理论
信息论研究的对象、目的和内容
信息论发展简史与现状
信息论的形成与发展 信息论方法的应用及其取得的成果

信息论的基本概念
杨杰
熵
熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵
• 互信息
•互信息的定义 •多个随机变量下的互信息 •互信息函数的性质
理解：表明一般情形下：条件熵总是小于无条件熵。
注意：这是平均意义上的
熵
熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵
• 互信息
•互信息的定义 •多个随机变量下的互信息 •互信息函数的性质
• 连续随机变量下 的熵与互信息
离散互信息
I ( X ;Y )
定义：离散随机变量X和Y之间的互信息
a
p
p (1 )q
q
b
p
在[a,b]上定义的上凸函数
f [p (1 )q ] f ( p ) (1 ) f (q )
a
p
p (1 )q
q
b
p
熵函数的性质—上凸性
上凸性：
熵函数具有凸性，即H（P）是P的上凸函数。
证明：作业一
熵函数的性质
熵可以作为信息的量度
对于随机变量而言：
试验前－－ 试验后－－
多次试验后－－
各取值的概率分布 （不确定性） 一定的确切性 （不确定性）
确切取值
（0）
熵
通过试验－－消除了不确定性－－获得了信息－－信息的数量＝
对于单个消息随机变量U，出现某个消息，对应概率为 这时可获得的信息量为 I ( pi )，则有：
连续性 可加性 对称性
A.I.Khinchin:
连续性 可加性 极值条件：等概 事件集合中零概率事件不影响确定性
其它熵
联合熵与条件熵
一个随机变量----两个随机变量----多个随机变量
则
条件熵：
物理含义：
已知一随机变量的情况下，对 另一随机变量不确定性的量 度 观测Y以后，仍保留的关于X的 不确定量。
例1.2:
试验前：
第一次 测量后：
1 3
2 2
3
4 1
5
6
7
8
X ＝ P（x）
1
2
3 1/8 3 1/4
4 1/8 4 1/4
5 1/8 5 0
6
7
8
1/8 1/8
1/8 1/8 1/8 6 0 7 0 8 0
H(x) = log8 = 3(bit/符号) H(x1) = log4 = 2(bit/符号)