平均互信息量和各种熵关系

X
由于互信息 I ( xi ; y j )是表示观测到 y j 后获得的关于 事件 xi 的信息量，即 p ( xi | y j ) I ( xi ; y j ) log p ( xi ) 故平均条件互信息量又可以表示为
I ( X ; y j ) p ( xi | y j ) log
互信息量I(xi;yj)不能从整体上作为信道中信息流 通的测度。
这种测度应该是从整体的角度出发，在平均意义上度量 每通过一个符号流经信道的平均信息量。 作为一个测度，它不能是随机量，而是一个确定的量。
3
HUST Furong WANG--- Information and Coding Theory
9
HUST Furong WANG--- Information and Coding Theory
平均互信息量的其它定义
平均互信息量I(X;Y)也可定义为
I ( X ; Y ) p ( xi y j ) log
XY def def
p ( xi | y j ) p ( xi ) p ( y j | xi ) p( y j )
平均条件互信息量
定义： 在联合集XY上，由 y j提供的关于集X的 平均条件互信息量等于由 y j 所提供的互信息量I ( xi ; y j ) 在整个X中以p( xi | y j )后验概率加权的平均值，其 定义式为 def
I ( X ; y j ) p( xi | y j ) I ( xi ; y j )
X
T Furong WANG--- Information and Coding Theory
互信息量—信道中信息流通的测度？
互信息量I(xi;yj)是定量研究信息流通问题的重要 基础。
它只能定量地描述输入随机变量发出某个具体消息xi， 输出变量出现某一具体消息yj时，流经信道的信息量。 “输入xi ，输出yj”是一个概率为p(xi yj) 的随机事件， 相应的I(xi;yj)也是随xi和yj变化而变化的随机量。
10
当xi 和y j 相互独立时,I ( xi ; y j ) 0 (i 1, 2,; j 1, 2,) 且I ( X ; Y ) 0
HUST Furong WANG--- Information and Coding Theory
平均互信息的性质
平均互信息量有以下基本性质：
13
HUST Furong WANG--- Information and Coding Theory
性质2：对称性I(X;Y)=I(Y;X)的证明
证明：按定义
I ( X ; Y ) p ( xy ) log
7
HUST Furong WANG--- Information and Coding Theory
定理
I(X;yj)≥0 的证明
p( xi | y j ) p ( xi ) 改写为 I ( X ; y j ) p( xi | y j ) log p( xi ) p ( xi | y j ) X
n m
定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值
I ( X ; Y ) p( xi y j ) I ( xi ; y j ) p ( xi y j ) log
i 1 j 1 i 1 j 1
n
m
p( xi / y j ) p( xi )
称I(X;Y)是Y对X的平均互信息量，简称平均互信息，也称平均 交互信息量或交互熵。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一 个确定的量，因此，可以作为信道中流通信息量的整体测度。
p
i 1
n
i
1
p
j 1
m
j
1
4
HUST Furong WANG--- Information and Coding Theory
输入X、输出Y的联合空间XY
以{ XY , p ( xy )}表示二维联合概率空间 XY x1 y1 , x1 y2 , , xi y j , , xn ym p ( xy ) p ( x y ), p ( x y ), , p ( x y ), , p ( x y ) i j n m 1 2 1 1 其中， 和Y的联合空间 XY {xi y j ; xi X , yj Y , i 1, 2,..., n; j 1, 2,..., m}， X 对每组事件(积事件)xi y j XY 相应的概率二维联合概率p ( xi y j )， 且 p ( xi y j ) 1; p ( xi ) p ( xi y j ); p ( y j ) p ( xi y j );
8
HUST Furong WANG--- Information and Coding Theory
平均互信息量
定义：平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个 集Y上的概率加权平均值。其定义式为
I ( X ; Y ) p( y j ) I ( X ; y j )
Y
5
若对于所有的i, j,事件xi 和y j ; 彼此统计独立, 且有p ( xi y j ) p ( xi ) p ( y j ) i, j 成立, 则称集X 与Y 统计独立, 否则称集X 与Y 统计相关
HUST Furong WANG--- Information and Coding Theory
X
p ( xi | y j ) p ( xi )
6
HUST Furong WANG--- Information and Coding Theory
定理
定理： 联合集XY上的平均条件互信息量有 I(X; yj ) 0 等号成立当且仅当X集中的各个 xi 都与事件 y j 相互 独立。
平均条件互信息量表示观测到yj后获得的关于集X 的平均信息量。 I(X; yj)仍然是一个随机变量，随yj的变化而变化， 因此，不能作为信道中流通信息量的整体测度。
2、非负性I(X;Y)≥0
当且仅当X与Y相互独立时，等号成立。即如果X与Y相互 独立，它们之间相互不能提供任何信息。
12
HUST Furong WANG--- Information and Coding Theory
性质1：非负性I(X;Y)≥0的证明
证明: 按照平均互信息的定义式 p ( xi ) I ( X ; Y ) p ( xi y j ) log ; p ( xi | y j ) XY 利用不等式 ln w w 1; 和关系式 log w ln w log e p ( xi ) I ( X ; Y ) p ( xi | y j ) p ( y j ) 1 log e XY p ( xi | y j ) p ( xi ) p ( y j ) p( xi | y j ) p ( y j ) log e 0 XY XY 等号成立的条件是, 对于i, j 都有p ( xi ) p ( xi | y j ), ( p( y j ) 0) 即 当且仅当X 与Y 相互独立时, I ( X ; Y ) 0 证毕
证明 : 将平均条件互信息量的表示式 I ( X ; y j ) p( xi | y j ) log
X
p( xi ) 令 w 则有 I ( X ; y j ) p( xi | y j ) log w p ( xi | y j ) X 利用不等式 ln w w 1; log w ln w log e p( xi ) 得 I ( X ; y j ) p ( xi | y j ) 1 log e p ( xi ) p ( xi | y j ) log e 0 X X p( xi | y j ) 故 I(X ; yj ) 0 当且仅当 p ( xi ) p ( xi | y j ) 时,I ( X ; y j ) 0 证毕
HUST Furong WANG--- Information and Coding Theory
第2章 信源熵
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系
I ( X ; Y ) p ( xi ) p ( y j | xi ) log
XY
I ( X ; Y ) p ( xi y j ) I ( xi ; y j )
XY
def
其中I ( xi ; y j ) log
p ( xi | y j ) p ( xi )
log
p ( y j | xi ) p( y j )
输入X、输出Y的离散概率空间描述
以{ X , P}表示输入离散概率空间 X x1 , x2 , , xi , , xn P ( X ) p ( x ), p ( x ), , p( x ), , p( x ) 1 2 i n 其中，输入离散事件集 X {xi , i 1, 2,..., n}， 对每一个事件xi X , 相应的概率为p ( xi )，简记为pi， P { pi ,i 1, 2,..., n}， pi 0，i 1, 2,..., n; 且 以{Y , P}表示输出离散概率空间 Y y1 , y2 , , y j , , ym P (Y ) p ( y ), p ( y ), , p ( y ), , p( y ) 1 2 j m 其中，输出离散事件集 Y { y j , j 1, 2,..., m}， 对每一个事件y j Y , 相应的概率为p ( y j )，简记为p j， P { p j ,j 1, 2,..., m}， p j 0，j 1, 2,..., m; 且