信息论理论基础

i 1 M i j 1
N
M
j
) 1, p( xi | y j ) 1,
i 1 N
N
p( y
j 1
N
j
| xi ) 1, p( xi , y j ) 1
j 1 i 1
M j
M
(3)
p( x , y
i 1 i
) p( y j ), p( xi , y j ) p( xi )
H(x) 1
p 0
2013-10-26
1/2
1
22
3. 熵函数的性质
(1) 非负性 H(x) ≥0
H ( x ) - p( xi ) log p ( xi )
i 1 N
由于 0≤p(xi)≤1 所以 log p(xi) ≤0 因此有 H(x)≥0 (2) 对称性
H ( p1 , p2 ,... pn ) H ( pn , p1 , p2 ,... pn1 )
H (0.99, 0.1) H (0.5, 0.5)
H (0.25, 0.25, 0.25, 0.25)
H (0.99,0.01) H (0.5,0.5) H (0.25,0.25,0.25,0.25)
(1) 不确定程度与信源概率空间有关； (2) 若状态数相同，等概分布时不确定程度最大； (3) 等概分布时，状态数越多则不确定程度越大。
2.不确定性的度量——不确定程度
不确定程度可以直观理解为猜测某些随机事件的 难易程度。 【例】布袋中有100个小球，大小、重量、手感完 全相同，但颜色不同。从布袋中任取一球，猜测 其颜色。 A. 99个红球，1个白球； B. 50个红球，50个白球； C. 25个红球，25个白球，25个黑球，25个黄球。
2013-10-26 2
2.1 信息度量
2013-10-26
3
2.1.1 信息度量的必要性

通信的目的是为了传递信息。单位时间内 信道所传递的信息量称为传信率，它是衡 量通信系统性能的重要指标之一。为了得 出通信系统的传信率，必须对消息或信源 所含有的信息有一个数量上的度量方法这 就是我们研究信息度量的目的。
1 H ( xi ) log p( xi )
2013-10-26
9
2.1.3 信息量
1.概率基本关系式
(1) 0 p( x )，p( y )，p( y | x )，p( x | y )，p( x , y ) 1 i j j i i j i j
(2)
p( x ) 1, p( y
(6) p( xi | y j )
p( x i , y j )
p( x , y )
i 1 i j
n
，p ( y j | x i )
p( x i , y j )
p( x , y )
j 1 i j
11
m
2013-10-26
2.信息量的定义：
收信者收到一个消息后，所获得的信息量等于不 确定度的减少量。
24
令： F
p1 F (1 log p2 ) 0 p2

(1 log p1 ) 0
F (1 log pN ) 0 pN
可得 代入到约束方程可得 因此
p1 p2 pN e 1
p1 p2 pN 1/ N
损失了 信息量 p( x2 | y1 ) 3/8 I ( x2 , y1 ) log = log = 0.415bit
p( x 2 | y2 ) 3/ 4 I ( x2 , y2 ) log = log =0.585bit p( x2 ) 1/ 2
2013-10-26 18
p(x1y1)=5/12，p(x1y2)=1/12，p(x2y1)=1/4 p(x2 y2)=1/4
p(x1|y1)=5/8，p(x1|y2)=1/4，p(x2|y1)=3/8，p(x2| y2)=3/4
2013-10-26 17

2.计算收到一个消息所获得的信息量
p( x1 | y1 ) 5/8 I ( x1 , y1 ) log = log =0.322bit p( x1 ) 1/ 2 p( x1 | y2 ) 1/ 4 I ( x1 , y2 ) log = log = 1bit p( x1 ) 1/ 2 p( x2 ) 1/ 2
1 收到yj后对xi的不确定程度： ( xi | y j ) log H p( xi | y j )
收到yj后对xi的不确定程度：
1 1 I ( xi , y j ) H ( xi ) H ( xi | y j ) log log p( x i ) p( x i | y j )
I ( xi , y j ) log
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 25
2.3 二元联合信源的共熵与条件熵
2013-10-26
26
2.3.1 二元联合信源的共熵
1.定义
二元联合信源的共熵是指二元联合信源(X,Y)输出 一个组合消息状态所发出的平均信息量，也称为 联合熵，记作H(x,y)。
【例1】计算只能输出“1”和“0”两个消息(状态)的 简单二元信源的熵。 解：假设p(1)=p, p(0)=1-p(0≤p≤1)
H ( x ) - p( xi ) log p( xi ) - p log p - (1- p) log(1- p)
i 1 N
(1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0
0.093bit/符号
2013-10-26
19
2.2 离散信源的熵
2013-10-26
20
1.离散信源
离散信源是指只能输出有限数量消息(状态)的信源。
2.离散信源的熵
信源输出一个消息(状态)所提供的平均信息量或信 源的不肯定程度称为信源熵。
x1 , x2 , , xN X : P ( X ) : p ( x1 ), p( x2 ), , p( xN )
N 1 H ( x ) p( xi )I ( xi ) p( xi ) log p( xi ) log p( xi ) p( x i ) i 1 i 1 i 1 N N
单位：bit/符号(消息)、nat/符号(消息)、Hartley/符号(消息)
2013-10-26 21
j 1
10
2013-10-26
(4) p( xi , y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j ) (5) 当X和Y相互独立时， p( xi , y j ) p( xi ) p( y j )
p( y j | xi ) p( y j )，p( xi | y j ) p( xi )，
2013-10-26 14
4.互信息量：
X 信道 Y
N
在有噪声信道下，假设信源发出的状态为xi ，接 收者收到的状态为yj 。接收者收到yj 后，从yj 中获 取到关于xi的信息量，就是信源发出xi后接收者收 到的信息量，称为互信息量，记为I(xi, yj)。
2013-10-26 15
1 收到yj前对xi的不确定程度： ( xi ) log H p( xi )
p( xi | y j )
后验概率 =log p( xi ) 先验概率
(2.12)
I ( xi , y j ) I ( xi )
2013-10-26
16
【例1】某电报系统发送传号M和空号S的概率相等， 即P(M)=P(S)=1/2。由于信道中噪声的影响，使1/6 的传号收成空号，而半数的空号收成传号。问收信 者收到一个符号后所获得的平均信息量是多少？ 解：1.计算先验概率、联合概率和后验概率 发送符号：M M M M M M S S S S S S 接收符号：M M M M M S S S S M M M x1：发M，x2：发S，y1：收M，y2：收S p(x1)=1/2，p(x2)=1/2
1 I ( xi ) H ( xi ) 0 log p( xi )
2013-10-26
(2.7)
13
【例】一次掷两个色子，作为一个离散信源，求下 列消息的自信息量。 a.仅有一个为3； b.至少有一个为4；c.两个之和 为偶数。 解：p(a)=10/36=5/18 p(b)=11/36 p(c)=18/36=1/2 I(a)=log(18/5)=1.848 (bit) I(b)=log(36/11)=1.7105 (bit) I(c)=log2=1 (bit)
(3) 确定性
H (1, 0) H (0,1) H (1, 0, 0,...0) 0
2013-10-26 23
(4) 极值性
x1 , x2 , , xN X : P( X ) : p1 , p2 , , pN
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 7
3.不确定程度基本关系式——Hartley公式
若信源X等概分布，则其不确定程度H(x)与概率P 满足： P越大，则H(x)越小； 当P =1时，则H(x) =0； 当P =0时，则H(x) =∞ ； 信源不确定程度应具有可加性。 若X与X’相互独立，则H(x, x’)=H(x)+ H(x’)
I=不确定度的减少量
2013-10-26
12
3. 自信息量
在没有噪声的情况下，信源发出xi 接收者就会收 到xi 。这时接收者收到的信息量就等于xi 本身含 有的信息量，称为信源状态xi 的自信息量，记为 I(xi)。 收到xi前对xi的不确定程度：H(xi) 收到xi后对xi的不确定程度：0 自信息量