信息论与编码第二章

§2.1 单符号离散信源
❖ 例：设在一正方形棋盘上共有64个方格，如果甲 将一粒棋子随意的按下列方案放在棋盘中的某方 格且让乙猜测棋子所在位置。
❖ （1） 将方格按顺序编号，令乙猜测棋子所在的 顺序号。问猜测的难易程度。
❖ （2）将方格按行和列编号，甲将棋子所在方格的 行（或列）编号告诉乙之后，再令乙猜测棋子所 在列（或行）的位置。问猜测的难易程度。
7（U7） 111（x1y1z1) 1/16
收到0后的 后验概率
收到01后的 后验概率
收到011后的 后验概率
§2.1 单符号离散信源
解：⑴ 收到第一个0(x0)后U0~U7的后验概率：
p(u0 x0) p(u0x0)
1/ 4
1 p(u1 x0)
p(x0) 2 1/ 4 2 1/ 8 3
提供的信息量之和。
§2.1 单符号离散信源
小结： 不确定性的大小与事件发生的概率有关
不确定性是概率的函数
信息量可以表示为概率的函数。
研究信息→建立信源的模型
§2.1 单符号离散信源
二、单符号离散信源的数学模型
❖ 单符号离散信源：输出离散取值的单个符号的信源。
❖ 单符号离散信源是最简单、最基本的信源，是组成 实际信源的基本单元，可以用一个离散随机变量来 表示。
即条件概率p(xi ∣ yj) 。
⒉ 互信息量的定义
xi的后验概率与先验概率之比的对数为yj对xi的互信息量。
用I(xi; yj)表示。
互信息量等于自信息量减去条件自信息量
I (xi;
yj)
log
p( xi y j ) p(xi )
log p(xi) log p(xi y j )
( 1,2, , n ; j 1, 2, , m)
试求：⑴ 填上表格中的后三列 ⑵ x0与各消息的互信息量 ⑶ 在收到（给定）x0条件下，y1与各消息的互 信息量。 ⑷ 在收到（给定）x0y1条件下，z1与U3消息的 互信息量. ⑸ 收到整个代码组x0y1z1出现后提供的有关消 息U3的互信息量。
§2.1 单符号离散信源
信源消 二进制代码 先验
息
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
7（U7） 111（x1y1z1) 1/16
收到0后的 收到01后的 后验概率 后验概率
p(xi)
§2.1 单符号离散信源
由前式可得：
p(xi yjzk) p(xi yj)
p(xi yj)
p(xi yjzk)
I (xi; yjzk) log
p( xi )
•
p( xi
yj
)
log
p( xi )
log
p(xi yj)
I (xi; yj) I (xi; zk yj)
此外，还有：
⑷ 自信息量的物理含义： ❖ 自信息量是事件发生前，事件发生的不确定性。 ❖ 自信息量表示事件发生后，事件所包含的信息量。
⒊ 联合自信息量
定义：二维联合集XY上的元素（xi yj ）的联合自信息量 定义为：
I(xiyj)=﹣㏒p(xiyj) 0≦p(xiyj) ≦1；∑∑ p(xiyj) =1
§2.1 单符号离散信源
获得信息量
§2.1 单符号离散信源
Xi 信道
Yj
⑵观察者站在输入端
❖ I(yj; xi)=logp(yj | xi)–logp(yj)=I (yj) – I(yj | xi)
❖
观察者得知输入端发出 xi 前、后对输出端出
现 yj 的不确定度的差。
§2.1 单符号离散信源
❖ ⑶观察者站在通信系统总体立场上
I(xi; yjzk) I(xi; yj) I(xi; zk yj) I(xi; zk) I(xi; yj zk)
将上式两边相加有：
I(xi; yjzk) 1 I(xi; yj) I(xi; zk)
2
I(xi; zk yj) I(xi; yj zk)
§2.1 单符号离散信源
根据互易性有：
p(u2 x0) p(u2x0)
1/8
1 p(u3 x0)
p(x0) 21/ 4 21/ 8 6
p(u4 x0) p(u5 x0) p(u6 x0) p(u7 x0) 0
§2.1 单符号离散信源
信源消 二进制代码 先验
息
概率
0（U0） 000（x0y0z0) 1/4
1（U1） 001（x0y0z1) 1/4
2（U2） 010（x0y1z0) 1/8
3（U3） 011（x0y1z1) 1/8
4（U4） 100（x1y0z0) 1/16
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
7（U7） 111（x1y1z1) 1/16
收到0后的 后验概率
1/3 1/3 1/6 1/6 0 0 0 0
❖ 互信息等于通信前后不确定度的差值
1
1
I (xi ; y j ) log p(xi ) p( y j ) log p(xi y j )
I ' ( xi y j ) I '' ( xi y j )
I (xi ) I ( y j ) I (xi y j ) 通信前：X和Y之间没有任何关系，即X、Y统计独
§2.1 单符号离散信源
解：设棋子位置为xi, p(xi )=1/64 i=1,2,…,64; （1） I(xi yj)= – logp(xi yj )=6比特 （2） 设行号为xi，列号为yj，且已知列号，即： I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )]
= -log[(1/64)/(1/8)]=3 比特 物理含义
§2.1 单符号离散信源
四、互信息量和条件互信息量
⒈ 互信息量的概念 在通信系统中，发送端发出的信息经有噪信道后，在
接收端收到的信息量的多少要用互信息量来描述。 ❖ 设X为信源发出的离散消息集合；Y为信宿收到的
离散消息集合； ❖ 信源发出的消息，经过有噪声的信道传递到信宿；
§2.1 单符号离散信源
其间信源X和信宿Y的数学模型为：
X p( x)
x1 p( x1)
x2 p( x2 )
, , , ,
xn 0≦p(xi) ≦1 p(xn) ∑p(xi)=1
Y p( y)
y1 p( y1)
y2 p( y2 )
, , , ,
ym p( ym )
0≦p(yj) ≦1 ∑p(yj)=1
概率
0（U0） 000（x0y0z0) 1/4
1（U1） 001（x0y0z1) 1/4
2（U2） 010（x0y1z0) 1/8
3（U3） 011（x0y1z1) 1/8
4（U4） 100（x1y0z0) 1/16
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
❖ 如果p(xi)=0，则I(xi ) → ∞ ; ❖ 如果p(xi)=1，则I(xi ) =0 ; ❖ 由两个相对独立的事件所提供的信息量，应等于它们分
别提供的信息量之和： I(xi yj)=I(xi )+I(yj)
§2.1 单符号离散信源
⑵ 自信息量定义为：
随机事件 Xi 的自信息定义为该事件发生概率的对数的负 值：
件的自信息
信息量的丢失，不确定性增加
§2.1 单符号离散信源
⒋ 条件互信息量 定义：联合集XYZ中，在给定Zk的条件下xi与 yj之间的互信息量定义为条件互信息量：
p(xi yjzk) I(xi; yj zk) log
p(xi zk)
在XYZ联合集上，还有xi与yjzk之间的互信息量
p(xi yjzk) I(xi; yjzk) log
收到01后的 后验概率
收到011后的 后验概率
§2.1 单符号离散信源
收到01后的后验概率：
p(u2 x0y1) p(u3 x0y1) p(u3x0y1)
1/6
1
p(x0y1) 2 1/6 2
p ( u0 x0y1)p ( u1 x0y1)p ( u4 x0y1) p( u5 x0y1)p( u6 x0y1)p( u7 x0y1)0
I ( xi ) I ( xi y j )
§2.1 单符号离散信源
❖ 互信息有两方面的含义：
❖ 表示事件yj出现前后关于事件xi的不确定性减少的量；
❖ 事件yj出现以后信宿获得的关于事件xi的信息量。
❖ 对互信息量的理解
⑴观察者站在输出端
Xi 信道
Yj
❖ I(xi;yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj) ❖ I (xi) ：在 yj 一无所知的情况下 xi 存在的不确定度； ❖ I(xi|yj) ：收到 yj 后对 xi 仍然存在的不确定度； ❖ I(xi;yj)：收到 yj 前和收到 yj 后不确定度被消除的部分
离散单符号信源X的概率空间：
X P(
X
)
x1 p(x1)
x2 ... p(x2) ...
xq
p(xq )
p(xi ) 0
n
p(xi ) 1
i 1
完备性
§2.1 单符号离散信源
三、信息量
⒈ 概率论的基本公式及性质（P.12) ⒉ 信息量
⑴ 自信息量的概念 有前分析我们可得出：
❖ 如果p(x1) < p(x2)，则I(x1) > I(x2)， I(xi )是 p(xi) 的单调 递减函数（成反比关系）
第二章 信 源 熵