信息论习题全版.docx

[例2.1.4 条件熵] 已知X ，Y }1,0{∈,XY 构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。

解： 根据条件熵公式：

∑∑==-=m

j n

i j i j i y x p y x p Y X H 112)/(log )()/(

)()

()/(j j i j i y p y x p y x p =

首先求∑==2

1

)()(i j i j y x p y p ，有

)

/(406

.0243log 8341log 8

1

)

1/1(log )11()

0/1(log )10()1/0(log )01()0/0(log )00()/(,

4

3

)1/0()0/1()

1/1(41

2/18/1)0()00()0()00()0/0()0/0(2

1

)1()1(8

1

83)10()00()0()0(22222211111212111symbol bit p p p p p p p p Y X H p p p y p y x p p p y x p p y p p c

y x p y x p y p p =???? ??--=-----==============

===+==+====从而有：

同理可求得[例2.1.5]将已知信源?

??

???=?

???

??5.05.0)(21

x x X P X

接到下图所示的

信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。

1x 0.981y

0.02

0.2

2x 0.82y

解：（1）由),/()()(i j i j i x y p x p y x P =求出各联合概率：

49.098.05.0)/()()(11111=?==x y p x p y x p

01.002.05.0)/()()(12121=?==x y p x p y x p 10.020.05.0)/()()(21212=?==x y p x p y x p 40.080.05.0)/()()(22222=?==x y p x p y x p

（2）由,)()(1

∑==n

i j i j y x P y P 得到Y 集各消息概率：

=)(1y p 59.010.049.0)()()(12112

1

1=+=+=∑=y x p y x p y x P i i

41.059.01)(1)(12=-=-=y p y p

（3）由)

()()/(j j i j i y p y x p y x

p =

，得到X 的各后验概率：

831.059

.049

.0)()()/(11111===y p y x p y x p

169.0)/(1)/(1112=-=y x p y x p

同样可推出976.0)/(,024.0)/(2221==y x p y x p

（4）)/(1}5.0log 5.05.0log 5.0{)(log )()(222

1

2符号比特=+-=-=∑=i i i x p x p X H

}41.0log 41.059.0log 59.0{)(log )()(222

1

2+-=-=∑=i i i y p y p Y H

=0.98(比特/符号)

)(log )()(211j i n

i m

j j i y x p y x p XY H ∑∑==-=

}

40.0log 40.010.0log 10.001.0log 01.049.0log 49.0{2222+++-=

=1.43（比特/符号）

（5）平均互信息

符号）

比特/(55.043.198.01)()()();(=-+=-+=XY H Y H X H Y X I

（6）疑义度

∑∑==-=2

12

12)/(log )(/i j j i j i y x p y x p Y X H ）（

}

976.0log 40.0169.0log 10.0024.0log 01.0831.0log 49.0{2222+++-=

符号）比特/(45.0=

（7）噪声熵

∑∑==-=2

12

12)/(log )(/i j i j j i x y p y x p X Y H ）（

}

80.0log 40.020.0log 10.002.0log 01.098.0log 49.0{2222+++-=

符号）比特/(43.0=

[例2.2.1]有一离散平稳无记忆信源

∑==?

?

????????=??????3

1

3211)(41,41,21,,)(i i

x p x x x X P X ，求此信源的二次扩展

信源的熵。

先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X 的输出长度为2的消息序列。由于扩展信源是无记忆的，故

)9,,2,1;3,2,1,()

()()(2121 ===i i i x p x p a p i i i

根据熵的定义，二次扩展信源的熵为

)(2)/(3)(X H X H N ==符号比特

结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X 的熵导出。即离散平稳无记忆信源X 的N 次扩展信源的熵为离散信源X 的熵的N 倍。

[例2.2.2]设某二维离散信源X=21X X 的原始信源X 的

信源模型为??

?

???

????=?

?????36119

44

1)(321

x x x

X P X ，X=21X X 中前后两个符号的条件概率为

原始信源的熵为：

)/(542.1)(log )()(23

1

symbol bit x p x p X H i i i =-=∑=

由条件概率确定的条件熵为：

)

/(870.0)/(log )/()()/(1

2

1

2

121

2313

1

12symbol bit x x p x x p x p X X H i i i i i i i =-=∑∑==条件熵比信源熵（无条件熵）减少了0.672bit/symbol,正是由于符号之间的依赖性所造成的。信源X=21X X 平均每发一个消息所能提供的信息量，即联合熵

)

/(412.2)/()()(12121symbol bit X X H X H X X H =+=则每一个信源符号所提供的平均信息量

)/(206.1)(2

1

)(21)(212symbol bit X X H X H X H ===

小于信源X 所提供的平均信息量H(X)，这同样是由于符号之间的统计相关性所引起的。

[例2.2.3]设信源符号},,{321x x x X ∈，信源所处的状态

},,,,{54321e e e e e S ∈。各状态之间的转移情况由下图给出。

2

13=

x 2

13=

x 4

1=

4

11=

12=

x

将图中信源在i e 状态下发符号k x 的条件概率

)/(i k e x p 用矩阵表示为

3

2

1

x x x

??????????

????????????21414

10014143021210414121

由矩阵可明显看出，∑===3

1

5,4,3,2,1,1)/(k i k i e x p 。另从图

中还可得

????

?

????================----

0),/(1),/(1),/(0),/(1121112211111112e S x X e S

P e S x X e S P e S x X e S

P e S x X e S P l l l

l l l l l l l l l

所以信源满足式(4)

由图还可得状态的进一步转移概率

5

4

3

2

1

e e e e e

??????????

???????????

?414

30

0000000041430002121004104121

该信源满足式(2)-(4)，所以是马尔可夫信源，并且是时齐的马尔可夫信源。

[例2.2.4]某二元2阶马尔可夫信源，原始信源X 的符号集为{}1,021

==X X

，其状态空间共有422==m n 个不同的

状态4321,,,e e e e ，即，其状态转移概率图如下，

0.8

由上图可知，当信源处于状态100e =时,其后发生符号0的概率是0.8,即8.0)|()00|0(11==e x p p , 状态仍停留在1e ,即

8.0)|()|(1111==e x p e e p 。当信源仍处于状态1e ，而发出的符

号为1时，状态转移至201e =，故一步转移概率

2.0)|()|()00|1(1212===e e p e x p p 。当信源处于状态012=e 时，其

一步转移概率为5.0)|()|()01|0(2321===e e p e x p p ，

}11,10,01,00{:4321====e e e e E

5.0)|()|()01|1(2422===e e p e x p p 。

同理，当信源处于状态103=e 时，

5.0)|()|()10|0(3131===e e p e x p p 5.0)|()|()10|1(3232===e e p e x p p

当信源处于状态114=e

2.0)|()|()11|0(4341===e e p e x p p

8.0)|()|()11|1(4442===e e p e x p p

这样，由二元信源X }1,0{∈得到的状态空间{}4,321,,e e e e 和相应的一步转移概率构成的2阶马尔可夫信源模型为

4,3,2,1,)/(43

2

1=?

?

??

??j i e e p e e e e i j

且

0)(,

1

)/(4

1

>=∑=i j i j

e p e e

p 由∑===4

1

4,3,2,1)

/()()(i i j i j j e e p e p e p

可求出稳定状态下的)(j e p ，称为状态极限概率。

将一步转移概率代入上式得：

)(8.0)(5.0)()(2.0)(5.0)()(5.0)(2.0)()(5.0)(8.0)(424423312311e p e p e p e p e p e p e p e p e p e p e p e p +=+=+=+= 解此方程组得

142)()(145)()(3241=

==

=e p e p e p e p

计算极限熵

)/(8.0)/(log )/()(4

14

112symbol bit e e p e e p e p H H i j i j i j i =-==∑∑==+∞

需要注意的是∞H 并非在任何情况下都存在。首先应记住的是：我们讨论的是平稳信源。其次，对n 元m 阶马尔可夫信源来说，只有极限概率

m

j n j e p ,,2,1),( =都存在时，方能计算出∞H 。从理论上

可以证明，如果m 阶马尔可夫信源稳定后具有各态历经性，则状态极限概率)(j e p 可根据式（10）求出。

必须强调的是，m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系不同，对相应关系的数学描述不同，平均信息量的计算公式也不

同。m 阶马尔可夫信源的记忆长度虽为有限值m ，但符号之间的依赖关系延伸到无穷，通常用状态转移概率（条件概率）来描述这种依赖关系。可理解为马尔可夫信源以转移概率发出每个信源符号，所以平均每发一个符号提供的信息量应是极限熵1+m H 。而对于长度为m 的有记忆信息源X ，发出的则是一组组符号序列，每m 个符号构成一个符号序列组，代表一个消息。组与组之间是相互统计独立的，因此符号之间的相互依赖关系仅限于符号之间的m 个符号，一般用这m 个符号的联合概率来描述符号间的依赖关系。对于这种有记忆信源，平均每发一个符号，（不是一个消息）提供的信息量，是m 个符号的联合熵的m 分之一，即平均符号熵

)(1

)(21m m X X X H m

X H =

[例2.4.1]设某单符号信源模型为

?

?????=??????04.005.006.007.010.010.018.04.0)(87654321

x x x x x x x x x p X 计算得

)/(55.2)(符号比特=X H

323.1)]([2=i x I σ

若要求编码效率为90%,即

90.0)()

(=+ε

X H X H

则 ε=0.28

设译码差错率为610-，由式（3）可得 7106875.1?≥L

由此可见，在差错率和效率的要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。

不仅如此，它的编码效率也不高。对8种可能的取值编定长码，要无差错地译码，每种取值需用3个比特，其编码效率

%853

55.2==η

为了解决这一问题，就出现了不等长编码，也称变长编码。

不等长编码允许把等长的消息变换成不等长的码序列。通常把经常出现的消息编成短码，不常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。例如在不等长码字组成的序列中要正确识别每个长度不同的码字的起点就比等长码复杂得多。另外，接收到一个不等长码序列后，有时不能

马上断定码字是否真正结束，因而不能立即译出该码，要等到后面的符号收到后才能正确译出。这就是所谓的译码同步和译码延时问题。

[思考题] 已知12个球中有一个球的重量与其它球不同，其它球均等重。问用无砝码的天平至少须几次才能找出此球？ 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的

不确定性为：24log 21

121log =?- 因为 3log3

＞log24

∴3次测量可以找出该球 具体称法略。

[例一]一副充分洗乱了的牌（含52张牌），试问：

(1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不

相同能得到多少信息量？

(1)任意排列共有!5252

52=P 种，则任一排列

的自信息量为：!52log !521

log =-。

(2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类中分别进行。其概率为：

C C C C C 1352

1

4

1

441

481

52....，

∴ 信息量C

C C C C 1352

1

4

144148

152

....log -=。 [例二] 已知随机变量X 和Y 的联合概率分布满足：6

1)()(,3

2)(,4

1)()(,2

1)(3

21

3

21

======b p b p b p a p a p a p

试求能使H(XY)取最大值的联合概率分布。

H(X Y) ≤ H(X) + H(Y) 等号在X 、Y 独立时取得

∴P(1

1b a ) = 31 P(2

1

b a ) = 121 P(3

1

b a ) = 12

1

P(1

2

b a ) = 6

1 P(2

2

b a ) = 241 P(3

2

b a ) = 241 P(1

3

b a ) = 6

1 P(2

3

b a ) = 241 P(3

3

b a ) = 241 满足 H(XY) 取最大值

[例三]求证：

I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+I(X;Y)+I(Y;Z)+I(Z;X)

右式，原式成立

故左式而等式右边=---=-+-+-+---=---=-+--=+--=-=)

|()|()|()()|()()|()()|()()

()()()()

|()|()|()()()()|()|()()

|()|()|()()

|;();();;(X Z H Z Y H Y X H XYZ H X Z H Z H Z Y H Y H Y X H X H Z H Y H X H XYZ H X Z H Z Y H Y X H XYZ H XZ H XYZ H Z Y H Y X H X H XZ Y H Z Y H Y X H X H Z Y X I Y X I Z Y X I

[例4]令X 为掷钱币直至其正面第一次朝上所需的次数，求H(X)

P(X=n) = 21

)21(1n ?- = n )21(

H(X) = ∑∞

=--1n n 1n )21log()2

1(21 = ∑n

)21(n = 2 bit

[例5]一个无记忆信源有四种符号0，1，2，

3。已知81

414183)3(,)2(,)1(,)0(====p p p p 。

试求由6000个符号构成的消息所含的信息量。 解：先计算一个符号所含的平均自信息量，

即信源熵H

H=∑=-3

)(log )(i i P i p =1.9056bit 无记忆信源由6000个符号构成的符号序列消息bit X H X

H 11434)(6000)(6000

==

[例6]发出二重符号序列消息的信源熵为

),(2X H 而一阶马尔可夫信源的信源熵为),(X X H 试比较这两者的大小，并说明原因。 解：根据公式)()()(X Y H X H XY H +=，当Y 和

X 为同一集合时，有)()()()(2

X X H X H X H XX H +==，各种熵和条件熵均为非负值，当且仅当X 中只含有一个确定性事件时才出现H （X ）=0。当X 中含有二个或二个以上事件时，有H （X ）

＞0，及H （X 2

）＞0，H （X|X ）＞0，因为H

（X ）＞0所以H （X 2

）＞H （X|X ）

说明，在一般情况下，发二重符号序列的信

源的信源熵H （X 2

）大于一阶马尔可夫过程的信源熵H （X|X ）

[例7]有一个马尔可夫信源，已知32

11)(=x x p ，

3112)(=x x p ，

1)(21=x x p ，0)(22=x x p ，试画出该信源的概率转移图，并求出信源熵。 解：该信源的概率转移图为：

1/3

○ ○

2/3(x 1) 1 (x 2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p

=)()(213

2x p x p +

)()()(1122x p x x p x p =+)()(112x p x x p

=)(0)(213

1x p x p + )()(21x p x p +=1

得4

31)(=x p 412)(=x p

马尔可夫信源熵H = ∑∑-I j

i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号