信息论与编码习题与答案第二章

第一章

信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章

信源的分类？

自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?

具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(

y x y x i

i

i

i

p I -=

平均自信息量、平均不确定度、信源熵：∑-=i

i i x x p p X H )(log )()(

条件熵：)(log ),()(),()(y x y x y x y x j

i

j

ij

i

j

i

j

ij

i p p I p Y X H ∑∑-==

联合熵：),(log ),(),(),()(y x y x y x y x j

i j

ij

i j

i j

ij

i p p I p Y X H ∑∑-==

互信息：)

()(log

)()()

()(log

),();(y x y

x y

x y x y

y x j

i

j

i j

ij

i j

i

j

j

ij

i p p p p p p p Y X I ∑∑=

=

熵的基本性质：非负性、对称性、确定性

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1)

bit

x p x I x p i i i 170.418

1

log )(log )(18

1

61616161)(=-=-==

?+?=

(2)

bit x p x I x p i i i 170.536

1

log

)(log )(361

6161)(=-=-==

?=

(3)两个点数的排列如下：

11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61

62 63 64 65 66

共有21种组合：其中11，22，33，44，55，66的概率是36

16161=? 其他15个组合的概率是18

161612=??

symbol bit x p x p X H i

i i / 337.4181log 18115361log 3616)(log )()(=??? ??

?+?-=-=∑

(4)两个点数求和的概率分布如下：

sym bol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=?

?? ??

+?+?+?+?+?-=-=??????????=?

?????∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}

bit x p x I x p i i i 710.136

11

log

)(log )(3611116161)(=-=-==

??=

2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====????=

? ?????

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12

2118

()log log 1.415()3

I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=

平均每个符号携带的信息量为

87.81

1.9545

=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===

所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算： （1）点和划的信息量；

（2）点和划的平均信息量。 解：

“－”出现的概率是“?”出现概率的1/3 ∴

i

43)(p =? 4

1)(p =

-

(1) I(?)＝Log 43? ????0.415= I(-)=Log 4()2= (2) H= 14Log 4()34Log 43? ????

+0.811= 2-10 在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不在放进去。

求：（1）一次实验包含的不确定度；

（2）第一次实验X 摸出的是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度； （4）第二次实验Y 包含的不确定度。

解：

(2) P(黑/黑)= P(白/黑)=

6

.8010

14

log 1410414log 144/(=+=黑）Y H

(3) P(黑/白)= P(白/白)=

H(Y/白)=

(4)

311441551451510)(p =?+?=黑

3

214101551491510(p =

?+?=白）

H(Y)=

2-14 在一个二进制信道中，信源消息}1,0{∈X ，且p(1)=p(0),信宿的消息}1,0{∈Y ,信道

传输概率

4

/1)01(===x y P ，8/1)10(===x y P 。求：

（1）在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I(X;y=0);

（2）该情况所能提供的平均互信息量I(X;Y)。 解：

(1)

P(ij)= P(i/j)=

408

.0)

1()01(log

)01()

0()00(log )00()

()0(log

)0(0;(======+==========∑x p y x p y x p x p y x p y x p p y p y p y X I x x x i i i i

）

(2) 方法

1:

=

方法2:

2-15 已知信源发出a1和a2两种消息，且p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为ε

ε==-==)12()21(,1)22()11(a b p a b p a b p a b p 。求互信息量

I(a1;b1)和I(a1;b2)。

解：信道转移概率矩阵为 P(j/i)=

ε

ε-=-=?=12

1)

1(21

)

1()11()1()11(b p a b p a p b a p

)]

1(2log[)

1()11(log

)1;1(ε-==a p b a p b a I

ε

ε

==?=2

121

)

2()12()1()21(b p a b p a p b a p

)

2log()

1()21(log

)2;1(ε==a p b a p b a I

2.17 每帧电视图像可以认为是由3 105

个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：1)

sy

bit X NH X H symbol

bit n X H N / 101.27103)()(/ 7128log log )(6522?=??=====

2)

symbol

bit X NH X H symbol

bit n X H N

/ 13288288.131000)()(/ 288.1310000log log )(22=?=====

3)

158037288

.13101.2)()(6=?==X H X H N N

2-26 一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C 中的一个，第二个符号X2可以是D,E,F,G 中的一个。已知各个()

x i p 1为p(A)=1/2,p(B)=1/3,p(C)=1/6;

各个)

(12x x i j p 值列成如下。求这个信源的熵（联合熵H(X1;X2)）。

x

j

2

x

i

1

A

B

C D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G

1/4

3/10

1/6

解： P(i)= P(ij)=

H(X1;X2)=