信息论与编码试卷及答案

一、（11’）填空题

（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关

三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则

P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）

故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）

I(A|B)=-log0.375=1.42bit （1分）

四、（5'）证明：平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY)

证明：

()()()

()

()()()()

()()

Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X

Y

i j i j i -=???

???---==∑∑∑∑∑∑log log log

; （2分）

同理

()()()

X Y H Y H Y X I -=; （1分） 则

()

()()Y X I Y H X Y H ;-= 因为

()()()

X Y H X H XY H += （1分） 故

()()()()Y X I Y H X H XY H ;-+=

即

()()()()XY H Y H X H Y X I -+=; （1分）

五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：

1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联，求熵()X H ；

2）假设黑白消息出现前后有关联，其依赖关系为，

，，

，求其熵()X H ∞。

3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解：1）信源模型为 （1分）

2）由题意可知该信源为一阶马尔科夫信源。 （2分） 由

（4分）

得极限状态概率

（2分）

（3分）

3）

119.02log )

(121=-=X H γ （1分）

447.02log )

(122=-

=∞X H γ （1分）

12γγ>。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反

映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）

六、（18’）.信源空间为

1

234567()0.20.190.180.170.150.10.01X x x x x x x x P X ????

=???????

?

，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

14

.3)(7

1

==∑=i i i l a p L 831.014.361

.2)(===

L

X H R

七（6’）.设有一离散信道，其信道传递矩阵为

?

?

?

?

?

?

?

?

?

?

2/1

6/1

3/1

3/1

2/1

6/1

6/1

3/1

2/1

，并设

?

?

?

?

??

?

?

?

=

=

=

4

1

)

(

2

1

)

(

4

1

)

(

3

2

1

x

p

x

p

x

p

，试分别按

最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

1）（3分）最小似然译码准则下，有，

2）（3分）最大后验概率准则下，有，

八（10'）.二元对称信道如图。

1）若()4

3

0=

p，()

4

1

1=

p，求()X

H、()Y

X

H|和()Y

X

I;；

2）求该信道的信道容量。

解：1）共6分

2），（3分）此时输入概率分布为等概率分布。（1分）

九、（18'）设一线性分组码具有一致监督矩阵

?

?

?

?

?

?

?

?

?

?

=

1

1

1

1

1

1

1

1

1

1

H

1）求此分组码n=?,k=?共有多少码字？

2）求此分组码的生成矩阵G。

3）写出此分组码的所有码字。

4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分）

2）设码字

()

1

2

3

4

5

C

C

C

C

C

C

C=

ρ

由

T

T

HC0

=得

?

?

?

?

?

=

⊕

⊕

⊕

=

⊕

⊕

=

⊕

⊕

1

3

5

3

4

1

2

C

C

C

C

C

C

C

C

C

C

（3分）

令监督位为

()

1

2

C

C

C

，则有

?

?

?

?

?

⊕

=

⊕

=

⊕

=

3

4

4

5

1

3

5

2

C

C

C

C

C

C

C

C

C

（3分）

生成矩阵为

?

?

?

?

?

?

?

?

?

?

1

1

1

1

1

1

1

1

1

（2分）

3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）4）由T

T HR

S=得

()符号

/

749

.0

|bit

Y

X

H=

()

S，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）101

=

（1分）

一、填空题（本题10空,每空1分,共10分）

1、必然事件的自信息量是____0____，不可能事件的自信息量是___无穷______。

2、一信源有五种符号{a，b，c，d，e}，先验概率分别为P a=0.5，P b=0.25，P c=0.125，P d=P e=0.0625。符号“a”的自信息量为___1_____bit，此信源的熵为__1.875______bit/符号。

3、如某线性分组码的最小汉明距d min=6，最多能纠正___2___个随机错。

4、根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码体制分成___对称（单密钥）_____和___非对称（双密钥）____。

5、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是__I(X:Y)=H(X)-H(X/Y)______。

6、克劳夫特不等式是唯一可译码__存在_______的充要条件。{00，01，10，11}是否是唯一可译码？___是______。

三、单项选择题(本题共10小题；每小题2分，共20分)

1、对连续集的熵的描述不正确的是（A）

A 连续集的熵和离散集的熵形式一致，只是用概率密度代替概率，用积分代替求和

B 连续集的熵值无限大

C 连续集的熵由绝对熵和微分熵构成

D 连续集的熵可以是任意整数

2、设信道输入为x m，输出为y，若译码准则是当P(y | x m’)≥P(y | x m)，对所有m≠m’时，将y 判为m’，则称该准则为（D）

A 最大后验概率译码准则

B 最小错误概率准则

C 最大相关译码准则

D 最大似然译码准则

3、线性分组码不具有的性质是（C）

A 任意多个码字的线性组合仍是码字

B 最小汉明距离等于最小非0重量

C 最小汉明距离为3

D 任一码字和其校验矩阵的乘积c m H T=0

4、关于伴随式的描述正确的是（A）

A 伴随式s与传送中信道出现的错误图样e有关

B 通过伴随式s可以完全确定传送中信道出现的错误图样e

C 伴随式s与发送的具体码字有关

D 伴随式s与发送的具体码字有关，与传送中信道出现的错误图样e也有关

5、率失真函数的下限为（B）

A H(U) B0 C I(U; V) D没有下限

6、纠错编码中，下列哪种措施不能减小差错概率（D）

A 增大信道容量

B 增大码长

C 减小码率

D 减小带宽

7、已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为

,则信源的最大平均失真度Dmax 为（D）

A 1/3

B 2/3

C 3/3

D 4/3

8、一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有 微小差异的假珠换掉1 颗。一人随手取出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去， 那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的 信息量（ A ）。

A 0bit

B log6bit

C 6bit

D log240bit

9、已知随机噪声电压的概率密度函数 p(x) =1/2，x 的取值范围为－1V 至+1V ，若把噪声幅度从 零开始向正负幅度两边按量化单位为0.1V 做量化，并且每秒取10 个记录，求该信源的时间熵（B ） A 21.61bit/s B 43.22bit/s C 86.44 bit /s D 以上都不对

10、彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64 种彩色度，每种彩度又有16 种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之 间相互独立。每秒传送25 帧图像所需要的信道容量（C ） A 50.106 B 75.106 C 125.106 D 250.106

第7章 线性分组码

1. 已知一个(5, 3)线性码C 的生成矩阵为：

1

1001G 0

11010

1

11??

??=??????

（1）求系统生成矩阵；

（2）列出C 的信息位与系统码字的映射关系；

（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；

（5）列出译码表，求收到r =11101时的译码步骤与译码结果。 解：

（1）线性码C 的生成矩阵经如下行变换：

231321

10011

00110110101101001110

0111100111

001101101010100011100111????

??????????→???

?????????

??????????????→???

?????????

将第、加到第行

将第加到第行

得到线性码C 的系统生成矩阵为

??

??

?

?????=111000*********S G

（2）码字),,,(110-=n c c c c K 的编码函数为

[][][]111000*********)(210m m m m f c ++==

生成了的8个码字如下

(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。 (4) 由],[],,[)()(k n T

k n k k n k k n I A H

A I G --?-?-==，得校验矩阵

??

????=1010101111H

(5) 消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列

c 0=00000, c 1=00111,c 2=01010, c 3=01101, c 4=10011, c 5=10100,c 6=11001, c 7=11110

则译码表如下：

当接收到r =(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为c =01101。

2．设（7, 3）线性码的生成矩阵如下

010101000101111001101G ??

??=??

????

（1）求系统生成矩阵； （2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。 解：

（1）生成矩阵G 经如下行变换

13

23

01010101

0011010010111001011110011010

10101010011011

0011010010111010101001010100010111????

????????→???

?????????

?????????????→???

?????????

交换第、行交换第、行

得到系统生成矩阵：

100110101010100010111S G ??

??=??

????

（2）由],[],,[)()(k n T

k n k k n k k n I A H

A I G --?-?-==，得校验矩阵为

1101000101010001100101010001H ?????

?=??

??

??

（3）由于校验矩阵H 的任意两列线性无关，3列则线性相关，所以最小汉明距离d =3。

（4）（7, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=0000000，c 1=0010111，c 2=0101010，c 3=0111101，c 4=1001101，c 5=1011010，c 6=1100111，c 7=1110000。又因伴随式有24=16种组合，差错图

样为1的有771=?? ???种，差错图样为2的有7212=?? ?

??

种，而由T T

Hr He =，则计算陪集首的伴随式，构造伴随表如下：

3．已知一个(6, 3)线性码C 的生成矩阵为：

.0 1 1 1 0 01 1 0 0 1 01 0 1

0 0 1G ????

??????=

（1） 写出它所对应的监督矩阵H ； （2） 求消息M =(101)的码字；

（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。 解：

（1）线性码C 的生成矩阵G 就是其系统生成矩阵G S ，所以其监督矩阵H 直接得出：

101100011010110001H =??????????

（2）消息M =(m 0,m 1,m 2)=(101)，则码字c 为：

[][][]()100101001110101011c f m ==+=

（3）收到码字r =(101010)，则伴随式

()()1

010111

10101010001100010001T rH ????????

==?

?????

????

g 又（6, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=000000，c 1=001110，c 2=010011，c 3=011101，c 4=100101，c 5=101011，c 6=110110，c 7=111000。伴随式有23=8种情况，则计算伴随式得到伴随表如下：

伴随式（001）对应陪集首为（000001），而c=r+e ，则由收到的码字r =(101010)，最有可能发送的码字c 为：c =

（101011）。

4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组

???

??=++=++=++0

00

631

532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字； （2）求生成矩阵，并由信息码元序列101生成一个码字。 解：

（1）由监督方程直接得监督矩阵即校验矩阵为：

110100011010101001H =??????????

因为收到的序列10110为5位，而由（6, 3）线性码生成的码字为6位，所以10110不是码字。 （2）由],[],,[)()(k n T

k n k k n k k n I A H

A I G --?-?-==，则生成矩阵为：

100101010110001011S G G =????=??????

信息码元序列M=（101），由c =mGs 得码字为c ：

()()()()012100101010110001011101110c m m m =++=

第8章 循环码

1. 已知(8, 5)线性分组码的生成矩阵为

???

????

?

?????

???=10000111

0100010000100010

0001000100001111

G

（1）证明该码是循环码；

（2）求该码的生成多项式)(x g 。 （1）证明如下：

(1)(2)(2)1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 01 0 0 0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 00 0 1 0 0 0 1 01 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1+????????????

???????→????????????????(3)

(3)(4)1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 00 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 00 0 0 1 1 1 1 01 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1++???→?????????????????→?????????????(1)(5)

(4)(5)

1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 00 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 00 0 0 1 1 1 1 00 0 0 1 0 0 0 10 0 0 0 1 1 1 1++?

????→????????????????→?????????????

?????????

由生成矩阵可知为（8、5）循环码。 （2）生成多项式如下：

32()1g x x x x =+++

2. 证明：1245810

++++++x x x x x x

为(15, 5)循环码的生成多项式，并写出信息多项式为

1)(4++=x x x m 时的码多项式（按系统码的形式）。

由定理8-1可知（n ，k ）循环码的生成多项式g(x)为x n +1的因子， g(x)为n-k 次多项式，本题目中知：10

8

5

4

2

()1g x x x x x x x =++++++为一个10次多项式，n-k=15-5=10 并且：15

10

8

5

4

2

(1)mod(1)0x x x x x x x +++++++==

所以：10

8

5

4

2

1x x x x x x ++++++是15

1x +的一个因子，也是循环码的生成多项式。 按系统码构造多项式如下：

4()1m x x x =++

410141110

108542876()(1)()(())mod(1)n k n k m x x x x x x x x b x m x x x x x x x x x x x x

--?=++?=++=?++++++=+++ 141110876()()()n k c x m x x b x x x x x x x x -=?+=++++++

3. 已知(7, 4)循环码的生成多项式为1)(3

++=x x x g ，信息多项式为1)(3

+=x x m ，分别由编码电路和代数计算求其相应的码多项式C (x )。 由题目可知代数计算求解过程如下：

363

32632()1()()(())mod(1)()()()(1001110)

n k n k n k m x x m x x x x b x m x x x x x x c x m x x b x x x x x c ---=+?=+=?++=+=?+=+++= 由编码电路进行求解： 编码电路如下所示：

编码过程

可得：6

3

2

()c x x x x x =+++

4. 令(15, 11)循环码的生成多项式为1)(4

++=x x x g ，计算

（1）若信息多项式为1)(810

++=x x x m ，试求编码后的系统码字；

（2）求接收码组1)(414

+++=x x x x R 的校正子多项式。

(1)解题过程如下：

108414124

42141242()1

()()()(())mod(1)1()()()1(1010000000010101)

n k n k n k m x x x m x x m x x x x x b x m x x x x x c x m x x b x x x x x c ---=++?=?=++=?++=+=?+=++++=

（2）校正多项式如下所示：

14434

()1()mod(())1()1

R x x x x S x g x x g x x x +++===+++ 5. 码长为n =15的本原BCH 码，求不同纠错能力下的BCH 码各自的生成多项式)(x g 。

21154m n m =-=?=

纠错能力：1

2

8m t -<=，所以最多能纠正7个错误码。

有限域GF （24），4次本原多项式4

()1f x x x =++，α为f(x)的一个根，可知：

410α+α+=，计算2t=14个连续幂次为135791113α α α α α α α对应的最小多项式：

4443212342432456434478924321011()1,()1,()1()1,()1,()1()1,()1,()1()1,()1

m x x x m x x x m x x x x x m x x x m x x x m x x x x x m x x x m x x x m x x x m x x x m x x x x x m 123456789101112α==++α==++α==++++α==++α==++α==++++α==++α==++α==++α==++α==++++α=43224312133()1,()1,()1

x x x x x m x x x m x x x 1314=++++α==++α==++

(1) t=1的码字： (15，11)BCH 码

4

11()(())1g x Lcm m x x x ==++

(2)t=2的码字：(15，7)BCH 码

8764213()(()())1g x Lcm m x m x x x x x ==++++

(3)t=3的码字：(15，5)BCH 码

1085423135()(()()())1g x Lcm m x m x m x x x x x x x ==++++++

(4) t=4的码字：(15，1)BCH 码

1413121110987654324()1g x x x x x x x x x x x x x x x =++++++++++++++

(5) t=5的码字：(15，1)BCH 码

1413121110987654325()1g x x x x x x x x x x x x x x x =++++++++++++++

(6) t=6的码字：(15，1)BCH 码

1413121110987654326()1g x x x x x x x x x x x x x x x =++++++++++++++

(7) t=7的码字：(15，1)BCH 码

1413121110987654327()1g x x x x x x x x x x x x x x x =++++++++++++++

6． 构造一个能纠正t =3个错误符号，码长为15，m =4的RS 码，并求其生成矩阵。 码长：n=q-1，216m

q ==，m=4

min 217d t =+=

n-k=2t=6 k=n-2t=15-6=9 可知RS 码为：（5，9）码

设α为本原多项式4

()1f x x x =++的根，即：4

1α=α+

t=3，生成多项式g(x)有6个连续的根，23456

α,α,α,α,α,α

6

105

4

43

62

9

6

()()g x x x x x x x x x x x x x 2345614

=-α)(-α)(-α)(-α)(-α)(-α=+α+α+α+α+α+α

（15，9）的RS 码的生成矩阵如下：

10144696

101446961014469610144696

10144696

1 α α α α α α 0 0 0 0 0 0 0 00 1 α α α α α α 0 0 0 0 0 0 0 0 0 1 α α α α α α 0 0 0 0 0 00 0 0 1 α α α α α α 0 0 0 0 00 0 0 0 1 α α α α α α 0 0 0 0 0 0 0 0 0 1 α10144696

1014469610144696

10144696 α α α α α 0 0 0 0 0 0 0 0 0 1 α α α α α α 0 00 0 0 0 0 0 0 1 α α α α α α 00 0 0 0 0 0 0 0 1 α α α α α α??????

??

??

????????????

???????? 盛年不重来，一日难再晨。及时宜自勉，岁月不待人。

盛年不重来，一日难再晨。及时宜自勉，岁月不待人。