信息理论与编码答案 人民邮电出版社

第一章 自我测试题

一、填空题

1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。

2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。

3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。

4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。

5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。 二、判断题

1. 信息传输系统模型表明，噪声仅仅来源于信道（×）

2. 本体论层次信息表明，信息不依赖于人而存在（√）

3. 信道编码与译码是一对可逆变换（×）

4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）

5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）

三、选择题

1.

下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ． 信息是数据

B ． 信息是集合之间的变异度

C ． 信息是控制的指令

D ． 信息是收信者事先不知道的报道 2.

___B__是最高层次的信息 A ． 认识论 B ． 本体论 C ． 价值论 D ． 唯物论 3.

下列不属于狭义信息论的是__D___ A ． 信息的测度 B ． 信源编码 C ． 信道容量 D ． 计算机翻译 4.

下列不属于信息论的研究内容的是__A___ A ． 信息的产生 B ． 信道传输能力 C ． 文字的统计特性 D ． 抗干扰编码 5.

下列关于信息论发展历史描述不正确的是__B___

A ． 偶然性、熵函数引进物理学为信息论的产生提供了理论前提。

B ． 1952年，香农发展了信道容量的迭代算法

C ． 哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。

D ． 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。 四、简答题

给定爱因斯坦质能方程2

E mc D =D ，试说明该方程所传达的语法信息、语义信息和语用信息。 语法信息：就是该方程中各个字母、符号的排列形式。

语义信息：E D 为所产生的能量，m D 为质量的变化，2

c 为光速的平方，=表示左右在量值上相等。综合起来就是，质量的微小变化可以产生巨大的能量。

语用信息：该方程可以启发主体在一定条件下，通过物质质量的变化来产生巨大的能量，如果让能量缓慢释放出来，可以得到核能；如果让能量瞬间释放出来，可借以制造核弹。

第二章测试题

一、填空题

1.N 阶平稳信源的N 维分布函数与__时间的起点__无关。

2.在对信源进行观察之前，对认识主体来说，信源存在__先验_不确定性，观察之后，信源还存在_后验_不确定性。

3.联合符号),(j i y x 的不确定性，等于_关于输入k x _的不确定性加上__干扰引入__的不确定性。

4.256个亮度值构成的信源，其熵值最大为__8___比特。

5.无条件熵__>_条件熵，条件多的熵___<__条件少的熵。（填大于或小于） 二、判断题

1.对于DMS ，长度为3的符号串的平均不确定是单个符号平均不确定的3倍。（√）

2.信源内部的关联性，会提高熵值。（×）

3.马尔科夫信源符号的输出不仅与当前的信源状态有关，而且还与以前的状态有关。（×）

4.信息含量效率越高，信源的冗余度也越高。（×）

5.与离散熵相同，微分熵也是非负的。（×） 三、选择题

1.下列物理量，不满足非负性的是（C ）

A. H(X);

B. I(X;Y);

C. I );(j i y x ;

D. H(X

Y

)

2.连续型随机变量的取值受限，那么该随机变量服从___C___时，微分熵最大。

A. 高斯分布；

B. 泊松分布；

C. 均匀分布；

D. 指数分布 3.下列说法中，不正确的是__C____

A. 熵功率

P P ≤_

，其中P 为连续随即变量X 的平均功率

B. 熵功率)

(2_e

21=X h e πP ，其中h(X)是X 的微分熵 C. 若X 平均功率为P ，但不是高斯分布，则eP πIn X h 2>

)(

D. X 的平均功率为P 时（均值非零），则X 得最大熵为eP πX h 2log =)(

4.下列表达式不正确的是__B____

A. )(+)(=)(+)(=)

,(j k j k j k j k y x I y I x y I x I y x I B. );(+);(<);(32131321u u u I u u I u u u I

C. )(+)(=)(+)(=

)(Y X H Y H X Y H X H XY H

D. )(≤)(X H Y X H

5.下列关于马尔科夫信源的叙述中，不正确的是____D___

A. 某一时刻信源符号的输出只与当时的信源状态有关，而与之前的状态无关

B. 信源状态只由当前输出符号和前一时刻信源状态唯一确定

C. 一般马尔科夫信源的信息熵是其平均符号熵的极限值

D. M 阶马尔科夫信源的极限熵等于m+1阶条件熵

第三章自我测试题

一、填空题

1. 有记忆信道的当前输出不仅与___当前时刻的___输入有关，还与___以前的___输入有关。

2. 既代表__收到输出Y 后对输入X 还存有的疑义__，又代表__信道在传输过程中的信息损失__，因此，通常把(|)H X Y 称为信道的__疑义度__或__损失熵___

3. 如果信道给定，那么|(,)X Y X I P P 是输入概率X P 的_上_凸函数。如果信源给定，那么|(,)X Y X I P P 是转移概率X Y P |的_下_凸函数。

4. 衡量一个信息传递系统的好坏，有两个主要指标:

其一 数量（速度）指标：信息（传输）率R ，即信道中平均每个符号传递的信息量， 其二 质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率。

5. 使得给定信道_);(Y X I 达到最大值(即信道容量C )的输入分布，称为最佳输入(概率)分布，记为*

X P

二、判断题

1. 信道容量C 不仅与信道转移概率有关，也与信道的输入分布有关。（×）

2. 噪声熵为0的信道称为确定信道。（√）

3. 离散对称信道输入等概率分布时，输出未必也等概率分布。（×）

4. 一般DMC 达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。（√）

5. 信道是DMC 的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对转移概率之连

乘。（√）

三、选择题 1.

若信道和信源均无记忆，以下结论不成立的是__C_ A.

1

(;)(;)N

k k k I X Y I X Y ==∑

B ．(;)(;)I X Y NI X Y =

C ．1

(;)(;)N

k

k k I X Y I X

Y =<∑

D ．N

C NC =

2.

关于两个独立信道Q1、Q2串联，下列说法不正确的是_A__

X

Y

信道I

1Q

Z

信道II 2Q

A. 串联信道的信道容量与组成串联信道的各分信道的信道容量存在精确的定量关系 B ．数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少 C ．串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积 D ．XYZ 组成一个马尔可夫链

3. 信源的输出与信道的输入匹配的目的不包括_C__

A. 符号匹配；

B. 信息匹配；

C. 功率匹配；

D. 降低信道剩余度 4.

以下关于连续信道的说法中，不正确的是__B_ A ．连续信道是时间离散、幅值连续的信道 B ．连续信道的统计特性由转移概率分布函数描述

C ．加性噪声信道的转移概率密度函数等于噪声的概率密度函数

D ．对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最小

5.

已知香农公式0()log 1S S

P C P B N B ??=+ ??

?

，不能得出的结论是__C__

A. 在信噪比不变的前提下，增大频带，可增大信道容量

B. 频带不变时，增大信噪比即可增大信道容量C

C. 在P S 增大很多之后，继续增大信号功率来实现信道容量的增大是一个有效途径

D. 用扩频方法来增大信道容量，其作用是有限的

第四章测验题

一、填空题

1. 无失真编码只对信源的__冗余度__进行压缩，而不会改变信源的熵，又称冗余度压缩编码。

2. 无失真信源编码的作用可归纳为（1）__符号变换___；（2）__冗余度压缩___

3. 无失真信源编码器的熵为()H U =2.35bit /符号；则编码后的熵()H W =___2.35__bit /码字；若

平均码长为2.6比特/码字，则()H X =___0.9038比特/码元__，信息率R=__0.9038比特/码元___，

c η=___90.38%__，冗余度c γ=___9.62％__。

4. ___含相同码字的___的码称为奇异码

5. 对于一个码，若__由该码的码字组成的任意有限长码字序列都能恢复成惟一的信源符号序列__，

则称该码为惟一可译码

二、判断题

1. 对于一个码，若每个码字都与惟一的一个信源符号相对应，则该码为惟一可译码。（×）

2. 定长非奇异码肯定是惟一可译码。（√）

3. 非续长码中任一码字都不是其他码字的前缀。（√）

4. 非续长码必满足Kraft 不等式。（√）

5. 一个码是惟一可译码的充要条件是满足Kraft 不等式。（×）

三、选择题

1.

关于定长编码，以下说法不正确的是_____

A. 无失真定长编码要求可用的码字数不少于扩展信源的符号数 B ．无失真r 进制定长码码长不得低于信源r 进制符号熵 C ．信源序列的分组长度N 增大可以提高编码效率 D ．引入失真不可能提高定长码的编码效率 2.

关于变长编码，以下说法不正确的是_____

A. 无失真r 进制变长码码长不得低于信源r 进制符号熵 B ．变长编码时，随着信源序列长度N 的增大，编码效率提高。 C ．变长码要求各个码字的长度互不相同 D ．变长码的编码效率高于定长码 3.

下述编码中_____可能是任何概率分布对应的Huffman A ．{0, 10, 11} B ．{00, 01, 10, 110} C ．{01, 10}

D ．{001, 011, 100, 101} 4.

关于无失真信源编码，以下说法不正确的是_____。 A ．有效的信源编码可使输出码元概率均匀化

B ．霍夫曼编码过程中，可能造成码字不惟一，但平均码长是相同的，因而编码效率是相同

C ．香农编码不能保证码字具有非续长性

D ．费诺编码按照“概率大码长小、概率小码长大”来决定码长 5.

下列说法不正确的是_____

A.算术编码的码长与该序列的累计概率有关

B.Huffman 码无法对只含2个符号的信源进行压缩

C.游程编码的效率取决于信源符号的重复率

D.算术编码可以对只含2个符号的信源序列进行压缩

E ．字典编码通过把信源符号序列映射为位置序号达到压缩编码的目的

第五章测验题

一、填空题

1. 信息传递系统的基本功能是在系统输出端准确地再现系统输入端发送的信息。但是会受到客观限制，首先_传输速度_受_信道容量_的限制；其次，由于_信道噪声_的干扰，_传输错误_不可避免。

2. 衡量信息传输速度大小的指标是信道的信息（传输）率R ，其最大值就是_信道容量_，衡量信息传输

可靠性的指标是__平均差错率___。

3. 为了降低平均差错率，可先对消息__编码__再送入信道传送，这种为降低__平均差错率__而进行的编码称为信道编码。

4. 信道输出Y 它与信道输入X 既有联系又有区别，联系的程度和区别的大小取决于__噪声N 的影响情况__或者说取决于__信道的统计特性__。

5. 信道译码函数F 是从__输出符号集合B ___到__输入符号集合A ___的映射：其含义是将__接收符号

j b B ∈___译为__某个输入符号*

j a A ∈__。译码函数又称__译码规则___。 二、判断题

1. 译码规则取决于信道，一个信道的译码规则是唯一的。（×）

2.

在信道输出端接收到符号j b 时，按译码规则()A a

b F j

j

∈=*将j b 译为*j a ，若此时信道输

入刚好是*

j a ，则称为译码正确。（×） 3.

若按译码规则

()A a b F j j ∈=*

将j b 译为*

j a ，则平均译码错误概率是

(

)()[

)j j j j b b F P b Y a X P ==*=的加权平均值。（×） 4. 最“好”的译码规则必然使e P 最小。（×） 5. 最大后验概率译码规则是最佳译码规则。（√） 三、选择题

1. 译码规则不能由___D__确定

A ．后验概率 B. 联合概率 C. 转移概率 D. 边缘概率 2.

假设()4.01=a P

，信道线图如下图所示，相应的最佳译码规则为__C___

1

a 2

a 3

b 1

b 0.7

0.30.8

0.2

A.

()()??

?==1

211

111:a b F a b F F B. ()()???==2222121:a b F a b F F C. ()()???==2

231

131:a b F a b F F D. ()()??

?==1242141:a b F a b F F 3.

下列说法不正确的是__D___

A. 信道输入等概时，极大似然译码规则也是最佳的

B. 最大后验概率条件可无条件等价成最大联合概率条件

C. 当信源统计特性未知的时候，可以使用极大似然译码规则作为译码规则 D ．应用极大似然译码规则总可以确定译码的平均差错率

4. 关于“重复N 次”编码，说法不正确的是___A__。 A ．N 越大，信息传输率越高 B ．“重复N 次”是定长码 C ．采用择多译码策略 D ．能减低平均差错率

5.

对信源U 的2元符号串进行编码，取码长为3=N ，则__B___

A . 可供选择的码字有4个

B ．信息率3

2=R

C ．共有4×8＝32种不同的编码方法。

D ．继续增加消息个数，可以降低平均差错率

第六章测验题

一、 填空题

1. 源编码实质上是对信源进行信息处理，无失真信源编码只是信息处理的方法之一，除此之外，还可对信源进行__有失真___编码。

2. 无失真编码对应于无损确定信道，有失真编码对应于__有噪___信道。

3. 有失真编码的__失真范围___受限，所以又称为限失真编码；编码后的__信息率___得到压缩，因此属熵压缩编码。

4. 满足___保真度准则D D ≤__的信道称为D 允许（试验）信道。

5. 所有D 允许信道的转移概率组成一个集合D B ，D B 中任__转移概率___都与一个D 允许信道（编码器）对应，在D B 中寻求一个U V P （即寻求一个__特定的编码器___）使__()V U I ；___最小，这个最小

值称为信息率失真函数，简称为率失真函数，记为)D (R 二、 判断题

1、 失真函数一定要保证非负。（√）

2、 当信源和信道（编码器）均无记忆时，N 长符号序列的平均失真度等于单符号平均失真度的N 倍。（√）

3、 )D (R 是保真度准则（D D ≤）下熵压缩编码器输出可能达到的最高熵率。（×）

4、 若失真矩阵每行至少有一个零，且每列至多有一个零，则()U H D R =)(。

（√） 5、 有许多D 满足)D (R =0。（√） 三、 选择题 1.

引入限失真编码不是因为__A___。 A ．提供信源的信息率 B ．保熵编码并非总是必需的 C ．保熵编码并非总是可能的 D. 降低信息率有利于传输和处理 2.

以下表达式不是失真度的是__B___ A. ()??

?≠==j

i j

i j i v u v u v u d ,1,0,

B.

()()j i j i v u v u d -=,

C ．()()2

,j

i

j

i

v u v u d

-= D. ()j

i

j

i

v u v u d -=,

3. 以下约束条件属于保真度准则的是__C___ A. D D ≥ B. D D = C. D D ≤

D.

D D >>

4. 下列说法不正确的是__D___。

A.

)D (R 是D 的下凸函数

B. )D (R 是定义域上的非增函数

C. 设DMS 的信息率失真函数为)D (R ，若)(D R R <，则无论采用什么样的编码方法，其译码

失真必大于D

D. )D (R 是参量S 增函数 5.

下列说法不正确的是__D___.

A. 如果信源分布越不均匀，信源压缩的可能性就越大。

B.对应于相同的失真度D，信源的符号数越多，信源的可压缩性就越小

C.连续信源不可能实现无失真压缩

D.率失真函数体现平均互信息的上凸性