信息论与编码试卷及答案

信息论与编码试卷及答案
信息论与编码试卷及答案

一、概念简答题(每题5分,共40分)

1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?

2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?

3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?

4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。

5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则?对二元信源,其失真矩阵,求a>0

时率失真函数的和?

二、综合题(每题10分,共60分)

1.黑白气象传真图的消息只有黑色和白色两种,求:

1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵;

2)假设黑白消息出现前后有关联,其依赖关系为:,,

,,求其熵;

2.二元对称信道如图。;

1)若,,求和;

2)求该信道的信道容量和最佳输入分布。

3.信源空间为,试分别构造二元和三元霍夫曼码,计算其平均码长和编码效率。

4.设有一离散信道,其信道传递矩阵为,并设,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。

5.已知一(8,5)线性分组码的生成矩阵为。

求:1)输入为全00011和10100时该码的码字;2)最小码距。

6.设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输,噪声功率谱NO=5×10-6mw/Hz。试求:

(1)无差错传输需要的最小输入功率是多少?

(2)此时输入信号的最大连续熵是多少?写出对应的输入概率密度函数的形式。

一、概念简答题(每题5分,共40分)

1.答:平均自信息为

表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。

2.答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。

最大熵值为。

3.答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。

4.答:通信系统模型如下:

数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有,

。说明经数据处理后,一般只会增加信息的损失。

5.答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。

由得,则

6.答:只要,当N足够长时,一定存在一种无失真编码。

7.答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。

8.答:1)保真度准则为:平均失真度不大于允许的失真度。

2)因为失真矩阵中每行都有一个0,所以有,而。二、综合题(每题10分,共60分)

1.答:1)信源模型为

2)由得

2.答:1)

2),最佳输入概率分布为等概率分布。

3.答:1)二元码的码字依序为:10,11,010,011,1010,1011,1000,1001。

平均码长,编码效率

2)三元码的码字依序为:1,00,02,20,21,22,010,011。

平均码长,编码效率

4.答:1)最小似然译码准则下,有,

2)最大错误概率准则下,有,

5.答:1)输入为00011时,码字为00011110;输入为10100时,码字为10100101。2)

6.答:1)无错传输时,有

即则

2)在时,最大熵

对应的输入概率密度函数为

信息论习题集

二、填空(每空1分)(100道)

1、 在认识论层次上研究信息的时候,必须同时考虑到 形式、含义和效用 三个方面的因

素。

2、 1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了

信息论。

3、 按照信息的性质,可以把信息分成 语法信息、语义信息和语用信息 。

4、 按照信息的地位,可以把信息分成 客观信息和主观信息 。

5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、 信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )

/(lim 121-∞→N N N X X X X H 。

19、对于n 元m 阶马尔可夫信源,其状态空间共有 n m

个不同的状态。

20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log 2(b-a ) 。

21、平均功率为P 的高斯分布的连续信源,其信源熵,H c (X )=eP π2log 21

2。

22、对于限峰值功率的N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源,当概率密度 高斯分布 时,信源熵有最大值。

24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。

25、若一离散无记忆信源的信源熵H (X )等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。

26、m 元长度为k i ,i=1,2,···n 的异前置码存在的充要条件是:∑=-≤n

i k i

m

11

。 27、若把掷骰子的结果作为一离散信源,则其信源熵为 log 26 。

28、同时掷两个正常的骰子,各面呈现的概率都为1/6和5同时出现”这件事的自信息量是 log 218(1+2 log 23)。

29、若一维随即变量X 的取值区间是[0,∞],其概率密度函数为m

x

e m x p -

=1)(,其中:

0≥x ,m 是X 的数学期望,则X 的信源熵=)(X H C me 2log 。

30、一副充分洗乱的扑克牌(52张),从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为 52log 2 。

31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 无记忆 信道。

33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。 35、对称信道的信道容量C= log 2m-H mi 。

36C N = NC 。

37、对于N 个对立并联信道,其信道容量 C N = ∑=N

k k

C

1

38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。

39、多用户信道可以分成几种最基本的类型: 多址接入信道、广播信道 和相关信源信道。 40、广播信道是只有 一个输入端和多个输出端 的信道。

41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为 加性连续信道 。

42、高斯加性信道的信道容量C=)

1(log 2

1

2N X P P +。 43、信道编码定理是一个理想编码的存在性定理,即:信道无失真传递信息的条件是 信息

率小于信道容量 。

44、信道矩阵??????10002/12/1代表的信道的信道容量C= 1 。 45、信道矩阵????

??????100101代表的信道的信道容量C= 1 。

46、高斯加性噪声信道中,信道带宽3kHz ,信噪比为7,则该信道的最大信息传输速率C t = 9 kHz 。

47、对于具有归并性能的无燥信道,达到信道容量的条件是 p (y j )=1/m ) 。

48、信道矩阵?

????

?1001代表的信道,若每分钟可以传递6*105个符号,则该信道的最大信息传输速率C t = 10kHz 。

49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 50、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的 极小值 。 51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就 越大 ,获得的信息量就越小。

52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。 53、单符号的失真度或失真函数d (x i ,y j )表示信源发出一个符号x i ,信宿再现y j 所引起的 误差或失真 。

54、汉明失真函数 d (x i ,y j )=??

?≠=j i j i 10 。

55、平方误差失真函数d (x i ,y j )=(y j - x i )2。

56、平均失真度定义为失真函数的数学期望,即d (x i ,y j )在X 和Y 的 联合概率空间P (XY )中 的统计平均值。

57、如果信源和失真度一定,则平均失真度是 信道统计特性 的函数。

58、如果规定平均失真度D 不能超过某一限定的值D ,即:D D ≤。我们把D D ≤称为 保真度准则 。

59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。

60、试验信道的集合用P D 来表示,则P D =

{}

m j n i D D x y

p i j

,,2,1,,,2,1;:)/( ==≤ 。

61、信息率失真函数,简称为率失真函数,即:试验信道中的平均互信息量的 最小值 。 62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。 63、平均失真度的上限D max 取{D j :j=1,2,···,m}中的 最小值 。 64、率失真函数对允许的平均失真度是 单调递减和连续的 。 65、对于离散无记忆信源的率失真函数的最大值是 log 2n 。

66、当失真度大于平均失真度的上限时D max R (D )= 0 。

67、连续信源X 的率失真函数R (D )= )

;()/(Y X I P x y p Inf

D ∈ 。

68、当2

σ≤D 时,高斯信源在均方差失真度下的信息率失真函数为 =)(D R

D 22log 21σ 。

69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R (D ) 。

70、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=???

??

?00

a a ,则该信源的D max = a/2 。 71、某二元信源??????=?????

?2/12/110)(X P X 其失真矩阵D=??????00

a a ,则该信源的D min = 0 。 72、某二元信源??????=?????

?2/12/110)(X P X 其失真矩阵D=??????00

a a ,则该信源的R (D )= 1-H

(D/a ) 。

73、按照不同的编码目的,编码可以分为三类:分别是 信源编码、信道编码和安全编码 。 74、信源编码的目的是: 提高通信的有效性 。

75、一般情况下,信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。 76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。

77、在香农编码中,第i 个码字的长度k i 和p (x i )之间有 )(log 1)(log 22i i i x p k x p -<≤- 关系。

78、对信源??????=?????

?16/116/116/116/18/18/14/14/1(87654321

x x x x x x x x X P X )进行二进制费诺编码,其编码效率为 1 。

79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加 2 个概率为0的消息。

80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是 香农编码 。 81、对于二元序列0011100000011111001111000001111111,其相应的游程序列是 23652457 。 82、设无记忆二元序列中,“0”和“1”的概率分别是p 0和p 1,则“0”游程长度L (0)的概率为 11

)0(0

)]0([p p L p L -= 。

83、游程序列的熵 等于 原二元序列的熵。 84、若“0”游程的哈夫吗编码效率为η0,“1”游程的哈夫吗编码效率为η1,且η0>η1对应的二元序列的编码效率为η,则三者的关系是 η0>η>η 1 。

85、在实际的游程编码过程中,对长码一般采取 截断 处理的方法。 86、“0”游程和“1”游程可以分别进行哈夫曼编码,两个码表中的码字可以重复,但 C 码 必须不同。

87、在多符号的消息序列中,大量的重复出现的,只起占时作用的符号称为 冗余位 。 88、“冗余变换”即:将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。

89、L-D 编码是一种 分帧传送冗余位序列 的方法。 90、L-D 编码适合于冗余位 较多或较少 的情况。

91、信道编码的最终目的是 提高信号传输的可靠性 。 92、狭义的信道编码即:检、纠错编码 。 93、BSC 信道即:无记忆二进制对称信道 。 94、n 位重复码的编码效率是 1/n 。

95、等重码可以检验 全部的奇数位错和部分的偶数位错 。

96、任意两个码字之间的最小汉明距离有称为码的最小距d min ,则d min =

)

',(min '

c c

d c c ≠。

97、若纠错码的最小距离为d min ,则可以纠正任意小于等于t= ?

?????-21min d 个差错。

98、若检错码的最小距离为d min ,则可以检测出任意小于等于l= d min -1 个差错。 99、线性分组码是同时具有 分组特性和线性特性 的纠错码。 100、循环码即是采用 循环移位特性界定 的一类线性分组码。

三、判断(每题1分)(50道)

1、 必然事件和不可能事件的自信息量都是0 。错

2、 自信息量是)(i x p 的单调递减函数。对

3、 单符号离散信源的自信息和信源熵都具有非负性。对

4、 单符号离散信源的自信息和信源熵都是一个确定值。错

5、 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对

6、 自信息量、条件自信息量和联合自信息量之间有如下关系: )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 对

7、 自信息量、条件自信息量和互信息量之间有如下关系:

)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 对 8、 当随即变量X 和Y 相互独立时,条件熵等于信源熵。对 9、 当随即变量X 和Y 相互独立时,I (X ;Y )=H (X ) 。错 10、信源熵具有严格的下凸性。错

11、平均互信息量I (X ;Y )对于信源概率分布p (x i )和条件概率分布p (y j /x i )都具有凸函数性。 对

12、m 阶马尔可夫信源和消息长度为m 的有记忆信源,其所含符号的依赖关系相同。 错 13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 对 14、N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对 15、一维高斯分布的连续信源,其信源熵只与其均值和方差有关。 错 16、连续信源和离散信源的熵都具有非负性。 错 17、连续信源和离散信源都具有可加性。 对

18、连续信源和离散信源的平均互信息都具有非负性。 对 19、定长编码的效率一般小于不定长编码的效率。 对 20、若对一离散信源(熵为H (X ))进行二进制无失真编码,设定长码子长度为K ,变长码子平均长度为K ,一般K >K 。 错

21、信道容量C 是I (X ;Y )关于p (x i )的条件极大值。 对

22、离散无噪信道的信道容量等于log 2n ,其中n 是信源X 的消息个数。 错

23、对于准对称信道,当

m y p j 1

)(=

时,可达到信道容量C 。错

24、多用户信道的信道容量不能用一个数来代表。 对

25、多用户信道的信道容量不能用一个数来代表,但信道的信息率可以用一个数来表示。错 26、高斯加性信道的信道容量只与信道的信噪有关。 对 27、信道无失真传递信息的条件是信息率小于信道容量。对

28、最大信息传输速率,即:选择某一信源的概率分布(p(x i)),使信道所能传送的信息率的最大值。错

29、对于具有归并性能的无燥信道,当信源等概率分布时(p(x i)=1/n),达到信道容量。错

30、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的极小值。对

31、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。错

32、当p(x i)、p(y j/x i)和d(x i,y j)给定后,平均失真度是一个随即变量。错

33、率失真函数对允许的平均失真度具有上凸性。对

34、率失真函数没有最大值。错

35、率失真函数的最小值是0 。对

36、率失真函数的值与信源的输入概率无关。错

37、信源编码是提高通信有效性为目的的编码。对

38、信源编码通常是通过压缩信源的冗余度来实现的。对

39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。错

40、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。对

41、在编m(m>2)进制的哈夫曼码时,要考虑是否需要增加概率为0的码字,以使平均码长最短。对

42、游程序列的熵(“0”游程序列的熵与“1”游程序列的熵的和)大于等于原二元序列的熵。错

43、在游程编码过程中,“0”游程和“1”游程应分别编码,因此,它们的码字不能重复。错

44、L-D编码适合于冗余位较多和较少的情况,否则,不但不能压缩码率,反而使其扩张。对

45、狭义的信道编码既是指:信道的检、纠错编码。对

46、对于BSC信道,信道编码应当是一对一的编码,因此,消息m的长度等于码字c的长度。错

47、等重码和奇(偶)校验码都可以检出全部的奇数位错。对

48、汉明码是一种线性分组码。对

49、循环码也是一种线性分组码。对

50、卷积码是一种特殊的线性分组码。错

四、简答(每题4分)(20道)

1、信息的主要特征有哪些?(4)

2、信息的重要性质有哪些?(4)

3、简述几种信息分类的准则和方法。(5)

4、信息论研究的内容主要有哪些?(8)

5、简述自信息的性质。(13)

6、简述信源熵的基本性质。(23)

7、简述信源熵、条件熵、联合熵和交互熵之间的关系。(48)

8、信道的分类方法有哪些?(93-94)

9、简述一般离散信道容量的计算步骤。(107)

10、简述多用户信道的分类。(115-116)

11、简述信道编码定理。(128)

12、简述率失真函数的性质。(140-145)

13、简述求解一般离散信源率失真函数的步骤。(146-149)

14、试比较信道容量与信息率失真函数。(164)

15、简述编码的分累及各种编码的目的。(168)

16、简述费诺编码的编码步骤。(170)

17、简述二元哈夫曼编码的编码步骤。(173)

18、简述广义的信道编码的分类及各类编码的作用。(188)

19、简述线性分组码的性质。(196)

20、简述循环码的系统码构造过程。(221)

一、(11’)填空题

(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

(2)必然事件的自信息是0 。

(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。(5)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。

(6)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。

(7)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),

则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。

(8)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关

二、(9')判断题

(1)信息就是一种消息。(?)

(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(√)

(3)概率大的事件自信息量大。(?)(4)互信息量可正、可负亦可为零。(√)(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。

(?)(6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。(√)(7)非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。(?)(8)信源变长编码的核心问题是寻找紧致码(或最佳码),霍夫曼编码方法构造的是最佳码。

(√)(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ?)

三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米

以上的,而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?

解:设A 表示“大学生”这一事件,B 表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分)

故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分) I(A|B)=-log0.375=1.42bit (1分)

四、(5')证明:平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY) 证明:

()()()

()

()()()()

()()

Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X

Y

i j i j i -=???

???---==∑∑∑∑∑∑log log log

; (2分)

同理

()()()

X Y H Y H Y X I -=; (1分) 则

()

()()Y X I Y H X Y H ;-= 因为

()()()

X Y H X H XY H += (1分) 故

()()()()Y X I Y H X H XY H ;-+=

()()()()XY H Y H X H Y X I -+=; (1分)

五、(18’).黑白气象传真图的消息只有黑色和白色两种,求:

1) 黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联,求熵()X H ;

2) 假设黑白消息出现前后有关联,其依赖关系为

,求其熵()X H ∞。

3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。

解:1)信源模型为 (1分)

(2分)

2)由题意可知该信源为一阶马尔科夫信源。 (2分) 由

(4分)

得极限状态概率

(2分)

(3分)

3)

119.02log )

(121=-

=X H γ (1分)

447.02log )

(122=-

=∞X H γ (1分)

12γγ>。说明:当信源的符号之间有依赖时,信源输出消息的不确定性减弱。而信源冗余

度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。(2分)

六、(18’).信源空间为

1234567()0.20.190.180.170.150.10.01

X x x x x x x x P X ????

=???????

?

,试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率(要求有编码过程)。

14

.3)(7

1

==∑=i i i l a p L 831.014.361

.2)(===

L

X H R

七(6’).设有一离散信道,其信道传递矩阵为??????????2/16/13/13/12/16/16/13/12/1,并设????

???

??

=

=

=4

1)(21)(41

)(3

21x p x p x p ,试分别按最大后验概率准则与最大似然译码准则确定译码规则,

并计算相应的平均错误概率。

1)(3分)最小似然译码准则下,有,

2)(3分)最大后验概率准则下,有,

八(10').二元对称信道如图。

1)若()4

30=

p ,()41

1=p ,求()X H 、()Y X H |和()Y X I ;;

2)求该信道的信道容量。

解:1)共6分

2), (3分)此时输入概率分布为等概率分布。(1分)

九、(18')设一线性分组码具有一致监督矩阵????

?

?????=110101100110111000H

1)求此分组码n=?,k=?共有多少码字? 2)求此分组码的生成矩阵G 。

3)写出此分组码的所有码字。

4)若接收到码字(101001),求出伴随式并给出翻译结果。

解:1)n=6,k=3,共有8个码字。(3分) 2)设码字

()

012345C C C C C C C =

由T T

HC

0=得

???

??=⊕⊕⊕=⊕⊕=⊕⊕0

000135

034012C C C C C C C C C C (3分)

令监督位为

()012C C C ,则有

()符号

/749.0|bit Y X H =

???

??⊕=⊕=⊕=340

451352C

C C C C C C C C (3分)

生成矩阵为?????

????

?101100110010011001 (2分) 3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。(4分)

4)由T

T

HR S =得

()101=S ,(2分)该码字在第5位发生错误,(101001)纠正为(101011),即译码为

(101001)(1分)

答案~信息论与编码练习

1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完? 解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: 信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104比特 可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为: 试求这两个信道的信道容量,并问这两个信道是否有噪声? 3 、已知随即变量X 和Y 的联合分布如下所示: 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答:(1)由信道1的信道矩阵可知为对称信道故C 有熵损失,有噪声。(2)为对称信道,输入为等概率分布时达到信道容量无噪声

信息论与编码理论习题答案

信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章 信息量和熵 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速 率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息 量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和, Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试题集与答案(新)

1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ )

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量,也表示发X 前后Y 的平均不确定性减少的量,还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量,可采用(1)用频带换信噪比; (2)用信噪比换频带。 4、只要,当N 足够长时,一定存在一种无失真编码。 5、当R <C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 6、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源,其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log2(b-a ) 。

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:每帧图像的熵是:每个像素的熵是:,由熵的极值性: 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是:量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得: 的算术平均值的函数,函数的平均值小于变量由凸函数的性质,变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、(10’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 二、(10?)判断题 (1)信息就是一种消息。(? ) (2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(? ) (3)概率大的事件自信息量大。(? ) (4)互信息量可正、可负亦可为零。(? ) (5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 (? ) (6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。(? ) (7)非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。(? ) (8)信源变长编码的核心问题是寻找紧致码(或最佳码)。 (? ) (9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、(10?)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (5分) 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (4分) I(A|B)=-log0.375=1.42bit (1分)

信息论与编码试卷及答案

一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 平均自信息为:表示信源的平均不确定度,表示平均每个信源消息所提供的信息量。 平均互信息:表示从Y获得的关于每个X的平均信息量;表示发X前后Y的平均不确定性减少的量;表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。

5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。香农公式为 ,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和?答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求: 1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵;

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =, (1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态 的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码期末试卷

上海大学2011~2012学年度冬季学期试卷(A卷) 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明: 我保证遵守《上海大学学生手册》中的《上海大学考场规则》,如有考试违纪、作弊行为,愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一:填空题(每空2分,共40分) 1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位) 2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________. 3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________. 4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ,则该信道为具有____归并____性能的信道 7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g,则接收向量为(1111011)的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码,第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为:00000,10101,01111,11010,则该码为(____,_____),该码最多可以纠正_______位错误,共有________陪集. 12:码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13:(7,4)汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ,则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩

信息论与编码理论习题答案

第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信 息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少 信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 ( ) 2. 线性码一定包含全零码。 ( ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. " 5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 ( ) 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 ( ) 9. 信道容量是信道中能够传输的最小信息量。 (×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案,仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3, 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数,可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解: ⑻骰子A和B,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9 ~ bit 解: 出现各点数的概率和信息量: 1 点:1/21 , log21 ?bit ; 2 点:2/21 , log21-1 ?bit ; 3 点:1/7 , log7 4 点:4/21 , log21-2 5 点:5/21 , log (21/5 )~; 6 点:2/ 7 , log(7/2)? 平均信息量: (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解: X=1:考生被录取;X=0考生未被录取; Y=1:考生来自本市;Y=0考生来自外地; Z=1:考生学过英语;z=o:考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ;P( Y=1/ X=0)=1/10 ;P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码期末考试题(全套)

(一) 一、判断题共10 小题,满分20 分、 1、当随机变量与相互独立时,条件熵等于信源熵、( ) 2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( ) 3、一般情况下,用变长编码得到得平均码长比定长编码 大得多、( ) 4、只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求得任意小得误差概率实现可靠得通 信、 ( ) 5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、() 6、连续信源与离散信源得熵都具有非负性、( ) 7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确 定性就越小,获得得信息量就越小、 8、汉明码就是一种线性分组码、( ) 9、率失真函数得最小值就是、( ) 10、必然事件与不可能事件得自信息量都就是、( ) 二、填空题共 6 小题,满分20 分、 1、码得检、纠错能力取决 于、 2、信源编码得目得就是 ;信道编码 得目得就是、 3、把信息组原封不动地搬到码字前位得码就叫 做、 4、香农信息论中得三大极限定理就 是、、、 5、设信道得输入与输出随机序列分别为与,则成立得 条件、 6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、 7、某二元信源,其失真矩阵,则该信源得=、 三、本题共 4 小题,满分50 分、 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、 (1)计算接收端得平均不确定度; (2)计算由于噪声产生得不确定度; (3)计算信道容量以及最佳入口分布、 2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、 (1)求信源平稳后得概率分布; (2)求此信源得熵; (3)近似地认为此信源为无记忆时,符号得概率分布为平 稳分布、求近似信源得熵并与进行比较、 4、设二元线性分组码得生成矩阵为、 (1)给出该码得一致校验矩阵,写出所有得陪集首与与之相 对应得伴随式; (2)若接收矢量,试计算出其对应得伴随式并按照最小距离 译码准则 试着对其译码、 (二) 一、填空题(共15分,每空1分) 1、信源编码得主要目得就是 ,信道编码得主要目得就是。 2、信源得剩余度主要来自两个方面,一就是 ,二就是。 3、三进制信源得最小熵为 ,最大熵为。 4、无失真信源编码得平均码长最小理论极限制为。 5、当时,信源与信道达到匹配。 6、根据信道特性就是否随时间变化,信道可以分为与。 7、根据就是否允许失真,信源编码可分为与。 8、若连续信源输出信号得平均功率为,则输出信号幅度得概 率密度就是时,信源具有最大熵,其值为值。 9、在下面空格中选择填入数学符号“”或“” (1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。 (2) (3)假设信道输入用X表示,信道输出用Y表示。在无噪有损 信道中,H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6 分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间: (3)信源空间: bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间: bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴++ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解: bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于女: 平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于男士

相关文档
最新文档