《信息论与编码》傅祖芸 赵建中 课后答案

《信息论与编码》傅祖芸 赵建中 课后答案
《信息论与编码》傅祖芸 赵建中 课后答案

第二章课后习题

【2.1】设有12 枚同值硬币,其中有一枚为假币。只知道假币的重量与真币的重量不同,但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币,试问至少必须称多少次?

解:从信息论的角度看,

“12 枚硬币中,某一枚为假币”该事件发生的概率为P = 1

12

“假币的重量比真的轻,或重”该事件发生的概率为P = 1

2

为确定哪一枚是假币,即要消除上述两事件的联合不确定性,由于二者是独立的,因此有

I = log12 + log 2 = log 24 比特

而用天平称时,有三种可能性:重、轻、相等,三者是等概率的,均为P = 平每一次消除的不确定性为I = log 3 比特

因此,必须称的次数为1

3

,因此天

I 1 I2 log 24

log 3

H 2.9 次

因此,至少需称3 次。

【延伸】如何测量?分3 堆,每堆4 枚,经过3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时,试问这三种情况分别获得多少信息量?解:

“两骰子总点数之和为2”有一种可能,即两骰子的点数各为1,由于二者是独立的,

因此该种情况发生的概率为P = 1 1

6 6

1

36

,该事件的信息量为:

?

? ? 5 = ? ? 2 =

I = log 36 H 5.17 比特

“两骰子总点数之和为 8”共有如下可能:2 和 6、3 和 5、4 和 4、5 和 3、6 和 2,概

率为 P = 1 1 6 6 5

36 ,因此该事件的信息量为:

36 I = log

H 2.85 比特 5

“两骰子面朝上点数是 3 和 4”的可能性有两种:3 和 4、4 和 3,概率为 P = 1 1

6 6 1 18 ,

因此该事件的信息量为:

I = log18 H 4.17 比特

【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几?”则答案中含有

多少信息量?如果你在已知今天是星期四的情况下提出同样的问题,则答案中你能获得多

少信息量(假设已知星期一至星期日的顺序)?

解:

如果不知今天星期几时问的话,答案可能有七种可能性,每一种都是等概率的,均为

P = 1 7

,因此此时从答案中获得的信息量为

I = log 7 = 2.807 比特

而当已知今天星期几时问同样的问题,其可能性只有一种,即发生的概率为 1,此时获得

的信息量为 0 比特。

【2.4】居住某地区的女孩中有 25%是大学生,在女大学生中有 75%是身高 1.6 米以上的,

而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学

生”的消息,问获得多少信息量?

解:

设 A 表示女孩是大学生, P ( A ) = 0.25 ;

B 表示女孩身高 1.6 米以上, P ( B | A ) = 0.75 , P ( B ) = 0.5

“身高 1.6 米以上的某女孩是大学生”的发生概率为

? = ? 3 / 8 1/ 8 ??

【 2.5 】 设 离 散 无 记 忆 信 源 ? P ( x )? ?

P ( A | B ) =

P ( AB )

P ( B )

P ( A ) P (B | A )

P ( B )

0. 25 ? 0. 75

0.5

= 0.375

已知该事件所能获得的信息量为

I = log

1

0.375

H 1.415 比特

? X ? ?a 1 = 0 a 2 = 1 a 3 = 2 a 4 = 3?

1/ 4 1 / 4

,其发出的消息为

(202120130213001203210110321010021032011223210),求

(1) 此消息的自信息是多少?

(2) 在此消息中平均每个符号携带的信息量是多少?

解:

信源是无记忆的,因此,发出的各消息之间是互相独立的,此时发出的消息的自信息

即为各消息的自信息之和。根据已知条件,发出各消息所包含的信息量分别为:

I (a 0 = 0) = log 8

3

= 1.415 比特 I (a 1 = 1) = log 4 = 2 比特

I (a 2 = 2) = log 4 = 2 比特

I (a 3 = 3) = log 8 = 3 比特

在发出的消息中,共有 14 个“0”符号,13 个“1”符号,12 个“2”符号,6 个“3”

符号,则得到消息的自信息为:

I = 14 ?1.415 + 13 ? 2 + 12 ? 2 + 6 ? 3 H 87.81 比特

45 个符号共携带 87.81 比特的信息量,平均每个符号携带的信息量为

I = 87.81 45

= 1.95 比特/符号

注意:消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的

信息量,后者是信息熵,可计算得

H ( X ) = ? P ( x ) log P ( x ) = 1.91比特/符号

? a 1 ? P ? = ? 1 48 48 ?

H ( B | A ) = ? ? P (a i )P (b j | a i ) log P (b j | a i ) = log 47 = 5.55

比特/符号

【2.6】如有 6 行 8 列的棋型方格,若有二个质点 A 和 B ,分别以等概率落入任一方格内,

且它们的坐标分别为(X A ,Y A )和(X B ,Y B ),但 A 和 B 不能落入同一方格内。

(1) 若仅有质点 A ,求 A 落入任一个格的平均自信息量是多少?

(2) 若已知 A 已落入,求 B 落入的平均自信息量。

(3) 若 A 、B 是可分辨的,求 A 、B 同都落入的平均自信息量。

解:

(1)求质点 A 落入任一格的平均自信息量,即求信息熵,首先得出质点 A 落入任一

格的概率空间为:

? X ?

? ? a 2 1 48

a 3 1 48 a 48 ? 1 ? ?

平均自信息量为

H ( A ) = log 48 = 5.58 比特/符号

(2)已知质点 A 已落入,求 B 落入的平均自信息量,即求 H ( B | A ) 。

A 已落入,

B 落入的格可能有 47 个,条件概率 P (b j | a i ) 均为 1

47 。平均自信息量为 48 47

i =1 j =1

(3)质点 A 和 B 同时落入的平均自信息量为

H ( AB ) = H ( A ) + H (B | A ) = 11.13 比特/符号

【2.7】从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果

你问一位男同志:“你是否是红绿色盲?”,他的回答可能是“是”,也可能是“否”,问这

两个回答中各含有多少信息量?平均每个回答中含有多少信息量?如果你问一位女同志,

则答案中含有的平均自信息量是多少?

解:

? P ? = ?0.07 0.93? = ? 0.005 0.995? ? ? = ?0.2 0.19 0.18 0.17 0.16 0.17? ,求此信源的熵,并解释为什 【2.8】设信源 ? 男同志红绿色盲的概率空间为:

? X ? ? a 1 a 2 ? ? ? ?

问男同志回答“是”所获昨的信息量为:

I = log 1

0.07 H 3.836 比特/符号

问男同志回答“否”所获得的信息量为:

I = log 1

0.93 H 0.105 比特/符号

男同志平均每个回答中含有的信息量为

H ( X ) = ? P ( x ) log P ( x ) = 0.366 比特/符号

同样,女同志红绿色盲的概率空间为

?Y ? ? P ?

? b 1 b 2 ?

? 问女同志回答“是”所获昨的信息量为:

I = log 1

0.005 H 7.64 比特/符号

问女同志回答“否”所获昨的信息量为:

I = log 1

0.995 H 7.23 ? 10 ?3 比特/符号

女同志平均每个回答中含有的信息量为

H (Y ) = ? P ( x ) log P ( x ) = 0.045 比特/符号

? X ? ? a 1 a 2 a 3 a 4 a 5 a 6 ?

P ( x )? ? ?

么 H ( X ) > log 6 ,不满足信源熵的极值性。

解:

H ( X ) = ? P ( x ) log P ( x ) = 2.65 > log 6

原因是给定的信源空间不满足概率空间的完备集这一特性,因此不满足极值条件。

令 f ( x ) = ( p 1 ? x ) log( p 1 ? x ) + ( p 2 + x ) log( p 2 + x ) , x ? ?? 0, 1

? ,则 【 2.9 】 设 离 散 无 记 忆 信 源 S 其 符 号 集 A = {a 1 , a 2 ,..., a q } , 知 其 相 应 的 概 率 分 别 为

(P 1 , P 2 ,..., P q ) 。 设 另 一 离 散 无 记 忆 信 源 S 2 , 其 符 号 集 为 S 信 源 符 号 集 的 两 倍 ,

A 2 = {a i , i = 1,2,...,2q },并且各符号的概率分布满足

P i 2 = (1 ? ∑ ) P i P i 2 = ∑P i

i = 1,2,..., q

i = q + 1, q + 2, (2)

试写出信源 S 2 的信息熵与信源 S 的信息熵的关系。

解:

H (S 2) = ? P ( x ) log P ( x )

= ? (1 ? ∑ ) P i log(1 ? ∑ )P i ? ? ∑P i log ∑P i

= ?(1 ? ∑ ) P i log(1 ? ∑ ) ? (1 ? ∑ ) P i log P i ? ∑ ? P i log ∑ ? ∑ ? P i log P i

= ?(1 ? ∑ ) log(1 ? ∑ ) ? ∑ log ∑ + H (S ) = H (S ) + H (∑ ,1 ? ∑ )

【2.10】设有一概率空间,其概率分布为 { p 1 , p 2 ,..., p q } ,并有 p 1 > p 2 。若取 p 12 = p 1 ? ∑ ,

p 22 = p 2 + ∑ ,其中 0 < 2∑ δ p 1 ? p 2 ,而其他概率值不变。试证明由此所得新的概率空间的

熵是增加的,并用熵的物理意义加以解释。

解:

设新的信源为 X 2 ,新信源的熵为:

H ( X 2) = ? p i log p i = ?( p 1 ? ∑ ) log( p 1 ? ∑ ) ? ( p 2 + ∑ ) log( p 2 + ∑ ) ? ? p q log p q

原信源的熵

H ( X ) = ? p i log p i = ? p 1 log p 1 ? p 2 log p 2 ? ? p q log p q

因此有,

H ( X ) ? H ( X 2) = ( p 1 ? ∑ ) log( p 1 ? ∑ ) + ( p 2 + ∑ ) log( p 2 + ∑ ) ? p 1 log p 1 ? p 2 log p 2

? p ? p 2 ?

? 2 ?

f 2( x ) = lo

g p 2 + x

p 1 ? x

δ 0

【2.11】试证明:若 ? p i = 1, ? q j = p L ,则

q 1 q 2

q 2 log 2 ? ? q m log m

log 1 ? 2 log 2 ? ? m log m )

q 1 q 2

即函数 f ( x ) 为减函数,因此有 f (0) ε f (∑ ) ,即

( p 1 ? ∑ ) log( p 1 ? ∑ ) + ( p 2 + ∑ ) log( p 2 + ∑ ) δ p 1 log p 1 + p 2 log p 2

因此 H ( X ) δ H ( X 2) 成立。

【解释】

当信源符号的概率趋向等概率分布时,不确定性增加,即信息熵是增加的。

L m

i =1 j =1

H ( p 1 , p 2 , , p L 1 , q 1 , q 2 , , q m ) = H ( p 1 , p 2 , , p L ?1 , p L ) + p L H (

, p L p L

q

, , m ) p L

并说明等式的物理意义。

解:

H ( p 1 , p 2 , , p L 1 , q 1 , q 2 , , q m ) = ? p 1 log p 1 ? p 2 log p 2 ? ? p L ?1 log p L ?1 ? q 1 log q 1 ? q 2 log q 2 ? ? q m log q m = ? p 1 log p 1 ? p 2 log p 2 ? ? p L ?1 log p L ?1 ? p L log p L + p L log p L q 1 log q 1 ? q 2 log q 2 ? ? q m log q m

= ? p 1 log p 1 ? p 2 log p 2 ? ? p L ?1 log p L ?1 ? p L log p L + (q 1 + q 2 + q 3 + + q m ) log p L q 1 log q 1 ? q 2 log q 2 ? ? q m log q m = ? p 1 log p 1 ? p 2 log p 2 ? ? p L ?1 log p L ?1 ? p L log p L

q 1 log q 1

p L p L p L

q q = ? p 1 log p 1 ? p 2 log p 2 ? ? p L ?1 log p L ?1 ? p L log p L

+ p L ( q 1

p L

q q q q q p L p L p L p L p L = H ( p 1 , p 2 , , p L 1 , p L ) + p L H m ( , p L p L q , , m )

p L

【意义】

将原信源中某一信源符号进行分割,而分割后的符号概率之和等于被分割的原符号的

概率,则新信源的信息熵增加,熵所增加的一项就是由于分割而产生的不确定性量。

【2.12】(1)为了使电视图像获得良好的清晰度和规定的适当的对比度,需要用 5×105 个

10 10 ? ? 30 30 ?

? 像素和 10 个不同亮度电平,求传递此图像所需的信息率(比特/秒)。并设每秒要传送 30

帧图像,所有像素是独立变化的,且所有亮度电平等概率出现。

(2)设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有 30 个不同的色

彩度,试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。

解:

每个像素的电平取自 10 个不同的电平,每一个像素形成的概率空间为:

? X ?

? P ? ? a 1 = ? 1 ?

a 2 1

10 a 10 ? 1 ? ?

这样,平均每个像素携带的信息量为:

H ( X ) = log10 = 3.32 比特/像素

现在所有的像素点之间独立变化的,因此,每帧图像含有的信息量为:

H ( X N ) = NH ( X ) = 5 ? 105 ? log10 = 1.66 ? 10 6 比特/帧

按每秒传输 30 帧计算,每秒需要传输的比特数,即信息传输率为:

30 ? H ( X N ) = 4.98 ? 10 7 比特/秒

除满足黑白电视系统的要求外,还需 30 个不同的色彩度,不妨设每个色彩度等概率出

现,则其概率空间为:

?Y ?

?P ?

? b 1 = ? 1 ?

b 2 1

30 b 30 ? 1 ? ?

其熵为 log 30 比特/符号,由于电平与色彩是互相独立的,因此有

H ( XY ) = H ( X ) + H (Y ) = log 300

这样,彩色电视系统的信息率与黑白电视系统信息率的比值为

H ( XY ) H ( X ) log 300

log10

H 2.5

128 128 128 ? ? 【2.13】每帧电视图像可以认为是由 3×105 个像素组成,所以像素均是独立变化,且每一

像素又取 128 个不同的亮度电平,并设亮度电平等概率出现。问每帧图像含有多少信息量?

若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像,试问广播员描

述此图像所广播的信息量是多少(假设汉字是等概率分布,并且彼此无依赖)?若要恰当

地描述此图像,广播员在口述中至少需用多少汉字?

解:

每个像素的电平亮度形成了一个概率空间,如下:

? X ?

? P ? ? a 1 a 2 = ? 1 1

?

a 128 ? 1 ? ?

平均每个像素携带的信息量为:

H ( X ) = log128 = 7 比特/像素

每帧图像由 3×105 个像素组成,且像素间是独立的,因此每帧图像含有的信息量为:

H ( X N ) = NH ( X ) = 2.1? 10 6 比特/帧

如果用汉字来描述此图像,平均每个汉字携带的信息量为 H (Y ) = log10000 = 13.29 比特

/汉字,选择 1000 字来描述,携带的信息量为

H (Y N ) = NH (Y ) = 1.329 ? 10 4 比特

如果要恰当的描述此图像,即信息不丢失,在上述假设不变的前提下,需要的汉字个

数为:

H ( X N ) H (Y ) 2.1106

13.29

H 1.58 ? 105 字

【2.14】为了传输一个由字母 A 、B 、C 和 D 组成的符号集,把每个字母编码成两个二元

码脉冲序列,以 00 代表 A ,01 代表 B ,10 代表 C ,11 代表 D 。每个二元码脉冲宽度为 5ms 。

(1) 不同字母等概率出现时,计算传输的平均信息速率?

H ( X ) = log 5 + log 4 + log 4 +

(2) 若每个字母出现的概率分别为 p A = 1

5

, p B =

1

4 , p C = 1

4

, p D =

310

,试计算传输的 平均速率?

解:

假设不同字母等概率出现时,平均每个符号携带的信息量为

H ( X ) = log 4 = 2 比特

每个二元码宽度为 5ms ,每个字母需要 2 个二元码,则其传输时间为 10ms ,每秒传送

n = 100 个,因此信息传输速率为:

R = nH ( X ) = 100 ? 2 = 200 比特/秒

当不同字母概率不同时,平均传输每个字母携带的信息量为

1 1 1 5 4 4 310 log

10

3

= 1.985 比特/符号 此时传输的平均信息速度为

R = nH ( X ) = 1.985 ? 10 2 比特/秒

【2.15】证明离散平稳信源有 H ( X 3 | X 1 X 2 ) δ H ( X 2 | X 1 ) ,试说明等式成立的条件。

解:

H ( X 3 | X 1 X 2 ) = ? ? ? P ( x 1 x 2 x 3 ) log P ( x 3 | x 1 x 2 )

= ? ? P ( x 1 x 2 ) P ( x 3 | x 1 x 2 ) log P ( x 3 | x 1 x 2 ) X 1 X 2 X 3

δ ? ? P ( x 1 x 2 ) P ( x 3 | x 1 x 2 ) log P ( x 3 | x 2 )

X 1 X 2 X 3

= H ( X 3 | X 2 )

根据信源的平稳性,有 H ( X 3 | X 2 ) = H ( X 2 | X 1 ) ,因此有 H ( X 3 | X 1 X 2 ) δ H ( X 2 | X 1 ) 。

等式成立的条件是 P ( x 3 | x 1 x 2 ) = P ( x 3 | x 2 ) 。

【2.16】证明离散信源有 H ( X 1 X 2 X N ) δ H ( X 1 ) + H ( X 2 ) + + H ( X N ) ,并说明等式成立

的条件。

证明:

)|(log)(12121N N N xxxxPxxxP = ? ? ?

(2) 试计算 )( 2XH 、 )|( 213 XXXH 及 )(lim XH N 。

H ( X 1 X 2 X N ) = H ( X 1 ) + H ( X 2 | X 1 ) + + H ( X N | X 1 X 2 X N ?1 )

H ( X N | X 1 X 2 X N ?1 ) X 1 X 2 X N

= ? ? ? P ( x 1 x 2 x N ?1 ) P ( x N | x 1 x 2 x N ?1 ) log P ( x N | x 1 x 2 x N ?1 )

X 1 X 2 X N ?1 X N

δ ? ? ? P ( x 1 x 2 x N ?1 ) P ( x N | x 1 x 2 x N ?1 ) log P ( x N )

X 1 X 2 X N ?1 X N

= H ( X N )

H ( X 2 | X 1 ) δ H ( X 2 )

H ( X 3 | X 1 X 2 ) δ H ( X 3 ) ……

代入上述不等式,有

H ( X 1 X 2 X N ) δ H ( X 1 ) + H ( X 2 ) + + H ( X N )

等号成立的条件是:

P ( x N | x 1 x 2 x N ?1 ) = P ( x N )

P ( x N ?1 | x 1 x 2 x N ?2 ) = P ( x N ?1 )

……

P ( x 2 | x 1 ) = P ( x 2 )

即离散平稳信源输出的 N 长的随机序列之间彼此统计无依赖时,等式成立。

【2.17】设有一个信源,它产生 0、1 序列的消息。它在任意时间而且不论以前发生过什么

符号,均按 P (0) = 0.4 , P (1) = 0.6 的概率发出符号。

(1) 试问这个信源是否是平稳的?

N ??

(3) 试计算 H ( X 4 ) 并写出 X 4 信源中可能有的所有符号。

解:

lim H N ( X ) = lim

果 X 1 为 a 时,则 X 2 为 a 、b 、c 的概率为 ;如果为 b 时,则 X 2 为 a 、b 、c 的概率为 ;

该信源任一时刻发出 0 和 1 的概率与时间无关,因此是平稳的,即该信源是离散平稳

信源。其信息熵为

H ( X ) = ? P ( x ) log P ( x ) = 0.971 比特/符号

信源是平稳无记忆信源,输出的序列之间无依赖,所以

H ( X 2 ) = 2H ( X ) = 1.942 比特/符号

H ( X 3 | X 1 X 2 ) = H ( X ) = 0.971 比特/符号

N ?? N ?? 1N H ( X 1 X 2 X N ) = H ( X ) = 0.971比特/符号 H ( X 4 ) = 4H ( X ) = 3.884 比特/符号

X 4 信源中可能的符号是所有 4 位二进制数的排序,即从 0000~1111 共 16 种符号。

【2.18】设有一信源,它在开始时以 P (a ) = 0.6 , P (b ) = 0.3 , P (c ) = 0.1的概率发出 X 1 。如

1 1

3 3 如果 X 1 为 c 时,则 X 2 为 a 、b 的概率为 1

2 ,为 c 的概率为 0。而且后面发出 X i 的概率只与

X i 1 有关,又当 i ε 3 时, P ( X i | X i ?1 ) = P ( X 2 | X 1 ) 。试用马尔克夫信源的图示法画出状态

转移图,并计算此信源的熵 H ? 。

解:

信源为一阶马尔克夫信源,其状态转换图如下所示。

a : 1 a : 1 :

1

3

根据上述状态转换图,设状态极限概率分别为 P (a ) 、P (b ) 和 P (c ) ,根据切普曼—柯尔

莫哥洛夫方程有

?Q (a ) = 3 Q (a ) + 3 Q (b ) + 2 Q (c ) ? ?Q (b ) = Q (a ) + Q (b ) + Q (c ) ?Q (c ) = Q (a ) + Q (b ) ? (3

?P (0) = pP (0) + 2 P (1) + 2 P (2) ?

?P (1) = P (0) + pP (1) +

?

?P (2) = P (0) + P (1) + pP (2) ?P (0) + P (1) + P (2) = 1 ? 1 1 1

1 1 1 ? 3 3

2 ? 1 1 ?Q (a ) + Q (b ) + Q

3 ) = 1

解得:

Q (a ) = Q (b ) = 3 8 , Q (c ) =

1

4

得此一阶马尔克夫的信息熵为:

H ? = ? Q ( E i )H ( X | E i ) = 1.439 比特/符号

p

【2.19】一阶马尔克夫信源的状态图如右图所示, p p

信源 X 的符号集为{0,1,2} 并定义 p = 1 ? p 。

(1) 求 信 源 平 稳 后 的 概 率 分 布 P (0) 、 和

P (2) ;

(2) 求此信源的熵 H ? ;

(3) 近似认为此信源为无记忆时,符号的概率分布等于平稳分布。求近似信源的熵 H ( X )

并与 H ? 进行比较;

(4) 对一阶马尔克夫信源 p 取何值时, H ? 取最大值,又当 p = 0 和 p = 1时结果如何?

解:

根据切普曼—柯尔莫哥洛夫方程,可得

? p p

p p P (2)

2 2 ? p p

2 2 ?

?

解得: P (0) = P (1) = P (2) =

1 3

该一阶马尔克夫信源的信息熵为:

H ? = ? Q ( E i ) H ( X | E i ) = ? p log p ? p log p + p 比特/符号

当信源为无记忆信源,符号的概率分布等于平稳分布,此时信源的概率空间为:

? X ?

? P ? ? 0 = ?1 ?? 3 1 1 3 2 ? 1 ? 3 ?? 此时信源的信息熵为 H ( X ) = log 3 = 1.585 比特/符号

由上述计算结果可知: H ( X ) ε H ( ) 。

求一阶马尔克夫信源熵 H ? 的最大值, H ? = ? p log p ? p log p + p ,有

dH ? dp

= log 2(1 ?

p ) p

可得,当 p = 2

3

时, H ? 达到最大值,此时最大值为 log 3 = 1.585 比特/符号。

当 p = 0 时, H ? = 0 比特/符号; p = 1时, H ? = 1比特/符号

【2.20】黑白气象传真图的消息只有黑色和白色两种,即信源 X = {黑,白},设黑色出现的

概率为 P (黑) = 0.3 ,白色出现的概率为 P (白) = 0.7 。

(1) 假设图上黑白消息出现前后没有关联,求熵 H ( X ) ;

(2) 假设消息前后有关联,其依赖关系为 P (白 |白) = 0.9 ,P (黑 |白) = 0.1 ,P (白 | 黑) = 0.2 ,

P (黑 | 黑) = 0.8 ,求此一阶马尔克夫信源的熵 H 2 。

(3) 分别求上述两种信源的冗余度,并比较 H ( X ) 和 H 2 的大小,并说明其物理意义。

解:

如果出现黑白消息前后没有关联,信息熵为:

H ( X ) = ? p i log p i = 0.881 比特/符号

当消息前后有关联时,首先画出其状态转移图,如下所示。

?Q (白) = 0.2Q (黑) + 0.9Q (白) ? 设黑白两个状态的极限概率为 Q (黑) 和 Q (白) ,根据切普曼—柯尔莫哥洛夫方程可得:

?Q (黑) = 0.8Q (黑) + 0.1Q (白) ?

?Q (黑) + Q (白) = 1

解得:

Q (黑) =

1 3 , Q (白) = 2

3

此信源的信息熵为:

H ? = ? Q ( E i ) H ( X | E i ) = 0.553比特/符号

两信源的冗余度分别为:

? 1 = 1 ?

H ( X )

log 2

= 0.119 ? 1 = 1 ?

H ? log 2

= 0.447

结果表明:当信源的消息之间有依赖时,信源输出消息的不确定性减弱。就本题而言,

当有依赖时前面已是白色消息,后面绝大多数可能是出现白色消息;前面是黑色消息,后

面基本可猜测是黑色消息。这时信源的平均不确定性减弱,所以信源消息之间有依赖时信

源熵小于信源消息之间无依赖时的信源熵,这表明信源熵正是反映信源的平均不确定的大

小。而信源剩余度正是反映信源消息依赖关系的强弱,剩余度越大,信源消息之间的依赖

关系就越大。

?P ( x )? = ?0.6 0.4? 第三章课后习题

【3.1】 设信源

? X ? ? x 1 x 2 ? ? ? ?

通过一干扰信道,接收符号为 Y = [ y 1 , y 2 ] ,信道传递概率如下图所示,求

(1)信源 X 中事件 x 1 和 x 2 分别含有的自信息; (2)收到消息 y j ( j = 1,2) 后,获得的关于 x i (i = 1,2) 的信

x 1

1

息量; x 22

(3)信源 X 和信源 Y 的信息熵;

(4)信道疑义度 H ( X | Y ) 和噪声熵 H (Y | X ) ;

(5)接收到消息 Y 后获得的平均互信息。

解:

(1)信源 X 中事件 x 1 和 x 2 分别含有的自信息分别为:

I ( x 1 ) = log

I ( x 2 ) = log

1 P ( x 1 ) 1

P ( x 2 )

= ?

log 0.6 = 0.737 比特

= ? log 0.4 = 1.32 比特

(2)根据给定的信道以及输入概率分布,可得

P ( y 1 ) = ? P ( x i ) P ( y 1 | x i ) = 0.8

X

P ( y 2 ) = ? P ( x i ) P ( y 2 | x i ) = 0.2

X

所求的互信息量分别为:

I ( x 1 ; y 1 ) = log

P ( y 1| x 1 )

P ( y 1 )

= log 5 / 6 0.8 = log 25 24

= 0.059 比特

H ( X | Y ) = ?? log + log ? ? 0.4? log + log ? = 0.9635 比特/符号 = ?0.6? log + log ? ? 0.4? log + log ? I ( x 2 ; y 1 ) = log

P ( y 1| x 2 )

P ( y 1 ) = log

3 /

4 0.8

= log

15 16

= ?0.093 比特

I ( x 1 ; y 2 ) = log

P ( y 2 | x 1 )

P ( y 2 )

= log

1 / 6 0.

2 = log 56

= ?0.263 比特

I ( x 2 ; y 2 ) = log

P ( y 2 | x 2 )

P ( y 2 )

= log 1 / 4

0.2 = log 5

4

= 0.322 比特

(3)信源 X 以及 Y 的熵为:

H ( X ) = ? P ( x ) log P ( x ) = ?0.6 log 0.6 ? 0.4 log 0.4 = 0.971比特/符号

X

H (Y ) = ? P ( y ) log P ( y ) = ?0.8 log 0.8 ? 0.2 log 0.2 = 0.722 比特/符号

Y

(4)信道疑义度 H ( X | Y ) = ? P ( x ) P ( y | x ) log P ( x | y )

X Y

而相关条件概率 P ( x | y ) 计算如下:

P ( x 1 | y 1 ) =

P ( x 1 , y 1 )

P ( y 1 ) = P ( y 1 | x 1 )P ( x 1 ) P ( y 1 )

0.5 0.8

5

8 P ( x 2 | y 1 ) =

3

8 P ( x 1 | y 2 ) =

P ( x 1 , y 2 )

P ( y 2 ) = P ( y 2 | x 1 ) P ( x 1 ) P ( y 2 )

0. 6 / 6 0.2 1

2

P ( x 2 | y 2 ) =

1

2 由此计算出信道疑义度为:

? 5 5 1 1 ? ? 3 3 1 1 ?

6 8 6 2 ? ? 4 8 4 2 ?

噪声熵为:

H (Y | X ) = ? P ( x ) P ( y | x ) log P ( y | x ) ? 5 6 5 6 1 1 ? ? 3

6 6 ? ? 4 3 4 1 1 ?

4 4 ?

= 0.7145比特 / 符号

(5)接收到信息 Y 后获得的平均互信息为:

I ( X ;Y ) = H ( X ) ? H ( X | Y ) = 0.0075 比特/符号

【3.2】设8 个等概率分布的消息通过传递概率为p的BSC 进行传送,8 个消息相应编成下述码字:

M1=0000,M2=0101,M3=0110,M4=0011

M5=1001,M6=1010,M7=1100,M8=1111

试问:

(1)接收到第一个数字0 与M1之间的互信息;

(2)接收到第二个数字也是0 时,得到多少关于M1的附加互信息;

(3)接收到第三个数字仍为0 时,又增加了多少关于M1的互信息;

(4)接收到第四个数字还是0 时,再增加了多少关于M1的互信息。

解:

各个符号的先验概率均为1 8

(1)根据已知条件,有

P( y1 = 0 | M 1 ) = P( y1 = 0 | 0000) = P( y1 = 0 | x1 = 0) = p

P( y1 = 0) = ? P(M i ) P(0 | M i ) =

M i 1 2

因此接收到第一个数字0 与M1之间的互信息为:

I (M 1; y1 = 0) = log P( y1 = 0 | M 1 )

P( y1 = 0)

= log

p

1/ 2

= 1 + log p比特

(2)根据已知条件,有

P( y1 y2 = 00 | M 1 ) = P( y1 y 2 = 00 | 0000) = p 2

P( y1 y2 = 00) = ? P(M i )P(00 | M i ) =

M i 1

8

[2 p 2 + 4 pp + 2 p 2 ] = 1

4

因此接收到第二个数字也是0 时,得到多少关于M1的互信息为:

= log

p 4 + 6 p 2 p 2 + p 4 (

I (M 1 ; y 1 y 2 = 00) = log

P ( y 1 y 2 = 00 | M 1 ) P ( y 1 y 2 = 00)

= log

p 2 1/ 4

= 2 + 2 log p 比特/符号

得到的附加信息为:

I (M 1 ; y 1 y 2 = 00) ? I (M 1 ; y 1 = 0) = 1 + log p 比特/符号

(3)根据已知条件,有

P ( y 1 y 2 y 3 = 000 | M 1 ) = P ( y 1 y 2 y 3 = 000 | 000) = p 3

P ( y 1 y 2 y 3 = 000) = ? P (M i )P (000 | M i ) = M i

1 8 [ p 3 + 3 pp

2 +

3 p 2 p + p 3 ] =

1 8

因此接收到第三个数字也是 0 时,得到多少关于 M 1 的互信息为: I (M 1; y 1 y 2 y 3 = 000) = log

P ( y 1 y 2 y 3 = 000 | M 1 ) P ( y 1 y 2 y 3 = 000) = log p 3 1/ 8

= 3 + 3log p

此时得到的附加信息为:

I (M 1; y 1 y 2 y 3 = 000) ? I (M 1 ; y 1 y 2 = 00) = 1 + log p 比特/符号

(4)根据已知条件,有

P ( y 1 y 2 y 3 y 4 = 0000 | M 1 ) = P ( y 1 y 2 y 3 y 4 = 0000 | 0000) = p 4

P ( y 1 y 2 y 3 y 4 = 0000) = ? P (M i )P (0000 | M i ) = M i

1 8 [

p 4 + 6 p 2 p 2 + p 4

]

因此接收到第四个符号为 0 时,得到的关于 M 1 的互信息为

I (M 1; y 1 y 2 y 3 = 0000) = log

P ( y 1 y 2 y 3 y 4 = 0000 | M 1 )

P ( y 1 y 2 y 3 y 4 = 0000)

此时得到的附加信息为

p 4

1

8

= 3 + 4 log p ? log p 4 + 6 p 2 p 2 + p 4

)

I (M 1; y 1 y 2 y 3 y 4 = 000) ? I (M 1 ; y 1 y 2 y 3 = 000) = log p ? log ( p 4 + 6 p 2 p 2 + p 4

)

? 3 ? 1 3 ? 2 ? = ? log ? log

? + ? = ? ? P ( x = 1 | y = 1) =

= ? ? log + log ? ? ? log + log ?

【3.3】 设二元对称信道的传递矩阵为

? 2

? 3

1 ? ? 3 ?

(1)若 P(0)=3/4,P(1)=1/4,求 H ( X ) , H ( X | Y ) , H (Y | X ) 和 I ( X ;Y ) ;

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

解:

(1)根据已知条件,有

H ( X ) = ? P ( x i ) log P ( x i )

X

3 3 1

4 4 4 = 0.811比特 /符号

1

4 P ( y = 0) = ? P ( x ) P ( y = 0 | x ) = X

3 2 1 1

4 3 4 3

7 12

P ( y = 1) = ? P ( x ) P ( y = 1 | x ) = X

5

12

P ( x = 0 | y = 0) =

P ( x = 1 | y = 0) =

P ( x = 0) P ( y = 0 | x = 0)

P ( y = 0)

1

7 = 3 2 4 3 = 6 7 /12 7

P ( x = 0 | y = 1) =

P ( x = 0)P ( y = 1 | x = 0)

P ( y = 1)

3 1 =

4 3 =

5 /12

3 5

2 5

H (Y | X ) = ? P ( x ) P ( y | x ) log P ( y | x )

X Y

3 ? 2 2 1 1 ? 1 ? 1 1 2 2 ?

4 ? 3 3 3 3 ? 4 ? 3 3 3 3 ? = 0.918比特 / 符号

最新计算机网络(第七版)谢希仁著-第五六章补充练习题(带答案)

第五章 1.常说的两台主机进行通信,精确地说是指()。 A.两个用户在通信 B.两台主机的CPU在通信 C.两台主机的网络层在通信 D.两台主机中的应用进程中互相通信 2.下列对于传输层端口的描述中,不正确的是()。 A.传输层端口的概念与交换机或路由器硬件端口的概念一样 B.端口是用来标识不同的服务的,不同的服务使用不同的端口 C.TCP/IP的传输层使用一个16位的端口号来标识一个端口,因此端口的范围是0~65535 D.服务器使用的端口号的范围是0~1023 3.在TCP数据段的布局格式中,头开始的固定格式长度是()。 A.20B B.24B C.32B D.36B 4.以下TCP熟知端口号错误的是()。 A.TElNET:23 B.SMTP:25 C.HTTP:80 D.BGP:161 5.TCP/IP的传输层协议使用()形式将数据传送给上层应用程序。 A.IP地址 B.MAC地址 C.端口号 D.套接字地址6.下列关于TCP和UDP的描述中正确的是()。 A.TCP和UDP均是面向连接的 B.TCP和UDP 均是无连接的 C.TCP是面向连接的,UDP是无连接的 D.UDP是面向

连接的,TCP是无连接的 7.UDP报文中,伪首部的作用是()。 A.数据对齐 B.计算校验和 C.数据加密 D.数据填充 8.一条TCP连接的建立过程包括()个步骤。 A.2 B.3 C.4 D.5 9.主机甲向主机乙发送一个(SYN=1,seq=11220)的TCP段,期望与主机乙建立TCP连接,若主机乙接受该连接请求,则主机乙向主机甲发送的正确的TCP段可能是()。 A.(SYN=0,ACK=0,seq=11221,ack=11221) B.(SYN=1,ACK=1,seq=11220,ack=11220) C.(SYN=1,ACK=1,seq=11221,ack=11221) D.(SYN=0,ACK=0,seq=11220,ack=11220) 10.主机甲和主机乙间已建立一个TCP连接,主机甲向主机乙发送了两个连续的TCP段,分别包含300字节和500字节的有效载荷,第一个段的序列号为200,主机乙正确接收到两个段后,发送给主机甲的确认序列号是()。 A.500 B.700 C.800 D.1000 11.以下关于TCP可靠传输的描述中,错误的是()。 A.TCP在传输用户数据之前必须进过传输连接建立、维护和释放的过程 B.TCP传输连接建立过程中需要协商双方的通信参数 C.通信参数主要是指带宽、延时以及延时抖动等 D.TCP协议在客户进程与服务器进程连接建立需要经过“三次握手”的过程

《信息论与编码》课后答案

第二章课后习题 【2.1】设有12 枚同值硬币,其中有一枚为假币。只知道假币的重量与真币的重量不同,但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币,试问至少必须称多少次? 解:从信息论的角度看, “12 枚硬币中,某一枚为假币”该事件发生的概率为P = 1 12 ; “假币的重量比真的轻,或重”该事件发生的概率为P = 1 2 ; 为确定哪一枚是假币,即要消除上述两事件的联合不确定性,由于二者是独立的,因此有 I = log12 + log 2 = log 24 比特 而用天平称时,有三种可能性:重、轻、相等,三者是等概率的,均为P = 平每一次消除的不确定性为I = log 3 比特 因此,必须称的次数为1 3 ,因此天 I 1 I 2 log 24 log 3 H 2.9 次 因此,至少需称3 次。 【延伸】如何测量?分 3 堆,每堆4 枚,经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是 3 和4”时,试问这三种情况分别获得多少信息量?解: “两骰子总点数之和为2”有一种可能,即两骰子的点数各为1,由于二者是独立的, 因此该种情况发生的概率为P = 1 1 6 6 1 36 ,该事件的信息量为: ?

? ? 5 = ? ? 2 = I = log 36 H 5.17 比特 “两骰子总点数之和为 8”共有如下可能:2 和 6、3 和 5、4 和 4、5 和 3、6 和 2,概 率为 P = 1 1 6 6 5 36 ,因此该事件的信息量为: 36 I = log H 2.85 比特 5 “两骰子面朝上点数是 3 和 4”的可能性有两种:3 和 4、4 和 3,概率为 P = 1 1 6 6 1 18 , 因此该事件的信息量为: I = log18 H 4.17 比特 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几?”则答案中含有 多少信息量?如果你在已知今天是星期四的情况下提出同样的问题,则答案中你能获得多 少信息量(假设已知星期一至星期日的顺序)? 解: 如果不知今天星期几时问的话,答案可能有七种可能性,每一种都是等概率的,均为 P = 1 7 ,因此此时从答案中获得的信息量为 I = log 7 = 2.807 比特 而当已知今天星期几时问同样的问题,其可能性只有一种,即发生的概率为 1,此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生,在女大学生中有 75%是身高 1.6 米以上的, 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息,问获得多少信息量? 解: 设 A 表示女孩是大学生, P ( A ) = 0.25 ; B 表示女孩身高 1.6 米以上, P ( B | A ) = 0.75 , P ( B ) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为

计算机网络谢希仁第七版课后答案完整版

计算机网络第七版答案 第一章概述 1-01 计算机网络向用户可以提供那些服务?答:连通性和共享 1-02 简述分组交换的要点。答:(1)报文分组,加首部(2)经路由器储存转发(3)在目的地合并 1-03 试从多个方面比较电路交换、报文交换和分组交换的主要优缺点。 答:(1)电路交换:端对端通信质量因约定了通信资源获得可靠保障,对连续传送大量数据效率高。 (2)报文交换:无须预约传输带宽,动态逐段利用传输带宽对突发式数据通信效率高,通信迅速。 (3)分组交换:具有报文交换之高效、迅速的要点,且各分组小,路由灵活,网络生存性能好。 1-04 为什么说因特网是自印刷术以来人类通信方面最大的变革? 答:融合其他通信网络,在信息化过程中起核心作用,提供最好的连通性和信息共享,第一次提供了各种媒体形式的实时交互能力。 1-05 因特网的发展大致分为哪几个阶段?请指出这几个阶段的主要特点。 答:从单个网络APPANET向互联网发展;TCP/IP协议的初步成型建成三级结构的Internet; 分为主干网、地区网和校园网;形成多层次ISP结构的Internet;ISP首次出现。 1-06 简述因特网标准制定的几个阶段? 答:(1)因特网草案(Internet Draft) ——在这个阶段还不是RFC 文档。(2)建议标准(Proposed Standard) ——从这个阶段开始就成为RFC 文档。(3)草案标准(Draft Standard)(4)因特网标准(Internet Standard) 1-07小写和大写开头的英文名internet 和Internet在意思上有何重要区别? 答:(1)internet(互联网或互连网):通用名词,它泛指由多个计算机网络互连而成的网络。;协议无特指(2)Internet(因特网):专用名词,特指采用TCP/IP 协议的互联网络。区别:后者实际上是前者的双向应用 1-08 计算机网络都有哪些类别?各种类别的网络都有哪些特点? 答:按范围:(1)广域网WAN:远程、高速、是Internet的核心网。 (2)城域网:城市范围,链接多个局域网。 (3)局域网:校园、企业、机关、社区。 (4)个域网PAN:个人电子设备 按用户:公用网:面向公共营运。专用网:面向特定机构。 1-09 计算机网络中的主干网和本地接入网的主要区别是什么? 答:主干网:提供远程覆盖\高速传输\和路由器最优化通信。本地接入网:主要支持用户的访问本地,实现散户接入,速率低。 1-10 试在下列条件下比较电路交换和分组交换。要传送的报文共x(bit)。从源点到终点共经过k段链路,每段链路的传播时延为d(s),数据率为b(b/s)。在电路交换时电路的建立时间为s(s)。在分组交换时分组长度为p(bit),且各结点的排队等待时间可忽略不计。问在怎样的条件下,分组交换的时延比电路交换的要小?(提示:画一下草图观察k段链路共有几个结点。) 答:线路交换时延:kd+x/b+s, 分组交换时延:kd+(x/p)*(p/b)+ (k-1)*(p/b),其中(k-1)*(p/b)表示K段传输中,有(k-1)次的储存转发延迟,当s>(k-1)*(p/b)时,电路交换的时延比分组交换的时延大,当x>>p,相反。 1-11在上题的分组交换网中,设报文长度和分组长度分别为x和(p+h)(bit),其中p为分组的数据部分的长度,而h为每个分组所带的控制信息固定长度,与p的大小无关。通信的两端共经过k段链路。链路的数据率为b(b/s),但传播时延和结点的排队时间均可忽略不计。若打算使总的时延为最小,问分组的数据部分长度p应取为多大?(提示:参考图1-12的分组交换部分,观察总的时延是由哪几部分组成。)答:总时延D表达式,分组交换时延为:D= kd+(x/p)*((p+h)/b)+ (k-1)*(p+h)/b D对p求导后,令其值等于0,求得p=[(xh)/(k-1)]^0.5

计算机网络谢希仁(第七版)复习题(带答案)

第一章 1、(09-33)在OSI参考模型中,自下而上第一个提供端到端服务的层次是() A.数据链路层??B.传输层??C.会话层??D.应用层?? 2、(10-33)下列选项中,不属于网络体系结构中所描述的内容是() A.网络的层次 B.每一层使用的协议 C.协议的内部实现细节 D.每一层必须完成的功能 3、(10-34)在下图所示的采用“存储-转发”方式分组的交换网络中,所有链路的数据传输速度为100Mbps,分组大小为1000B,其中分组头大小20B,若主机H1向主机H2发送一个大小为980000B的文件,则在不考虑分组拆装时间和传播延迟的情况下,从H1发送到H2接收完为止,需要的时间至少是() A:80ms B:80.08ms C:80.16ms D:80.24ms 4、(11-33)TCP/IP参考模型的网络层提供的是() A.无连接不可靠的数据报服务 B.无连接可靠的数据报服务 C.有连接不可靠的虚电路服务 D.有连接可靠的虚电路服务 5、(12-33)在TCP/IP体系结构中,直接为ICMP提供服务协议的是:() A. PPP B. IP C. UDP D. TCP 6、(13-33)在OSI参考模型中,下列功能需由应用层的相邻层实现的是() A.对话管理 B.数据格式转换 C.路由选择 D.可靠数据传输 7.(13-35)主机甲通过1个路由器(存储转发方式)与主机乙互联,两段链路的数据传输速率均为10Mbps,主机甲分别采用报文交换和分组大小为10kb的分组交换向主机乙发送1个大小为8Mb(1M=106)的报文。若忽略链路传播延迟、分组头开销和分组拆装时间,则两种交换方式完成该报文传输所需的总时间分别为() A.800ms、1600ms B.801ms、1600ms C.1600ms、800ms、 D、1600ms、801ms 8.(14-33)在OSI参考模型中,直接为会话层提供服务的是() A.应用层 B表示层 C传输层 D网络层 参考答案:

计算机网络(第六版)谢希仁著课后习题答案

第一章概述 1-01 计算机网络向用户可以提供那些服务? 答:连通性和共享 1-02 简述分组交换的要点。 答:(1)报文分组,加首部 (2)经路由器储存转发 (3)在目的地合并 1-03 试从多个方面比较电路交换、报文交换和分组交换的主要优缺点。 答:(1)电路交换:端对端通信质量因约定了通信资源获得可靠保障,对连续传送大量数据效率高。 (2)报文交换:无须预约传输带宽,动态逐段利用传输带宽对突发式数据通信效率高,通信迅速。 (3)分组交换:具有报文交换之高效、迅速的要点,且各分组小,路由灵活,网络生存性能好。 1-04 为什么说因特网是自印刷术以来人类通信方面最大的变革? 答:融合其他通信网络,在信息化过程中起核心作用,提供最好的连通性和信息共享,第一次提供了各种媒体形式的实时交互能力。

1-05 因特网的发展大致分为哪几个阶段?请指出这几个阶段的主要特点。 答:从单个网络APPANET向互联网发展;TCP/IP协议的初步成型建成三级结构的Internet;分为主干网、地区网和校园网; 形成多层次ISP结构的Internet;ISP首次出现。 1-06 简述因特网标准制定的几个阶段? 答:(1)因特网草案(Internet Draft) ——在这个阶段还不是RFC 文档。 (2)建议标准(Proposed Standard) ——从这个阶段开始就成为RFC 文档。(3)草案标准(Draft Standard) (4)因特网标准(Internet Standard) 1-07小写和大写开头的英文名字internet 和Internet在意思上有何重要区别? 答:(1)internet(互联网或互连网):通用名词,它泛指由多个计算机网络互连而成的网络。;协议无特指 (2)Internet(因特网):专用名词,特指采用TCP/IP 协议的互联网络区别:后者实际上是前者的双向应用 1-08 计算机网络都有哪些类别?各种类别的网络都有哪些特点? 答:按范围:(1)广域网WAN:远程、高速、是Internet的核心网。 (2)城域网:城市范围,链接多个局域网。

信息论与编码问题详解

《信息论与编码(第二版)》雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/201/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0.8,(0|11)p =0.2,(1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出状态图,并计算各状态的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

计算机网络谢希仁第七版复习题带答案

计算机网络谢希仁第七版复习题带答案 Document serial number【KKGB-LBS98YT-BS8CB-BSUT-BST108】

第一章 1、(09-33)在OSI参考模型中,自下而上第一个提供端到端服务的层次是() A.数据链路层B.传输层C.会话层D.应用层 2、(10-33)下列选项中,不属于网络体系结构中所描述的内容是() A.网络的层次 B.每一层使用的协议 C.协议的内部实现细节 D.每一层必须完成的功能 3、(10-34)在下图所示的采用“存储-转发”方式分组的交换网络中,所有链路的数据传输速度为100Mbps,分组大小为1000B,其中分组头大小20B,若主机H1向主机H2发送一个大小为980000B的文件,则在不考虑分组拆装时间和传播延迟的情况下,从 H1发送到H2接收完为止,需要的时间至少是() A:80ms B: C: D: 4、(11-33)TCP/IP参考模型的网络层提供的是() A.无连接不可靠的数据报服务 B.无连接可靠的数据报服务 C.有连接不可靠的虚电路服务 D.有连接可靠的虚电路服务 5、(12-33)在TCP/IP体系结构中,直接为ICMP提供服务协议的是:() A. PPP B. IP C. UDP D. TCP 6、(13-33)在OSI参考模型中,下列功能需由应用层的相邻层实现的是() A.对话管理 B.数据格式转换 C.路由选择 D.可靠数据传输 7.(13-35)主机甲通过1个路由器(存储转发方式)与主机乙互联,两段链路的数据传输速率均为10Mbps,主机甲分别采用报文交换和分组大小为10kb的分组交换向主机乙发送1个大小为8Mb(1M=106)的报文。若忽略链路传播延迟、分组头开销和分组拆装时间,则两种交换方式完成该报文传输所需的总时间分别为() 、1600ms 、1600ms 、800ms、 D、1600ms、801ms 8.(14-33)在OSI参考模型中,直接为会话层提供服务的是() A.应用层 B表示层 C传输层 D网络层 参考答案:

计算机网络谢希仁第七版第三章课后答案完全版

第三章数据链路层 嵌入18-1杜国龙20180307008 3-01数据链路(即逻辑链路)与链路{即物理链路)有何区别?“电路接通了”与"数据链路接通了”的区别何在? 答:数据链路与链路的区别在于数据链路出链路外,还必须有一一些必要的规程来控制数据的传输,因此,数据链路比链路多了实现通信规程所需要的硬件和软件。“电路接通了”表示链路两端的结点交换机已经开机,物理连接已经能够传送比特流了,但是,数据传输并不可靠,在物理连接基础上,再建立数据链路连接,才是"数据链路接通了”,此后,由于数据链路连接具有检测、确认和重传功能,才使不太可靠的物理链路变成可靠的数据链路,进行可靠的数据传输当数据链路断开连接时,物理电路连接不- -定跟着断开连接。 3-02数据链路层中的链路控制包括哪些功能?试讨论收据链路层做成可靠的链路层有哪些优点和缺点. 答:链路管理帧定界流量控制差错控制将数据和控制信息区分开透明传输寻址可靠的链路层的优点和缺点取决于所应用的环境:对于干扰严重的信道,可靠的链路层可以将重传范围约束在局部链路,防止全网络的传输效率受损:对于优质信道,采用可靠的链路层会增大资源开销,影响传输效率。 3-03网络适配器的作用是什么?网络适配器工作在哪- -层? 答:适配器(即网卡)来实现数据链路层和物理层这两层的协议的硬件和软件网络适配器工作在TCP/IP协议中的网络接口层(OSI 中的数据链里层和物理层)

3-04数据链路层的3三个基本问(帧定界、透明传轴和差错检测)为什么都必须加以解决? 答:帧定界是分组交换的必然要求透明传输避免消息符号与帧定界符号相混淆差错检测防止合差错的无效数据帧浪费后续路由上的传输和处理资源 3-05如果在数据链路层不进行帧定界,会发生什么问题? 答:无法区分分组与分组无法确定分组的控制域和数据域无法将差错更正的范围限定在确切的局部 3-06 PPP协议的主特点是什么?为什么PPP不使用帧的编号? PPP适用于什么情况?为什么PPP协议不能使数据链路层实现可靠传输? 答:简单,提供不可靠的数据报服务,检错,无纠错不使用序号和确认机制地址字段A只置为0xFF.地址字段实际上并不起作用。控制字段C通常置为0x03。PPP 是面向字节的当PPP用在同步传输链路时,协议规定采用硬件来完成比特填充(和HDLC的做法-一样),当PPP用在异步传输时,就使用一种特殊的字符填充法PPP适用于线路质量不太差的情况下、PPP没有编码和确认机制 3-07要发送的数据为1101011011.采用CRC的生成多项式是P (X) -X4+X+1. 试求应添加在数据后面的余数。数据在传输过程中最后一个1变成了0,问接收端能否发现?若数据在传输过程中最后两个1都变成了0,问接收端能否发现?采用CRC检验后,数据链路层的传输是否就变成了可靠的传输? 答:作二进制除法,1101011011 0000 10011得余数1110,添加的检验序列是1110.作二进制除法,

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间: * (3)信源空间: bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴++ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解: ! bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:“你是否是红绿色盲”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士,则她的答案中含有多少平均信息量 解:

计算机网络谢希仁第六版课后答案完整版

计算机网络第六版答案 第一章概述 1-01 计算机网络向用户可以提供那些服务?答:连通性与共享 1-02 简述分组交换得要点。答:(1)报文分组,加首部(2)经路由器储存转发(3)在目得地合并 1-03试从多个方面比较电路交换、报文交换与分组交换得主要优缺点. 答: (1)电路交换:端对端通信质量因约定了通信资源获得可靠保障,对连续传送大量数据效率高.(2)报文交换:无须预约传输带宽,动态逐段利用传输带宽对突发式数据通信效率高,通信迅速。(3)分组交换:具有报文交换之高效、迅速得要点,且各分组小,路由灵活,网络生存性能好. 1-04 为什么说因特网就是自印刷术以来人类通信方面最大得变革? 答:融合其她通信网络,在信息化过程中起核心作用,提供最好得连通性与信息共享,第一次提供了各种媒体形式得实时交互能力。 1-05因特网得发展大致分为哪几个阶段?请指出这几个阶段得主要特点. 答:从单个网络APPANET向互联网发展;TCP/IP协议得初步成型建成三级结构得Internet;分为主干网、地区网与校园网;形成多层次ISP结构得Internet;ISP首次出现。 1-06简述因特网标准制定得几个阶段? 答:(1)因特网草案(Internet Draft)——在这个阶段还不就是RFC文档。(2)建议标准(Propose dStandard) -—从这个阶段开始就成为RFC 文档。(3)草案标准(Draft Standard)(4)因特网标准(Internet Standard) 1-07小写与大写开头得英文名internet 与Internet在意思上有何重要区别? 答:(1)internet(互联网或互连网):通用名词,它泛指由多个计算机网络互连而成得网络.; 协议无特指(2)Internet(因特网):专用名词,特指采用TCP/IP 协议得互联网络.区别:后者实际上就是前者得双向应用 1—08 计算机网络都有哪些类别?各种类别得网络都有哪些特点? 答:按范围:(1)广域网WAN:远程、高速、就是Internet得核心网。 (2)城域网:城市范围,链接多个局域网。 (3)局域网:校园、企业、机关、社区. (4)个域网PAN:个人电子设备 按用户:公用网:面向公共营运。专用网:面向特定机构。 1—09计算机网络中得主干网与本地接入网得主要区别就是什么? 答:主干网:提供远程覆盖\高速传输\与路由器最优化通信。本地接入网:主要支持用户得访问本地,实现散户接入,速率低。 1-10 试在下列条件下比较电路交换与分组交换。要传送得报文共x(bit)。从源点到终点共经过k段链路,每段链路得传播时延为d(s),数据率为b(b/s)。在电路交换时电路得建立时间为s(s)。在分组交换时分组长度为p(bit),且各结点得排队等待时间可忽略不计。问在怎样得条件下,分组交换得时延比电路交换得要小?(提示:画一下草图观察k段链路共有几个结点.) 答:线路交换时延:kd+x/b+s,分组交换时延:kd+(x/p)*(p/b)+(k-1)*(p/b),其中(k-1)*(p/b)表示K段传输中,有(k-1)次得储存转发延迟,当s>(k—1)*(p/b)时,电路交换得时延比分组交换得时延大,当x>>p,相反。 1—11在上题得分组交换网中,设报文长度与分组长度分别为x与(p+h)(bit),其中p为分组得数据部分得长度,而h为每个分组所带得控制信息固定长度,与p得大小无关。通信得两端共经过k段链路。链路得数据率为b(b/s),但传播时延与结点得排队时间均可忽略不计.若打算使总得时延为最小,问分组得数据部分长度p应取为多大?(提示:参考图1-12得分组交换部分,观察总得时延就是由哪几部分组成。)答:总时延D表达式,分组交换时延为:D= kd+(x/p)*((p+h)/b)+ (k-1)*(p+h)/b D 对p求导后,令其值等于0,求得p=[(xh)/(k—1)]^0、5

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码(曹雪虹_张宗橙)第二、三章答案

2-1.解:该一阶马尔可夫信源,由转移概率构成的转移矩阵为: 对应的状态图如右图所示。设各符号稳定概率为:1p ,2p ,3p 则可得方程组: 1p = 211p +312p +313p 2p =211p +323p 3p =3 22p 1p +2p +3p =1 解得各符号稳态概率为: 1p = 2510,2p =259,3p =25 6 2-2.解:该马尔可夫信源的符号条件概率矩阵为: 状态转移概率矩阵为: 对应的状态图如右图所示。

设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为: 1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W 4W =0.52W +0.84W 1W +2W +3W +4W =1 解得稳定分布的概率为: 1W = 145,2W =142,3W =142,4W =14 5 2-3.解:(1)“3和5同时出现”事件的概率为: p(3,5)= 18 1 故其自信息量为: I(3,5)=-㏒2 18 1 =4.17bit (2)“两个1同时出现”事件的概率为: p(1,1)= 36 1 故其自信息量为: I(1,1)=- ㏒2 36 1 =5.17bit (3)两个点数的各种组合构成的信源,其概率空间为: 则该信源熵为: H(x 1)=6× 36 1 lb36+15×181lb18=4.337bit/事件 (4)两个点数之和构成的信源,其概率空间为:

则该信源的熵为: H(x 2)=2× 361 lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6 1lb6 =3.274bit/事件 (5)两个点数中至少有一个是1的概率为: p(1)= 36 11 故其自信息量为: I(1)= -㏒2 36 11 =1.7105bit 2-7.解:(1)离散无记忆信源的每个符号的自信息量为 I(x 1)= -㏒2 83 =1.415bit I(x 2)= -㏒241 =2bit I(x 3)= -㏒241 =2bit I(x 4)= -㏒28 1 =3bit (2)由于信源发出消息符号序列有12个2,14个0,13个1,6个3,故该消息符 号序列的自信息量为: I(x)= -㏒2( 8 3)14 (41)25 (81)6 =87.81bit 平均每个符号携带的信息量为: L H (x)= 45 ) (x I =1.95bit/符号 2-10 解:用1x 表示第一次摸出的球为黑色,用2x 表示第一次摸出的球为白色,用1y 表示第二次摸出的球为黑色,用2y 表示第二次摸出的球为白色,则 (1)一次实验包含的不确定度为: H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=- 13lb 13-23lb 2 3 =0.92 bit (2)第一次实验X 摸出的球是黑色,第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x ) = - 27lb 27-57lb 57 = 0.86 bit (3)第一次实验X 摸出的球是白色,第二次实验Y 给出的不确定度:

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容:信源熵,信道容量,信息率失真函数,信源编码,信道编码,密码体制的安全性测度等等 第二章 1.自信息量:一个随机事件发生某一结果所带的信息量。 2.平均互信息量:两个离散随机事件集合X 和Y ,若其任意两件的互信息量为 I (Xi;Yj ),则其联合概率加权的统计平均值,称为两集合的平均互信息量,用I (X;Y )表示 3.熵功率:与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率,表示信源没有剩余;熵功率和信源的平均功率相差越大,说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率):实际熵与最大熵的比值 信源冗余度: 0H H ∞=ηη ζ-=1

意义:针对最大熵而言,无用信息在其中所占的比例。 3.极限熵: 平均符号熵的N 取极限值,即原始信源不断发符号,符号间的统计关系延伸到无穷。 4. 5.离散信源和连续信源的最大熵定理。 离散无记忆信源,等概率分布时熵最大。 连续信源,峰值功率受限时,均匀分布的熵最大。 平均功率受限时,高斯分布的熵最大。 均值受限时,指数分布的熵最大 6.限平均功率的连续信源的最大熵功率: 称为平均符号熵。 定义:即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ,则其输出信号幅度的概率密度分布是高斯分布时,信源有最大的熵,其值为 1log 22 ep π.对于N 维连续平稳信源来说,若其输出的N 维随机序列的协方差矩阵C 被限定,则N 维随机矢量为正态分布时信源 的熵最大,也就是N 维高斯信源的熵最大,其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理: 离散信源无失真编码的基本原理 原理图 说明: (1) 信源发出的消息:是多符号离散信源消息,长度为L,可以用L 次扩展信 源表示为: X L =(X 1X 2……X L ) 其中,每一位X i 都取自同一个原始信源符号集合(n 种符号): X={x 1,x 2,…x n } 则最多可以对应n L 条消息。 (2)信源编码后,编成的码序列长度为k,可以用k 次扩展信宿符号表示为: Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中,每一位Y i 都取自同一个原始信宿符号集合: Y={y 1,y 2,…y m } 又叫信道基本符号集合(称为码元,且是m 进制的) 则最多可编成m k 个码序列,对应m k 条消息 定长编码:信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码:信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理:若信源有n 条消息,第i 条消息出现的概率为p i ,且 p 1>=p 2>=…>=p n ,且第i 条消息对应的码长为k i ,并有k 1<=k 2<=…<=k n

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别? 信息存在于任何事物之中,有物质的地方就有信息,信息本身是看不见、摸不着的,它必须依附于一定的物质形式。一切物质都有可能成为信息的载体,信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是:收信者在收到消息以前是不知道具体内容的;在收到消息之前,收信者无法判断发送者将发来描述何种事物运动状态的具体消息;再者,即使收到消息,由于信道干扰的存在,也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具,载荷信息的载体。显然在通信中被利用的(亦即携带信息的)实际客体是不重要的,而重要的是信息。 信息载荷在消息之中,同一信息可以由不同形式的消息来载荷;同一个消息可能包含非常丰富的信息,也可能只包含很少的信息。可见,信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源:产生消息和消息序列的源。消息是随机发生的,也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿:信息传送过程中的接受者,亦即接受消息的人和物。 编码器:将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分:(1)信源编码器:在一定的准则下,信源编码器对信源输出的消息进行适当的变换和处理,其目的在于提高信息传输的效率。(2)纠错编码器:纠错编码器是对信源编码器的输出进行变换,用以提高对于信道干扰的抗击能力,也就是说提高信息传输的可靠性。(3)调制器:调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道:把载荷消息的信号从发射端传到接受端的媒质或通道,包括收发设备在内的物理设施。信道除了传送信号外,还存储信号的作用。 译码器:编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息,并尽可能地复现信源的输出。 1.3 同时掷一对骰子,要得知面朝上点数之和,描述这一信源的数学 模型。 解:设该信源符号集合为X

计算机网络第六版-谢希仁著-第一章课后习题答案

作业: 计算机网络第一章 1-1计算机网络向用户可以提供哪些服务? 答:连通性:用户在计算机网络上可以相互间交换信息,就好像彼此计算机直接连通一样。 共享:信息共享、软件共享、硬件共享等资源共享。 1-2试简述分组交换的特点。 答:分组交换实质上是在“存储——转发”基础上发展起来的。它兼有电路交换和报文交换的优点。分组交换在线路上采用动态复用技术传送按一定长度分割为许多小段的数据——分组。每个分组标识后,在一条物理线路上采用动态复用的技术,同时传送多个数据分组。把来自用户发端的数据暂存在交换机的存储器内,接着在网内转发。到达接收端,再去掉分组头将各数据字段按顺序重新装配成完整的报文。 1-3 试从多个方面比较电路交换、报文交换和分组交换的主要优缺点。 答:(1)电路交换电路交换就是计算机终端之间通信时,一方发起呼叫,独占一条物理线路。 当交换机完成接续,对方收到发起端的信号,双方即可进行通信。在整个通信过程中双方一直占用该电路。它的特点是实时性强,时延小,交换设备成本较低。但同时也带来线路利用率低,电路接续时间长,通信效率低,不同类型终端用户之间不能通信等缺点。 电路交换比较适用于信息量大、长报文,经常使用的固定用户之间的通信。 (2)报文交换将用户的报文存储在交换机的存储器中。当所需要的输出电路空闲时,再将该报文发向接收交换机或终端,它以“存储——转发”方式在网内传输数据。报文交换的优点是中继电路利用率高,可以多个用户同时在一条线路上传送,可实现不同速率、不同规程的终端间互通。但它的缺点也是显而易见的。以报文为单位进行存储转发,网络传输时延大,且占用大量的交换机内存和外存,不能满足对实时性要求高的用户。报文交换适用于传输的报文较短、实时性要求较低的网络用户之间的通信,如公用电报网。(3)分组交换分组交换实质上是在“存储——转发”基础上发展起来的。它兼有电路交换和报文交换的优点。分组交换在线路上采用动态复用技术传送按一定长度分割为许多小段的数据——分组。每个分组标识后,在一条物理线路上采用动态复用的技术,同时传送多个数据分组。把来自用户发端的数据暂存在交换机的存储器内,接着在网内转发。 到达接收端,再去掉分组头将各数据字段按顺序重新装配成完整的报文。分组交换比电路交换的电路利用率高,比报文交换的传输时延小,交互性好。 1-4 为什么说因特网是自印刷术以来人类通信方面最大的变革? 答:因特网缩短了人际交往的时间和空间,改变了人们的生活、工作、学习和交往方式,是世界发生了极大的变化。 1-5 因特网的发展大致分为哪几个阶段?请指出这几个阶段最主要的特点。 答:第一阶段是从单个网络ARPANRET 向互联网发展的过程。最初的分组交换网ARPANET 只是一个单个的分组交换网,所有要连接在ARPANET 上的主机都直接与就近的结点交换机相连。而后发展为所有使用TCP/IP 协议的计算机都能利用互联网相互通信。第二阶段是1985-1993 年,特点是建成了三级结构的因特网。第三阶段是1993 年至今,特点是逐渐形成了多层次ISP 结构的因特网。

《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 2.1解: 平均每个符号长为:15 4 4.03 12.03 2= ?+?秒 每个符号的熵为9183.03log 3123log 3 2=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 2.2 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 2.3 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)36 6(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2 = 比特 2.4 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 2.5 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 2.6 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得

相关文档
最新文档