信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为：

1/3

○ ○

2/3 (x 1) 1 (x 2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p

=)()(2132x p x p +

)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4

3

1)(=x p 4

12)(=x p

马尔可夫信源熵H = ∑∑-

I

J

i j i j

i

x x p x x

p x p )(log )()( 得 H=0.689bit/符号

2．设有一个无记忆信源发出符号A 和B ，已知4

341)(.)(=

=B p A p 。求：

①计算该信源熵；

②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑-

=X

i

i

x p x p X H )(log )()( =0.812 bit/符号

②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3

无记忆信源 624.1)(2)(2

==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号

B

X H R )(22==0.963 bit/码元时间

③三重符号序列消息有8个,它们的概率分别为

用霍夫曼编码方法 代码组 b i BBB 64

27 0 0 1 BBA

64

9 0 )(6419 1 110 3

BAB 649 1 )(6418 )(644

1 101 3

ABB 64

9 0 0 100 3

AAB 643

1 )(64

6

1 11111 5 BAA 64

3 0 1 11110 5

ABA

643

1 )(64

4

0 11101 5 AAA

64

1 0 11100 5

)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列

3R =B

X H )(3=0.987 bit/码元时间

3．已知符号集合{ 321,,x x x }为无限离散消息集合，它们的出现概率分别为 2

11)(=

x p ，

412)(=x p 813)(=x p ·

··i i x p 2

1

)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。 解: ①

②-

=I

i

i

x p x p X H )(log )()(=2 bit/符号

∑==I

i i b P b =2码元/符号

③二进制信道C=1 bit/码元时间 信源编码的编码效率η=

C

R

=100%

① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。

解: ①∑-

=X

x

p x p X H )(log )()(=2552bit/符号,时间熵=t H 2.552bit/s

t R ==t H 2.552bit/s ②霍夫曼编码

符号 i p 代码组 b i C 0.4 0 0 1 B 0.18 0 110 3 A 0.1 0 (1,0) 100 3 0 (0.23) 1

F 0.1 0 1 1 (0.6) 1111 4

G 0.07 1 1011 4 1

E 0.06 0 (0.13) 1 1010 4 D 0.05 1 (0.19) 11101 5 0

H 0.04 0 (0.09) 11100 5 平均码长b =2.61码元/符号

信源编码的编码效率η=

C

R

=97.79%