信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为：

1/3

○ ○

2/3 (x 1) 1 (x 2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p

=)()(2132x p x p +

)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4

3

1)(=x p 4

12)(=x p

马尔可夫信源熵H = ∑∑-

I

J

i j i j

i

x x p x x

p x p )(log )()( 得 H=符号

2．设有一个无记忆信源发出符号A 和B ，已知4

3

41)(.)(=

=B p A p 。求：

①计算该信源熵；

②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑-

=X

i

i

x p x p X H )(log )()( = bit/符号

②发出二重符号序列消息的信源,发出四种消息的概率分别为

1614141)(=⨯=AA p 1634341

)(=⨯=AB p

1634143)(=⨯=BA p 1694343)(=⨯=BB p

用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2

==X H X H bit/双符号 平均代码组长度 2B = bit/双符号

B

X H R )(22== bit/码元时间

③三重符号序列消息有8个,它们的概率分别为

641)(=AAA p 64

3)(=AAB p 64

3)(=

BAA p 643)(=

ABA p 64

9)(=

BBA p 64

9)(=

BAB p 64

9)(=ABB p 64

27)(=

BBB p

用霍夫曼编码方法 代码组 b i BBB 6427 0 0 1

BBA 649 0 )(6419 1 110 3

BAB 649 1 )(6418 )(644 1 101 3

ABB 649 0 0 100 3

AAB 643

1 )(64

6 1 11111 5 BAA 643

0 1 11110 5

ABA 643

1 )(64

40 11101 5 AAA 641

0 11100 5

)(3)(3X H X H == bit/三重符号序列 3B =码元/三重符号序列

3R =B

X H )(3= bit/码元时间

3．已知符号集合{Λ321,,x x x }为无限离散消息集合，它们的出现概率分别为 2

11)(=

x p ，

412)(=x p 813)(=x p ···i i x p 2

1

)(=

···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。 解: ①

②∑-

=I

i

i

x p x p X H )(log )()(=2 bit/符号

∑==I

i i b P b Λ=2码元/符号

码元时间/1)

(bit b

x H R ==

③二进制信道C=1 bit/码元时间 信源编码的编码效率η=

C

R

=100%

4． 已知一个信源包含八个符号消息,它们的概率分布如下表，求：

① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。 解: ①∑-=X

x

p x p X H )(log )()(=2552bit/符号,时间熵=t H s

t R ==t H s ②霍夫曼编码

符号 i p 代码组 b i C 0 0 1 B 0 110 3 A 0 (1,0) 100 3 0 1

F 0 1 1 1111 4

G 1 1011 4 1

E 0 1 1010 4 D 1 11101 5 0

H 0 11100 5

平均码长b =码元/符号

码元时间/9779.0)

(bit b

x H R ==

信源编码的编码效率η=C

R

=%