信息论与编码第五章习题参考答案

5.1某离散无记忆信源的概率空间为

采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。

解：计算相应的自信息量

1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=

a lbp a I 比特 7)()(77=-=a lbp a I 比特

根据香农码编码方法确定码长

1)()(+<≤i i i a I l a I

平均码长

984375

.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。 费罗马编码过程

5.2某离散无记忆信源的概率空间为

使用费罗码对该信源的扩展信源进行二进制变长编码，

(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。 (2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果

进行比较。

解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）

平均码长11=L 比特/符号

编码效率为

%1.81X)

（H 1

1==

L η

（2）

平均码长为

84375.0）316

1316321631169（

212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%

9684375

.0811

.0X)

（H 2

2==

=

L η

（3）当N=4时，

序列码长

309

.37256

17256362563352569

442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=

L

平均码长827.04309

.34==

L %

1.98827

.0811

.0X)

（H 4

3==

=

L η

可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。 .

5.3某离散无记忆信源的概率空间为

使用哈夫码编码法对该信源的扩展信源进行二进制变长编码，

(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。 (2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果

进行比较。

5.4某离散无记忆信源的概率空间

使用约定码表进行哈夫曼进行编码，约定码表的概率空间为

(1)计算平均码长与编码效率。

(2) 如果直接对信源进行哈夫曼编码，写出编码码字，计算平均码长和编码效率。 (3) 比较上述编码结果，并进行讨论。 解：信源的熵为H(X)= 1.984375比特/符号。

1

平均码长为

515625

.271281712816641516143213812212411=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=

L

编码效率为%9.78)

(H 1

1==L X η

2

平均码长为1.984375比特/符号，编码效率为1.

3）当实际数据统计规律与产生码表对应的概率相差较大时，编码效率会明显降低。

5.5某信源的概率空间为

使用3进制符号(0，1，2)进行编码，写出哈夫码和费罗码，并且计算编码效率。

5.6某离散无记忆信源的概率空间为

(1) 采用二进制哈夫曼码编码对信源编码，计算编码效率。 (2) 如果采用等长码编码，要求错误译码概率小于，则序列长度为多少？

平均码长为

4

.24

04.0408.0316.0218.0222.0232.01=⨯+⨯+⨯+⨯+⨯+⨯=L

信源的熵为H （X ）=2.353比特/符号 编码效率为%984

.2353

.2)

(H 1

1==

=

L X η 2）自信息量方差为D[I(ai)] = 0.527;

将参数代入72

22

1029.2）-1（)(H )]([D N ⨯=≥δ

ηηX ai I

5.8某信源输出二进制序列(0000,0000,0000,0001,1111,0000,0010,0000)，对该序列进行不同形式的游程编码，分别给出编码结果

(1) 直接统计连续0和1的个数。

(2) 采用四进制数据进行编码，即如果连续出现符号数量为1,2,3，则输出符号“1”,“2”,“3”，如果当前编码输出为“3”，之后出现符号变化，则应当一个“0”，再对变化后的符号序列进行编码，写出编码结果。

(3) 将符号序列分为4个一组，如果一组的4个符号全部为0，则输出符号“0”；否则输出符号“1”，并且直接输出该符号序列。

解 1) 输出结果为15,5,6,1,5； 2)3 3 3 3 3 0 3 2 3 3 0 1 3 2； 3）0 0 0 10001 11111 0 10010 0；

5.9使用表5.8 二进制游程编码码表对题5.8给定的序列进行游程编码。 解：0 0 0 100 111111 0 1010 0

5.10离散无记忆信源的概率空间为

使用算术编码方法对输出序列进行编码，并且对结果进行译码。

解：累计概率Pi 如表所示

令C 0=0,A 0=1;

1) C1=C0+A0P2=0+1*0.5 =0.5;

A1=A0*p2=0.25;

2) C2=C1+A1P1=0.5+0.25*0 =0.5;