第四章习题答案

第4章习题4-1 对信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s P S 7654321进行二元编码，编码方案为（1）计算平均码长L ； （2）编码后信息传输率R ；（3）编码信息率R '； （4）编码效率η。

解：（1）()14.3Ls p L iq1i i=⋅=∑=（码元/信源符号）（2）()61.2S H =（比特/信源符号）()831.014.361.2L S ===H R （bit/码元） （3）logr L R ='=3.14（ bit/信源符号） （4）831.0R Rmax==η 或者()831.0R S H ='=η 4-2 设离散无记忆信源的概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡4143s s S 21P ，若对信源采取等长二元编码，要求编码效率96.0=η，允许译码错误概率510-≤δ，试计算需要的信源序列长度N 为多少？解：信源熵为()811034log 434log 41S .Η=+=（bit/符号）自信息量的方差()()()[]22i q1i i 2S H logp p S -=∑=σ4715.0811.041log 4143log 43222=-⎪⎭⎫⎝⎛+⎪⎭⎫ ⎝⎛= 因为编码效率96.0=η，由()()ε+=S S H H η可得()3379.0811.096.004.0S H 1=⨯=-=ηηε 可得()752221013.4103379.04715.0S N ⨯=⨯=≥-δεσ 所以，信源序列长度达到71013.4⨯以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。

4-6设离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.09.0s s S 21P ，对信源进行N 次扩展，采用霍夫曼编码。

当N=1，2，∞时的平均码长和编码效率为多少？解：（1）N=1时，将1s 编成0，2s 编成1，则1L 1=又因为信源熵()469.0))logp(s p(s S H q1i i i =-=∑=bit/符号所以()469.0L S H 11==η （2）N=2时，编码过程如下2S概率 霍夫曼编码11s s 0.81121s s 0.09 01 12s s 0.09 000 22s s 0.01001所以()=+⨯+⨯+⨯=0.090.0130.0920.811L 2则645.02L 2= 所以()==0.645X H 2η （3）N=∞时，由香农第一定理可知，必然存在唯一可译码，使()S H N L limr NN =∞→而霍夫曼编码为最佳码，即平均码长最短的码，故()()469.0S H S H N L limr NN ===∞→即1lim N N =∞→η4-7已知信源共7个符号消息，其概率空间为()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.02.0s s s s s s s x P S 7654321试进行香农编码。

并计算编码后的信息传输率和编码效率。

解：下面以消息5s 为例来介绍香农编码。

计算()74.215.log0og 5=-=-p l ，取整数3L 5=作为5s 的码长。

计算4321s ,s ,s ,s 的累加概率，有74.017.018.019.02.0p P 41k k 5=+++==∑=将0.74变换成二进制小数()()2101011110.074.0=，取小数点后面三位101作为5s 的代码。

信源熵： ()61.2))logp(sp(s S H q1i ii=-=∑=bit/符号平均码长： ()iq1i iLs p L ∑=⋅=14.3=码元/符号信息传输率()831.014.361.2L S ===H R 编码效率：()831.014.361.2LS ===___H η 4-8 已知信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡0.150.20.20.225.0s s s s s P S 54321用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。

解：平均码长： ()iq1i iLs p L ∑=⋅= 2.363*35.02*65.0=+=码元/符号信息传输率()LS H R = 编码效率：()___H ηLS =4-11已知信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡0.040.080.160.180.2232.0s s s s s s P S 654321（1）求符号熵H(S)。

（2）用香农编码法编成二进制变长码，计算其编码效率。

（3）用费诺编码法编成二进制变长码，计算其编码效率。

（4）用霍夫曼编码法编成二进制变长码，计算其编码效率。

（5）用霍夫曼编码法编成三进制变长码，计算其编码效率。

（6）若用逐个信源符号来编定长二进制码，要求不出差错译码，求所需要的每符号的平均信息率和编码效率。

（7）当译码差错小于310－的定长二进制码要达到（4）中的霍夫曼编码效率时，估计要多少个信源符号一起编才能办到？ 解：（1）∑==-=61352.2)s (log )s ()S (i iip p H bit/符号（2）香农编码过程如下：∑===61i 84.2L )s (L i i p 码元/符号828.0L)S (==H η∑===61i 4.2L )s (L i i p 码元/符号98.0L)S (==H η （4）霍夫曼二进制编码过程如下：∑===61i 4.2L )s (L i i p 码元/符号98.0L)S (==H η （5）霍夫曼三进制编码过程如下：按3为底的信源熵为：∑==-='613484.1)(log )()S (i i i x p x p H 单位/符号()()()58.1304.008.0216.018.022.032.0L )s (L 61i =⨯++⨯+++==∑=i i p 码元/符号939.0L)S (='=H η （6）因为有6个符号，因此需要3bit 来进行编码，故需要的符号平均信息率为3bit/符号。

784.0L)S (==H η （7）98.0)S ()S (=+=εηH H 解得048.0=ε[]∑==-=612222527.0)S ()(log )S (i i i bit H p p σ532221029.210048.0527.0)S (⨯=⨯=≥-δεσL 因此，使用定长码则需要51029.2⨯个符号连在一起编。

4-12 设信源S 的N 次扩展信源为NS ，采用最佳编码对它进行编码，而码符号为{}r 21x ,x ,x X =，编码后所得的码符号可以看作一个新信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡r 21r 21p p p x x x P X求证：当∞→N 时，新信源X 符号集的概率分布趋于等概分布。

证明：由香农第一定理知()()N1logr S N L logr S N +≤≤ΗΗ 当平均码长达到极限值时，编码效率()logrS N L N Η= 这时编码后的信道信息传输率（新信源的信息传输率）logr R =即新信源的r 个符号（即码符号）独立等概分布，达到最大熵。

4-15设某二元无记忆信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.00.810P S 每秒钟发出2.5个信源符号。

将此信源的输出符号送入无噪无损信道中进行传输，而信道每秒钟只传送两个二元符号。

（1） 如果不通过编码，信源能否在此信道中进行无失真传输？。

（2） 如果通过适当编码，信源能否在此信道中进行无失真传输？如何进行信源编码？解：（1）如果不对信源进行编码，这时信源输出5.2（二元信源符号/秒），而信道传输速率为2（二元信道符号/秒），因为25.2>，所以不通过编码，该信源不能在信道中进行无失真编码。

（2）信源熵()信源符号/722.0S bit Η=二元无噪无损信道的最大信息传输率信道符号比特/1C =而信道每秒钟传送2个符号，所以该信道的最大信息传输速率秒比特/2C t =如果信源每秒钟发送2.5个信源符号，则信源输出的信息速率()秒比特/805.1S H 5.2R t =⨯=则t t C R <所以，通过适当编码，信源能够在此信道中进行无失真传输。

如何进行编码呢？我们将对N 次扩展信源进行信源编码。

当N=2时，对二次扩展信源进行霍夫曼编码。

编码过程如下2S概率 霍夫曼编码11s s 0.641 21s s 0.16 01 12s s 0.16 000 22s s 0.04001则单个符号的平均码长信源符号二元码符号/78.02L L 2______==所以，二次扩展编码后，送入信道的传输速率为95.15.278.0=⨯（二元码符号/秒）信源编码得到的二元码符号进入信道，即信道符号就是二元码符号，由题意可知，信道每秒钟可以传送两个符号。

因为295.1<，此时就可以在信道中进行无失真编码。