信息论与编码第五章课后习题答案汇编
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21 year.March设信源「x ]=严①①①勺% 5 “(X)」[0.2 0.19 0.18 0.17 0.15 0.1 0.01(1) 求信源爛H(X)；(2) 编二进制香农码；(3) 计算平均码长和编码效率.解：(1)H(X)= -另/Xt/Jlogn p(di)i・l=-0.2 x log 三02 - 0」9 x log 0」9-0.18xlog20.18-0.17xlog20.17-0.15xlog20.15-0.1xlog20.1-0.01xlog2 0.01=2.609”〃 / symbol斤=》&°a)= 0・2x3 + 0」9x3 + 0」8x3 + 0」7x3 + 0」5x3 +0.1x4 + 0.01x7= 3.141Z7 = ^y M2 = H(X)/^ = 2.609^3.141 =83.1%对习题的信源编二进制费诺码，计算编码效率. 解：=M_2% r = 2fc /X^) = 2xO_2+3xO_19+3xO_18+2xO_17+3xO_15+ 4x01+4x001 = 274H(X) _ _ 2-609 R ~ X ~ 2-74对信源l/cxj I 0-2 o w 01g 017 015 01编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码:r = 2fc /X^) = 2xO_2 + 2xO_19+3xO_18+3xOJ7+3xO_15+ 4x01+4x001 =2_72R K 2_72三进制哈夫曼码:=914%= 1x0-2 +2x(019+ 0.18+0J7 +0.15+OJ+O-Ol)=L8H(X) HQXi 2.609 4=豪= =l_8xlDg 23 V，D82O T设信源⑴求信源H(X)；⑵编二进制香农码和二进制费诺码；⑶计•算二进制香农码和二进制费诺码的平均码长和编码效率； ⑷编三进制费诺码；⑸计算三进制费诺码的平均码长和编码效率； 解： ⑴更3)=-送>(对如B 2 Pg)i-1=—xk>g 2 2+—5clog 2 4+—xlog 28+—xlog 316 +—xk>g 332+—xlog 264 + ^—xlog 3128 + ^—： 224 X 2 16 32 64 128 128 = 1_984 Iriifsymbol⑵二进制香农码:XiP (Xi)P<M ki码字X11 0 X22 10 X33 110 X44 1110 X55 11110 X66 111110 X77 1111110 X871111111二进制费诺码:xiP (Xi)编码码字k Xi1 X2102211103屯耳七总 X, £ [1111118 16 32 64 128 128香农编码效率：r = yfcX^) = -xl + lx2+lx3+Ax4+Ax5 +—X6+—X7 + —X7T £2 4 8 16 32 64 128 128=1.9&4R K 1_984费诺编码效率：r = yfcX^) = -^l + ix2+ix3+Ax4+Ax5 +—x6+—x7 + —x7 T 2 4 8 16 3264128 128=1_984R K 1_984⑷⑸^=Sfc;X^) = -xl+-xU-x2+ —x2+—X3+A X3+X X4+X X4V 2 4 & 16 3264 128 12S=1328R X 1328x1^,3~ X]J Q r设无记忆二进制信源|_切」I0-9 01先把信源序列编成数字0, 1, 2 ............... .. 8,再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度热;(3) 求对应于一个码字的信源序列的平均长度不;⑷计算耳，并讣算编码效率；⑸若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长疋, 并计算编码效率.p(0/0) = , p(l/l)=,码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码•若“0”游程长度的截至值为16, “1”游程长度的截至值为&求编码效率.选择帧长A/ = 64(1) 对00000000000000000000000000000000000000 遍L・D 码；(2) 对000000000010 遍L-D 码再译码;⑶对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；⑷对0遍L-D码；(5)对上述结果进行讨论.。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
信息论第五章答案解析
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑= (2)(3)%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
解：%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：二进制哈夫曼码：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η三进制哈夫曼码：%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制香农码：二进制费诺码：(3)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η (4)(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码习题与答案第五章
5-10 设有离散无记忆信源}03.0,07.0,10.0,18.0,25.0,37.0{)(=X P 。
（1）求该信源符号熵H(X)。
（2）用哈夫曼编码编成二元变长码，计算其编码效率。
（3）要求译码错误小于310-，采用定长二元码达到（2）中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源符号熵为symbolbit x p x p X H i ii /23.203.0log 03.007.0log 07.010.0log 10.018.0log 18.025.0log 25.037.0log 37.0)(log )()(222222=------=-=∑ （2）1x 3x 2x 6x 5x 4x 0.370.250.180.100.070.030111110.100.200.380.621.0000011110110001001符号概率编码该哈夫曼码的平均码长为符号码元/3.2403.0407.0310.0218.0225.0237.0)(=⨯+⨯+⨯+⨯+⨯+⨯==∑iii K x p K 编码效率为9696.03.223.2)(===KX H η (3)信源序列的自信息方差为2222)(792.0)]([)]()[log ()(bit X H x p x p X i ii =-=∑σ7.00696.90)()(==+=εεη得，由X H X H53222102.6110)7.00(92.70)(⨯=⨯=≥-δεσX L 由切比雪夫不等式可得所以，至少需要1.62×105个信源符号一起编码才能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0{)(=X P ，则求：（1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率。
（2）对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1） 求这些码中哪些是惟一可译码；
（2） 求哪些码是非延长码（即时码）；
（3） 求对所有惟一可译码求出其平均码长 L 。
解：
（1）上述码字中，A 为等长码，且为非奇异码，因此码 A 为惟一可译码；
码 B 中，根据惟一可译码的判断方法，可求得其尾随后缀集合为
{1,11,111,1111,11111} ，且其中任何后缀均不为码字，因此码 B 是惟一可译码。码
而该信道的信道容量为 1 比特/符号，平均每秒能够传输的最大信息量为 2 比特，
因此通过编码可以实现二者的连接。
若要连接，需要对扩展信源的信源符号进行编码，目的是使送入信道的信息
量小于信道每秒能接收的最大信息量（或使每秒钟编码后送入信道的码符号个数
必须小于信道所能接受的最大码符号个数），具体编码方法将在第八章进行。
00001 s4
000001 s5
0000001 s6
00000001 s7
00000000 s8
1000 1001 1010 1011 1100 1101 1110 1111
0
（1） 试问最后的二元变长码是否是否是惟一可译码；
（2） 试求中间码对应的信源序列的平均长度 L1 ； （3） 试求中间码对应的二元变长码码字的平均长度 L2 ； （4） 计算比值 L2 / L1 ，解释它的意义，并计算这种游程编码的编码效率； 解：
P
I (αi ) N
−
H (S )
≥
ε
≤1−δ
根据给定条件可知， ε = 0.05 ，δ = 0.99 。而
δ
=
D[I (si )]
Nε 2
因此
N0
≥
D[I (si )]
δε 2
=
0.4715 0.052 * 0.99
= 190.5
取 N0 = 191。
（2） ε 典型序列中信源序列个数取值范围为：
代入上述数值得
(1 − δ )2N [H (S )−ε ] < GεN < 2N[H (S )+ε ]
0.01× 2145.351 < GεN < 2164.451 【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了
对应的码 A、B、C、D、E 和 F。
表 5.2
消息 P(ai ) A
解：
如果不通过编码，即信道的两个码符号对应两个信源符号，而信道传输码符
号的速度小于信源发出信源符号的速度，因此势必会造成信源符号的堆积，因此
不通过编码是无法将信源与信道直接连接。
信源平均每秒发出的信息量为
2.66* H (S) = −2.66 *∑ P(s) log P(s) = 1.921 比特/秒
B
C
D
E
F
a1
1/2 000
0
0
0
0
0
a2
1/4 001 01
10
10
10 100
a3
1/16 010 011
110
110 1100 101
a4
1/16 011 0111
1110 1110 1101 110
a5
1/16 100 01111 11110 1011 1110 111
a6
1/16 101 011111 111110 1101 1111 011
【5.6】设某无记忆二元信源，概率 p1 = P(1) = 0.1 ， p0 = P(0) = 0.9 ，采用下述游 程编码方案：第一步，根据 0 的游程长度编成 8 个码字，第二步，将 8 个码字变
换成二元变长码，如下表所示。
表 5.6
信源符号序 中间码 二元码字
1
s0
01
s1
001
s2
0001 s3
第五章课后习题
【5.1】某信源按 P(0) = 3 ， P(1) = 1 的概率产生统计独立的二元序列。
4
4
（1）试求 N0 ，使当 N > N0 时有
P
I (αi ) N
−
H (S)
≥
0.05
≤
0.01
式中， H (S) 是信源的熵。
（2）试求当 N = N0 时典型序列集 GεN 中含有的信源序列个数。 解：
（1）该信源的信源熵为
∑ H (S) = − p(si ) log p(si ) = 0.811 比特/符号
自信息的方差为
D[I (si )]
= E[I 2 (si )] − H 2 (S) = 3 log 2 4 + 1 log 2 4 − 0.8112
4 34
= 0.4715
根据等长码编码定理，我们知道
长为 (l1,l2 ,K,l6 ) = (1,1,2,3,2,3) ，求 r 值的下限。 解：
q
∑ 如果要构造出惟一可译变长码，则相关码长必须满足 r −li ≤ 1 ，代入上式有 i=1
r −1 + r −2 + r −3 ≤ 1 2
当 r = 2 时，上述不等式不成立；当 r = 3 时，成立。因此 r 值的下限为 3。
q
∑ r −li ≤ 1
i=1
而如果码长 l1,l2 ,K,lq 满足上述不等式，根据 Kraft 不等式构造即时码的方法，可 以构造出码长为 l1,l2 ,K,lq 的即时码，具体构造过程略，参照课本相关定理。
【5.4】设信源
S P(s)
=
s1 p1
s2 p2
L L
s6 p6
将此信源编码为 r 元惟一可译变长码（即码符号集 X = {1,2,K, r}），其对应的码
C 为逗点码，因此码 C 为惟一可译码；码 D 不是惟一可译码，因为其尾随后缀
集合中包含 0，而 0 又是码字；码 E 的尾随后缀集合为空集，因此码 E 是惟一可
译码；码 F 不是惟一可译码，因为其尾随后缀集合中包含 0，而 0 又是码字，因
此 F 不是惟一可译码。
（2）码 A、C、E 是即时码（非延长码）
【5.5】若有一信源
S P(s)
=
s1 0.8
s2 0.2
每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行
传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。试问信源
不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真
传输？若能连接，试说明如何编码并说明原因。
（1）该码是非延长码，因此肯定是惟一可译码；
（3）码 A 的平均码长为 3；码 B 的平均码长为 2.125；码 C 的平均码长为
2.125；码 F 的平均码长为 2。
【5.3】证明定理 5.6，若存在一个码长为 l1,l2 ,K,lq 的惟一可译码，则一定存在具 有相同码长的即时码。
证明：
如果存在码长为 l1,l2 ,K,lq 的惟一可译码，则 l1,l2 ,K,lq 必定满足如下不等式