信息论与编码第5章习题解答
=
所以
(3 − D ) bit 2
( 2 − D) 0 ≤ D ≤ 1 R( D) = (3 − D) / 2 1 ≤ D ≤ 3 0 D>3
相应的率失真曲线为： R (D) 2 1 0 1 2 3 D
5.6
设某二元源
U u1 u2 0 2 = ，失真矩阵为 D = ，求 Dmin ， Dmax 和 p(u ) 0.5 0.5 1 0
［解］ 由于率失真函数为
1 H ( p) − H ( D) 0 ≤ D ≤ p < R( D ) = 2 0 其它
当D =
p 时，最低码率不能低于 2 p p R( D = ) = H ( p) − H bit/符号 2 2
5.8
令 X ~ N (0, σ 2 ) ，失真度量为平方误差失真函数。请证明最佳 1 化特量化的再生 点为 ±
x ˆ x
= λ ( 0) ⋅ p * (1) ⋅ e 2s + 0.5 ⋅ λ (1) ⋅ p * (0) ⋅ e s Rs = s ⋅ Ds + 0.5 ⋅ [log λ ( 0) + log λ (1)]
其中参数 s < 0 。
5.7
x2 X x1 1 设信源 = ( p < ) ，其失真度为 Hamming 失真度，试问当允许 2 p (x ) p 1 − p 1 平均失真度 D = p 时，每个信源符号平均最少需要几个二进制符号表示？ 2
所以由定理 ５．３．１，转移概率矩阵具有与失真矩阵相同的对称
α α β α α β α α
其中 β + 3α = 1 。设平均失真为 D，则
x,x ˆ
ˆ ˆ D = ∑ p (x ) p (x | x ) d ( x, x )
= 3α
因而 α = X 1 2 3 4
1 D , β = 1 − D 。相应的转移概率图为如下所示 3 ˆ= 1) = P( X ˆ= 2) ^ 由于 P( X X
π (2) = 3, σ ( 2) = 3, π (2) = 3, σ ( 2) = 3,
α α α β
π (3) = 1, σ ( 3) = 1, π (3) = 2, σ ( 3) = 2,
π ( 4) = 4 σ (4) = 4 π ( 4) = 1 σ (4) = 1
D 3
于是
D 3 2 + ( 1 − D ) log( 1 − D ) + D log , 0 ≤ D < 3 4 R( D ) = 3 0 D≥ 4
5.2
X − 1 0 1 1 1 若某无记忆信源 = − , ，其失真矩阵为 = 1 1 1 ，接收符号 Xˆ p (x ) 2 2 3 3 3 1 2 D = 1 1 ，求信源的最大失真度和最小平均失真度。 2 1
1 1 1 0
求 Dmin 和 Dmax 及信源的 R(D)。 ［解］
Dmin = ∑ p( x) ⋅ C x = ∑ p( x)min d( x ,x ˆ ) ˆ
x x ˆ ∈X
x
Dmax
=0 = min p( x ) d( x , x ˆ ) ˆ∑
x ∈X x
3 = 4
显然失真矩阵和信源分布满足如下置换对称 ① ② 和 ③
2 2 σ ；1 比特量化的平均失真为 π − 2 σ 2 。与高斯随机变量的失真率函数 π π
D = σ 2 ⋅ 2 −2R 比较，试说明为什么有这样的差异？
ˆ ˆ> 0 ，于是量化误差为 ［解］ 由对称性，1 比特最佳量化的再生电平设为 ± x ，x
上式二边乘 p ( x) ，并对 x 求和得到
p * (x ˆ ) = p * ( x) ∑ λ ( x )p (x )e sd (x ,xˆ)
所以
x∈X
∑ λ ( x ) p (x )e
x∈X
sd (x ,x ˆ )
ˆ = 1 , ∀x ∈ Xˆ
−1
ˆ 其中 λ ( x) = ∑ p * ( x )e sd (x ,xˆ) ˆ x ∈Xˆ 设 u ( x ) = λ ( x ) ⋅ p( x) ，则对本题参数 u (0) + u(1) ⋅ e s = 1 u (0) ⋅ e 2s + u(1) = 1
ˆ R( D) = min {H ( X ) − H ( X | X )}
α + β +γ =1 α + 3γ = D α , β ,γ ∈[ 0 ,1 ]
=
α + β +γ =1 α + 2 γ =D α , β ,γ ∈[ 0 ,1]
min {2 − β − 2γ }
当0 ≤ D ≤1时
α + β + γ = 1 β + 3γ = D α , β , γ ∈ [0,1]
ˆ p (x j | xi ) = 0 ，所以转移矩阵中 a1 = a 2 = a 3 = b1 = 0 ，从而转移概率矩阵为
α 0 0 0 0 α 0 0 P= 0 0 α 0 0 0 0 α
相应的转移概率图为：
β β 0 0
0 0 β β
γ γ γ γ
X
α
ˆ X
0 1 2 3 4 5 6
α α α β ? β β
0
?
β
1 2 3
? ?
其中 平均失真 由于
α + β + γ = 1 ， α , β , γ ∈ [0,1] 1 D = [ 2 β + 2 β + 12γ ] = β + 3γ 4 H ( X ) = 2 bit ˆ = 0) = H ( X | X ˆ= 1) = H ( X | X ˆ= 2) = H ( X | X ˆ = 3) = 0 H (X | X ˆ = 4) = H ( X | X ˆ= 5) = 1 bit H (X | X
x ˆ ∈X x
= min{ ∞ , ∞ , ∞ , ∞,3}
=3 失真矩阵满足如下置换对称
π (0) = 2, π (1) = 3, π (2) = 0, π (3) = 1 ρ ( 0) = 2, ρ (1) = 3, ρ (2) = 0, ρ (3) = 1, ρ (4) = 5, ρ (5) = 4, ρ (6) = 6 π (0) = 1, π (1) = 0, π (2) = 3, π (3) = 2 ρ ( 0) = 1, ρ (1) = 0, ρ (2) = 3, ρ (3) = 2, ρ (4) = 4, ρ (5) = 5, ρ (6) = 6
0 1 ˆ d ( xi , x ) = 1 j 3 ∞
［解］
i= j i = 0,1且j = 4 i = 2,3且j = 5 j = 6, i为任意 其它
求率失真函数 R(D)。
Dmin = ∑ p( x)min d (x , x ˆ ) ˆ
x x ˆ ∈X
Dmax = min p( x ) d( x , x ˆ ) ˆ∑
［解］ 见书上例题 5.3.3，其中失真矩阵满足置换对称
π (1) = 2, π ( 2) = 1, ρ (1) = 2, ρ ( 2) = 1, ρ (3) = 3
5.4 设信源为无记忆，等概分布，取值范围为{0,1,2,3}，再生字符表为{0, 1, 2, 3, 4, 5, 6}。 失真函数为
所以
R( D ) =
β =D − 3 γ ≥0 α =1− D +2γ ≥0 γ ≥0
β = D − 3γ ≥ 0 α = 1 − β − γ = 1 − D + 2γ ≥ 0 γ ≥0 min {2 − D + γ }
= ( 2 − D ) bit
当1 ≤ D ≤ 3 ，
所以
D α + β + γ = 1 β = D − 3γ ≥ 0 γ ≤ 3 β + 3γ = 0 ⇒ α = 2γ − D + 1 ≥ 0 ⇒ D −1 γ ≥0 γ ≥ α , β , γ ∈ [ 0,1] 2 R( D ) = min {2 − D + γ }
ˆ = 6) = 2 bit H (X | X
所以 因此
ˆ = 0) = P ( X ˆ= 1) = P( X ˆ = 2) = P ( X ˆ= 3) = α P( X 4 ˆ = 4) = P ( X ˆ = 5) = β P( X 2 ˆ = 6) = γ P( X ˆ H (X | X ) = β + 2γ
［解］
Dmin = ∑ p( x) min d (x , x ˆ ) ˆ
x x∈X ˆ
Dmax
=1 = min
x ˆ ∈Xˆ
ˆ ) ∑ p( x)d (x, x
x
4 4 = min , 3 3 4 = 3
5.3
已知信源 X 取值范围为{0, 1}，再生字取值范围为{0, 1, 2}，设信源输入符号为等概 0 ∞ 1 分布，失真函数 D = ，求信源率失真函数。 ∞ 0 1
《信息论与编码》第五章习题解答
5.1 X 0 一个四元对称信源 = 1 p (x ) 4 真矩阵为， 1 1 4 2 1 4 3 1 = {0, 1, 2, 3} ，其失 ，再生字符集为 Xˆ 4
0 1 D= 1 1
1 0 1 1
1 1 0 1
π (1) = 2, π (2) = 3, π (3) = 4, π ( 4) = 1 σ (1) = 2, σ ( 2) = 3, σ ( 3) = 4, σ (4) = 1 π (1) = 2, σ (1) = 2, π (1) = 4, σ (1) = 4,
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21 year.March设信源「x ]=严①①①勺% 5 “(X)」[0.2 0.19 0.18 0.17 0.15 0.1 0.01(1) 求信源爛H(X)；(2) 编二进制香农码；(3) 计算平均码长和编码效率.解：(1)H(X)= -另/Xt/Jlogn p(di)i・l=-0.2 x log 三02 - 0」9 x log 0」9-0.18xlog20.18-0.17xlog20.17-0.15xlog20.15-0.1xlog20.1-0.01xlog2 0.01=2.609”〃 / symbol斤=》&°a)= 0・2x3 + 0」9x3 + 0」8x3 + 0」7x3 + 0」5x3 +0.1x4 + 0.01x7= 3.141Z7 = ^y M2 = H(X)/^ = 2.609^3.141 =83.1%对习题的信源编二进制费诺码，计算编码效率. 解：=M_2% r = 2fc /X^) = 2xO_2+3xO_19+3xO_18+2xO_17+3xO_15+ 4x01+4x001 = 274H(X) _ _ 2-609 R ~ X ~ 2-74对信源l/cxj I 0-2 o w 01g 017 015 01编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码:r = 2fc /X^) = 2xO_2 + 2xO_19+3xO_18+3xOJ7+3xO_15+ 4x01+4x001 =2_72R K 2_72三进制哈夫曼码:=914%= 1x0-2 +2x(019+ 0.18+0J7 +0.15+OJ+O-Ol)=L8H(X) HQXi 2.609 4=豪= =l_8xlDg 23 V，D82O T设信源⑴求信源H(X)；⑵编二进制香农码和二进制费诺码；⑶计•算二进制香农码和二进制费诺码的平均码长和编码效率； ⑷编三进制费诺码；⑸计算三进制费诺码的平均码长和编码效率； 解： ⑴更3)=-送>(对如B 2 Pg)i-1=—xk>g 2 2+—5clog 2 4+—xlog 28+—xlog 316 +—xk>g 332+—xlog 264 + ^—xlog 3128 + ^—： 224 X 2 16 32 64 128 128 = 1_984 Iriifsymbol⑵二进制香农码:XiP (Xi)P<M ki码字X11 0 X22 10 X33 110 X44 1110 X55 11110 X66 111110 X77 1111110 X871111111二进制费诺码:xiP (Xi)编码码字k Xi1 X2102211103屯耳七总 X, £ [1111118 16 32 64 128 128香农编码效率：r = yfcX^) = -xl + lx2+lx3+Ax4+Ax5 +—X6+—X7 + —X7T £2 4 8 16 32 64 128 128=1.9&4R K 1_984费诺编码效率：r = yfcX^) = -^l + ix2+ix3+Ax4+Ax5 +—x6+—x7 + —x7 T 2 4 8 16 3264128 128=1_984R K 1_984⑷⑸^=Sfc;X^) = -xl+-xU-x2+ —x2+—X3+A X3+X X4+X X4V 2 4 & 16 3264 128 12S=1328R X 1328x1^,3~ X]J Q r设无记忆二进制信源|_切」I0-9 01先把信源序列编成数字0, 1, 2 ............... .. 8,再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度热;(3) 求对应于一个码字的信源序列的平均长度不;⑷计算耳，并讣算编码效率；⑸若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长疋, 并计算编码效率.p(0/0) = , p(l/l)=,码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码•若“0”游程长度的截至值为16, “1”游程长度的截至值为&求编码效率.选择帧长A/ = 64(1) 对00000000000000000000000000000000000000 遍L・D 码；(2) 对000000000010 遍L-D 码再译码;⑶对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；⑷对0遍L-D码；(5)对上述结果进行讨论.。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭(1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑对习题的信源编二进制费诺码，计算编码效率.对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：x i p(x i)编码码字k i s61s50s41s30s21x10102 x21112 x300003 x410013 x500103 s11x6001104 x7101114x i p(x i)编码码字k i s31s20s11x1221 x20002 x31012 x42022 x50102 x61112x72122设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)x i p(x i)p a(x i)k i码字x1010x2210x33110x441110x5511110x66111110x771111110x871111111xi p(x i)编码码字k i x1001 x210102 x3101103x41011104 x510111105x6101111106x71011111107x8111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x1001 x2111x320202x41212x5202203x612213x72022204x8122214设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，序列数字二元码字10100001110010013101000013101100001411000000015110100000016111000000001711110000000080一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率.选择帧长N = 64(1) 对00000000000000000000000000000000000000遍L-D码；(2) 对000000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000000000000000000 0遍L-D码；(4) 对0遍L-D码；(5) 对上述结果进行讨论.。
信息论与编码第五章作业
5.1设有信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1)求信源熵()H X ; (2)编二进制香农码；（3）计算平均码长及编码效率； 解：（1） ()()()l o g0.2l o g 0.20.19l o g 0.190.18l o g 0.180.17l o g 0.170.15l o g 0.150.1l o g 0.10.01l0.46440.45520.44530.43460.41050.33220.06642.61i i H Xp a p a bitsign=-==-------=++++++=∑（2）(3)()0.20.190.180.170.1530.140.0173.14K =++++⨯+⨯+⨯=()()2log 2.6183.12%3.14K R mLH X H X RKη=====5.2对习题5.1的信源编二进制费诺码，计算其编码效率。
由题知：()()()log 0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.010.46440.45520.44530.43460.41050.33220.06642.61i i HX p a p a bitsign=-==-------=++++++=∑0.220.1930.1830.1720.1530.140.0142.74K =⨯+⨯+⨯+⨯+⨯+⨯+⨯=()()2log 2.6195.26%2.74K R mLH X H X RKη=====5.3对习题5.1的信源编二进制赫夫曼码，计算平均码长和编码效率。
（注：老师，图画的不好看，您就将就看吧，实在画不出了！）()()()0.20.1920.180.170.1530.10.0142.72K =+⨯+++⨯++⨯=()()()log 0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.010.46440.45520.44530.43460.41050.33220.06642.61i i H Xp a p a bitsign=-==-------=++++++=∑()()2.6195.96%2.72H X H X RKη====5.4设信源()1234567811111111248163264128128aa a a a a a a X P X ⎧⎫⎛⎫⎪⎪=⎨⎬ ⎪⎝⎭⎪⎪⎩⎭（1） 计算信源熵；（2） 编二进制香农码和二进制费诺码；（3） 计算二进制香农码和二进制费诺码的平均码长及编码效率； 解：（1）()()()log 1111111111111111loglogloglogloglogloglog2244881616323264641281281281281.984375i i HX P a P a biasign=-=--------=∑（在下一页）（2）香浓编码费诺编码香浓编码()()211111111123456772481632641281281.984375log 1.984375100%1.984375K K R mL H X HX RKη=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======费诺编码()()211111111123456772481632641281281.984375log 1.984375100%1.984375K K R mL H X HX RKη=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======5.9将幅度为3.25V 、频率为800 Hz 的正弦信号的输入采样频率为8kHz 采样保持器后，通过一个如题图5.1所示量化数为8的中升均匀量化器。
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；（3） 对所有唯一可译码求出其平均码长。
解：（1(2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,q l l l ⋅⋅⋅的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为的唯一可译码，则必定满足kraft 不等式1。
由定理4可知若码长满足kraft 不等式，则一定存在这样码长的即时码。
所以若存在码长的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。
5-3设信源126126()s s s S p p p P s ⋅⋅⋅⎡⎤⎡⎤=⎢⎥⎢⎥⋅⋅⋅⎣⎦⎣⎦，611i i p ==∑。
将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =⋅⋅⋅），其对应的码长为（126,,,l l l ⋅⋅⋅）=（1，1，2，3，2，3），求r 值的最小下限。
解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即132321161≤+++++=------=-∑r r r r r r ri liLq L L ,,2,1 ∑=-qi l ir1≤4⋅Lq L L ,,2,1所以要满足122232≤++r r r ，其中 r 是大于或等于1的正整数。
可见，当r=1时，不能满足Kraft 不等式。
当r=2, 1824222>++，不能满足Kraft 。
当r=3, 127262729232<=++，满足Kraft 。
所以，求得r 的最大值下限值等于3。
5-4设某城市有805门公务电话和60000门居民电话。
作为系统工程师，你需要为这些用户分配电话号码。
信息论与编码习题与答案第五章
5-10 设有离散无记忆信源}03.0,07.0,10.0,18.0,25.0,37.0{)(=X P 。
（1）求该信源符号熵H(X)。
（2）用哈夫曼编码编成二元变长码，计算其编码效率。
（3）要求译码错误小于310-，采用定长二元码达到（2）中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源符号熵为symbolbit x p x p X H i ii /23.203.0log 03.007.0log 07.010.0log 10.018.0log 18.025.0log 25.037.0log 37.0)(log )()(222222=------=-=∑ （2）1x 3x 2x 6x 5x 4x 0.370.250.180.100.070.030111110.100.200.380.621.0000011110110001001符号概率编码该哈夫曼码的平均码长为符号码元/3.2403.0407.0310.0218.0225.0237.0)(=⨯+⨯+⨯+⨯+⨯+⨯==∑iii K x p K 编码效率为9696.03.223.2)(===KX H η (3)信源序列的自信息方差为2222)(792.0)]([)]()[log ()(bit X H x p x p X i ii =-=∑σ7.00696.90)()(==+=εεη得，由X H X H53222102.6110)7.00(92.70)(⨯=⨯=≥-δεσX L 由切比雪夫不等式可得所以，至少需要1.62×105个信源符号一起编码才能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0{)(=X P ，则求：（1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率。
（2）对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率。
信息论与编码第五章课后习题答案
第五章课后习题【5.1】某信源按43)0(=P ，41)1(=P 的概率产生统计独立的二元序列。
（1）试求0N ，使当0N N >时有01.005.0)()(≤≥−S H N I P i α 式中，)(S H 是信源的熵。
（2）试求当0N N =时典型序列集N G ε中含有的信源序列个数。
解：（1）该信源的信源熵为811.0)(log )()(=−=∑i i s p s p S H 比特/符号自信息的方差为4715.0811.04log 4134log 43)()]([)]([22222=−+=−=S H s I E s I D i i 根据等长码编码定理，我们知道δεα−≤≥−1)()(S H N I P i 根据给定条件可知，05.0=ε，99.0=δ。
而[]2)(εδN s I D i =因此[]5.19099.0*05.04715.0)(220==≥δεi s I D N 取1910=N 。
（2）ε典型序列中信源序列个数取值范围为：])([])([22)1(εεεδ+−<<−S H N N S H N G代入上述数值得451.164351.1452201.0<<×N G ε【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F 。
表5.2消息 )(i a P A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a1/1610101111111111011011111011（1） 求这些码中哪些是惟一可译码； （2） 求哪些码是非延长码（即时码）； （3） 求对所有惟一可译码求出其平均码长L 。
信息论与编码-曹雪虹-第五章-课后习题答案
信息论与编码-曹雪虹-第五章-课后习题答案第五章(2) 哪些码是⾮延长码？(3) 对所有唯⼀可译码求出其平均码长和编译效率。
解：⾸先，根据克劳夫特不等式，找出⾮唯⼀可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------?<+++++=<<++?=+?>+?<5C ∴不是唯⼀可译码，⽽4C ：⼜根据码树构造码字的⽅法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码(1) 因为A,B,C,D四个字母,每个字母⽤两个码,每个码为0.5ms, 所以每个字母⽤10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-541811613216411281128H(U)=1 2Log2() 14Log4() +18Log8() +116Log16 ()+132Log32 ()Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使⽤3个⼆进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）⾹农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）⾹农编码：平均码长：编码效率为（3）平均码长为：编码效率：4平均码长为：编码效率：5.16 已知⼆元信源{0，1}，其p0=1/4,p1=3/4,试⽤式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =??=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111⼜P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010平均码长L 为 0.875。
信息论第五章答案
设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η.对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
解：%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)）symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制香农码：\香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η（%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。