第五章 信源编码习题答案
5.1 设信源⎭
⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432
1x x x x x x x X P X (1) 求信源熵H(X)；
(2) 编二进制香农码；
(3) 计算平均码长和编码效率。
解： (1)
symbol
bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()
(log )()(22222227
1
2=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=
%1.8314.3609
.2)()(14
.301
.071.0415.0317.0318.0319.032.03)(====
=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K
X H R X H x p k K i
i i η
5.2 对信源⎭
⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432
1x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609
.2)()(74
.201
.041.0415.0317.0218.0319.032.02)(====
=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K
X H R X H x p k K i
i i η
5.3 对信源⎭⎬⎫⎩⎨⎧=⎥
⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(765432
1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：
%9.9572.2609
.2)()(72
.201
.041.0415.0317.0318.0319.022.02)(====
=⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K
X H R X H x p k K i
i i η
%4.913log 8.1609
.2log )()(8
.1)
01.01.015.017.018.019.0(22.01)(2
2=⨯===
=+++++⨯+⨯==∑m L
K X H R X H x p k K i
i i η
5.4 设信源⎪⎭
⎪
⎬⎫⎪⎩⎪⎨⎧=⎥
⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；
(2) 编二进制香农码和二进制费诺码；
(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；
(5) 计算三进制费诺码的平均码长和编码效率；
解： (1)
symbol
bit x p x p X H i i i /984.1log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)
(log )()(22222228
1
2=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑=(2)
二进制香农码：
二进制费诺码：
(3)
香农编码效率：
%
100984.1984.1)()(984
.17
1281
71281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K
X H R X H x p k K i
i i η
费诺编码效率：
%
100984.1984.1)()(984
.17
1281
71281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K
X H R X H x p k K i
i i η
(5)
%
3.943
log 328.1984.1log )()(328.14
1281
41281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K i
i i η
5.5 设无记忆二进制信源⎭
⎬⎫⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡1.09.010
)(X P X 先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
(1) 验证码字的可分离性；
(2) 求对应于一个数字的信源序列的平均长度1K ； (3) 求对应于一个码字的信源序列的平均长度2K ； (4) 计算
1
2
K K ，并计算编码效率； (5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ，并计算编码效率。
5.6
制哈夫曼码，求新符号的平均码字长度和编码效率。
5.7 对题5.6的信源进行游程编码。
若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率。
5.8 选择帧长N = 64
(1) 对0010000000000000000000000000000001000000000000000000000000000000遍L-D码；
(2) 对1000010000101100000000010010000101001000000001110000010000000010遍L-D码再译码；
(3) 对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；
(4) 对10100011010111000110001110100110000111101100101000110101011010010遍L-D码；
(5) 对上述结果进行讨论。
第五章 信源编码总结与习题
2014-6-20
15的都是离散信源变长编码。
优点：提高编码效率； 缺点：需要大量缓冲设备来存储这些变长码，然后再 以恒定的码率进行传送；在传输的过程中如果出现了 误码，容易引起错误扩散，所以要求有优质的信道。
有时为了得到较高的编码效率，先采用某种正交变 换，解除或减弱信源符号间的相关性，然后再进行 信源编码；有时则利用信源符号间的相关性直接编 码。
可以用建立huffman树的方法第五章信源编码2019517精品资料24第五章信源编码2019517精品资料25习题4第五章信源编码2019517精品资料26第五章信源编码2019517精品资料27第五章信源编码2019517精品资料28第五章信源编码2019517精品资料29第五章信源编码2019517精品资料30习题5第五章信源编码2019517精品资料31习题5第五章信源编码2019517精品资料32第五章信源编码2019517精品资料33第五章信源编码2019517精品资料34第五章信源编码2019517精品资料35第五章信源编码2019517精品资料36第五章信源编码2019517精品资料37习题656有二元平稳马氏链已知求它的符号熵
2014-6-20
16
习题1
第五章 信源编码
2014-6-20
17
第五章 信源编码
2014-6-20
18
习题2
第五章 信源编码
2014-6-20
19
习题3
第五章 信源编码
2014-6-20
20
第五章 信源编码
2014-6-20
21
第五章 信源编码
m=3,取k=2,因为m+k*(m-1)=3+2*2=7,所以一开始可 取3个概率最小的符号:
第五章 信源编码-习题答案
00000000 8 0 5.6 有二元平稳马氏链，已知 p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵。用三个符号合成一个来编写二进 制哈夫曼码，求新符号的平均码字长度和编码效率。 5.7 对题 5.6 的信源进行游程编码。若“0”游程长度的截至值为 16， “1”游程长度的截至值为 8，求编码 效率。 5.8 选择帧长 N = 64 (1) 对 0010000000000000000000000000000001000000000000000000000000000000 遍 L-D 码； (2) 对 1000010000101100000000010010000101001000000001110000010000000010 遍 L-D 码再译码； (3) 对 0000000000000000000000000000000000000000000000000000000000000000 遍 L-D 码； (4) 对 10100011010111000110001110100110000111101100101000110101011010010 遍 L-D 码； (5) 对上述结果进行讨论。
x3 x4 x5 x 6 x 7 X x1 x2 5.1 设信源 P ( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
(1) 求信源熵 H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)
H ( X ) p ( xi ) log 2 p( xi )
K ki p( xi ) 3 0.2 3 0.19 3 0.18 3 0.17 3 0.15 4 0.1 7 0.01
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论基础第五章课后答案
5.1设有信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321a a a a a a a X P X （1）求信源熵H(X)（2）编二进制香农码（3）计算其平均码长及编码效率解：(1)H(X)=-)(log )(21i ni i a p a p ∑=H(X)=-0.2log 20.2-0.19log 20.19-0.18log 20.18-0.17log 20.17-0.15log 20.15-0.log 20.1-0.01log 20.01H(X)=2.61(bit/sign)(2)ia i P(ai)jP(aj)ki码字a 001a 10.210.0030002a 20.1920.2030013a 30.1830.3930114a 40.1740.5731005a 50.1550.7431016a 60.160.89411107a 70.0170.9971111110（3）平均码长：-k =3*0.2+3*0.19+3*0.18+3*0.17+3*0.15+4*0.1+7*0.01=3.14(bit/sign)编码效率：η=R X H )(=-KX H )(=14.361.2=83.1%5.2对习题5.1的信源二进制费诺码，计算器编码效率。
⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛0.01 0.1 0.15 0.17 0.18 0.19 2.0 )(7654321a a a a a a a X P X 解：Xi)(i X P 编码码字ik 1X 0.2000022X 0.191001033X 0.18101134X 0.17101025X 0.151011036X 0.110111047X 0.01111114%2.9574.2609.2)()(74.2 01.0.041.0415.0317.0218.0319.032.02 )(/bit 609.2)(1.5=====⨯+⨯+⨯+⨯+⨯+⨯+⨯===∑KX H R X H X p k K sign X H ii i η已知由5.3、对信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制赫夫曼码，计算各自的平均码长和编码效率。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码习题与答案第五章
5-10 设有离散无记忆信源}03.0,07.0,10.0,18.0,25.0,37.0{)(=X P 。
（1）求该信源符号熵H(X)。
（2）用哈夫曼编码编成二元变长码，计算其编码效率。
（3）要求译码错误小于310-，采用定长二元码达到（2）中的哈夫曼编码效率，问需要多少个信源符号连在一起编？ 解：（1）信源符号熵为symbolbit x p x p X H i ii /23.203.0log 03.007.0log 07.010.0log 10.018.0log 18.025.0log 25.037.0log 37.0)(log )()(222222=------=-=∑ （2）1x 3x 2x 6x 5x 4x 0.370.250.180.100.070.030111110.100.200.380.621.0000011110110001001符号概率编码该哈夫曼码的平均码长为符号码元/3.2403.0407.0310.0218.0225.0237.0)(=⨯+⨯+⨯+⨯+⨯+⨯==∑iii K x p K 编码效率为9696.03.223.2)(===KX H η (3)信源序列的自信息方差为2222)(792.0)]([)]()[log ()(bit X H x p x p X i ii =-=∑σ7.00696.90)()(==+=εεη得，由X H X H53222102.6110)7.00(92.70)(⨯=⨯=≥-δεσX L 由切比雪夫不等式可得所以，至少需要1.62×105个信源符号一起编码才能满足要求。
5-12 已知一信源包含8个消息符号，其出现的概率}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0{)(=X P ，则求：（1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率。
（2）对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率。
信息论与编码 第五章曹雪虹习题答案
(2) 哪些码是非延长码？(3) 对所有唯一可译码求出其平均码长和编译效率。
解：首先，根据克劳夫特不等式，找出非唯一可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------⨯<+++++=<<++⨯=+⨯>+⨯<5C ∴不是唯一可译码，而4C ：又根据码树构造码字的方法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码5-2(1) 因为A,B,C,D 四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-5(1) 12141811613216411281128H(U)=1 2Log2()14Log4()+18Log8()+116Log16()+132Log32()+164Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使用3个二进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）香农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）香农编码：平均码长：编码效率为（3）平均码长为：编码效率：（4）哈夫曼编码平均码长为：编码效率：5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =⎥⎥⎤⎢⎢⎡=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010 平均码长L 为 0.875。
第5章 信源编码
5.1.3 费诺编码
从以上例子看出，费诺码的编码方法实际上是构造码树
的一种方法，所以费诺码是非延长码（即时码）。
费诺码考虑了信源的统计特性，使经常出现的信源符号 对应短码字。但是，不一定能使短码得到充分利用。 费诺码不一定是最佳码。
5.1.4 哈夫曼（Huffman）编码
二进制哈夫曼码的编码方法：
2
2 3 3 4 4 4
1
a8
0.0625
1
1111
4
5.1.3 费诺编码（例２续）
平 均 码 长 ： p( ai )K i 2.75码 元/符 号 K
i 1 ８ 8
信 源 熵 ： ( X ) － p(ai ) log p(ai ) 2 .75比 特/符 号 H
i 1
对 单 符 号 信 源 编 二 进 码 ，L 1,m 2， 则 信 源 采 用 费 诺 编 码 制 所需的信息率： K log m K 2.75 特/码 元 R 比 L H ( X ) H ( X ) 2.75 编码效率： 100 % R 2.75 K 每 次 分 两 组 的 概 率 恰相 等 ， 达 到 了 最 佳 编效 率 。 好 码
2.确定满足下列不等式的整数码长Ki；
log2 p( xi ) K i 1 log2 p( xi )
3.为了编成唯一可译码，计算第i个消息的累加概率；
Pi p xk i 1,2 ,...,n
k 1
i 1
4.将累加概率Pi变换成二进制数；
5.取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。 可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接 近于最佳编码。