第五章 信道编码 习题解答
信息编码习题答案或提示
第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。
提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。
提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。
第五章 信源编码-习题答案
00000000 8 0 5.6 有二元平稳马氏链，已知 p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵。用三个符号合成一个来编写二进 制哈夫曼码，求新符号的平均码字长度和编码效率。 5.7 对题 5.6 的信源进行游程编码。若“0”游程长度的截至值为 16， “1”游程长度的截至值为 8，求编码 效率。 5.8 选择帧长 N = 64 (1) 对 0010000000000000000000000000000001000000000000000000000000000000 遍 L-D 码； (2) 对 1000010000101100000000010010000101001000000001110000010000000010 遍 L-D 码再译码； (3) 对 0000000000000000000000000000000000000000000000000000000000000000 遍 L-D 码； (4) 对 10100011010111000110001110100110000111101100101000110101011010010 遍 L-D 码； (5) 对上述结果进行讨论。
x3 x4 x5 x 6 x 7 X x1 x2 5.1 设信源 P ( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
(1) 求信源熵 H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)
H ( X ) p ( xi ) log 2 p( xi )
K ki p( xi ) 3 0.2 3 0.19 3 0.18 3 0.17 3 0.15 4 0.1 7 0.01
信息论第五章答案
信息论第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率； 解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X 先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
信息论与纠错编码题库
第五章 离散信道的信道容量5.1 设信道输入符号集X = { 1x , 2x ,...k x }，输出符号集Y = { 1y , 2y ...s y } ,如果信道是无噪无损信道,则其信道容量是多少?如果信道是无噪确定信道,则其信道容量又为多少? 解: 如果信道是无噪无损信道，则有k =s ，此时信道容量为max ()max (;)()log p x C I X Y H X k ===如果信道是无噪确定信道，则有ks >，此时信道容量为{}()()()max (;)max ()()max{()}log p x p x q y C I X Y H Y H Y X H Y s ==-==---------------------------------------------------------------------------------------------------------------------5.2 判断以下几种信道是不是准对称信道.(1)⎥⎦⎤⎢⎣⎡3.02.05.05.03.02.0 (2)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡7.03.06.04.03.07.0 (3)⎥⎦⎤⎢⎣⎡7.01.02.02.01.07.0 (4)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡6131316161613131 解：（1）为行对称信道，不是准对称信道；（2）行集合和列集合均不同，不是准对称信道； （3）是行对称信道，也是准对称信道； （4）是准对称信道。
---------------------------------------------------------------------------------------------------------------------5.3 信源的最佳编码使信道码符号等概分布，而且平均码长最短，这种说法对吗？答：这种说法不对，最佳码是指对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码。
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信道编码习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
解：汉明码的信息码元为六个，即：6k =。
监督码元数r 应符合下式：217rk r r ≥++=+ 取满足上式的最小r ：4r =，即为(10，6)汉明码。
其码字由10个码元构成：12345678910x x x x x x x x x x 。
先设计校验表根据校验表写出校验子方程：****11237****21458****32469****435610s x x x x s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎪⎨=⊕⊕⊕⎪⎪=⊕⊕⊕⎩写出监督方程，即监督码元与信息码元之间的关系：71238145924610356x x x x x x x x x x x x x x x x =⊕⊕⎧⎪=⊕⊕⎪⎨=⊕⊕⎪⎪=⊕⊕⎩根据监督方程编码，写出（10，6）汉明码码字(大部分略，同学们可自行完成)：7. 已知纠正一位错的（7，4）汉明码的生成矩阵为：10001100100101[]00100110001111G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1）请写出其监督矩阵； 2）请写出其校验表；3）对信源序列1110，1010，0110，...进行编码；4）对接收端接收到的码字序列0011101，1100100，1011001，…进行译码。
解：1）监督矩阵：右边3×3是单位阵，左边3×4子阵是生成矩阵右边4×3子阵的转置：1101100[]10110100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）校验表：每个校验子列向量对应为监督矩阵的列向量，增加一个无差错列向量000。
3）根据[][][]C X G =⋅编码：1234567123410001100100101[][]00100110001111x x x x x x x x x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦或者用由监督矩阵得到的监督方程编码：12345671101100[]10110100111001x x x x x x x H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦512461347234x x x x x x x x x x x x =⊕⊕⎧⎪⇒=⊕⊕⎨⎪=⊕⊕⎩编码得：1110000，1010101，0110110，…4）根据校验子方程（校验子方程是监督方程左右两边异或）：****11245****21346****32347s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎨⎪=⊕⊕⊕⎩ 0011101 → [S]=[001]T → x 7*错 → 0011100 → 00111100100 → [S]=[111]T → x 4*错 → 1101100 → 1101 1011001 → [S]=[011]T → x 3*错 → 1001001 → 1001 译码得：0011，1101，1001，…8. （7，4）循环码的生成多项式为：32()1g x x x =++1）写出其监督矩阵和生成矩阵；2）对信息码元0110，1001进行编码，分别写出它们的系统码和非系统码； 3）对接收端接收到的系统码字0101111，0011100进行译码。
解：1）生成矩阵：生成多项式系数降幂排列：1101，补零成n 位的行向量：1101000，循环移位成k 行的矩阵： 4711010000110100[]00110100001101G ⨯⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦监督矩阵：校验多项式系数升幂排列：10111，补零成n 位的行向量：1011100，循环移位成r 行的矩阵：371011100[]01011100010111H ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）根据[][][]C X G =⋅编码：111010000110100[C ][0110]00110100001101⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦得非系统码字：0101110，1100101根据多项式除法（长除法见第9题解答）编码得系统码字：0110100，1001011，具体方法如下： 0110 m (x ) = x 2+x x rm (x ) = x 5+x454223232()()11r x m x x x x x g x x x x x +==+++++ 542()()()r C x x m x r x x x x =+=++→ 01101001001 m (x ) = x 3+1 x r m (x ) = x 6+x 363323232()11()11r x m x x x x x x x g x x x x x ++==++++++++ 63()()()1r C x x m x r x x x x =+=+++→ 10010113）生成多项式为g (x ) = x 3+x 2+1的（7,4）循环码校验表（获取方法见第9题解答）0101111写成多项式，除以生成多项式得余式1， → [S]=[001]T ，查表知C 0*错，即0101111 → 0101110，去尾部3位监督码元，得信息码元0101 。
53223232+11+11x x x x x x x x x x +++=+++++ 0011100写成多项式，除以生成多项式得余式x 2+x ，→ [S]=[110]T ，查表知C 6*错，即0011100 →1011100，去尾部3位监督码元，得信息码元1011。
9. 已知（7，4）循环码的生成多项式为：32()1g x x x =++当收到一循环码字为0010011时，根据校验子判断有无错误？哪一位错了？ 解：32()1g x x x =++对信息码元0001用多项式除法编码得循环码字：0001101。
将0001101错成0001100，除以生成多项式得余式1，s 2s 1s 0=001表示C 0*错。
将0001101错成0001111，除以生成多项式得余式x ，s 2s 1s 0=010表示C 1*错。
将0001101错成0001001，除以生成多项式得余式x 2，s 2s 1s 0=100表示C 2*错。
……将0001101错成1001101，除以生成多项式得余式x 2+x ，s 2s 1s 0=110表示C 6*错。
写出校验表：当收到一循环码字0010011时其对应的多项式为: 41x x ++。
列竖式做多项式除法（以下左式）：32433322111x x x x x xx x x x ++++++++32433232111x x x x x xx x x x +++++++++得余式为2x ，s 2s 1s 0=100，表示C 2*错，即右起第三位错，正确的码字应为0010111，其对应的多项式为：421x x x +++。
将此多项式进行验证（上式右式），余式为0，可见正确。
10. 已知（3，1，3）卷积码的监督方程为：,-1,-2a i i i b ii i p m m p m m =+⎧⎨=+⎩或者：已知（3，1，3）卷积码的基本监督矩阵：0[]H ⎡⎤=⎢⎥⎣⎦0 0 1 0 0 1 1 01 0 0 0 0 0 1 0 1 对信源序列010110…进行编码。
解：对于（3，1，3）卷积码，若输入信息码元： m i -2 , m i -1, m i , …，则编码后码字： m i -2, p a,i -2, p b,i -2, m i -1, p a,i -1, p b,i -1, m i , p a,i , p b,i , …根据监督方程编码得：000，111，010，110，101，011， （默认初始化状态为0）11. 已知（4，3，3）卷积码的基本监督矩阵：[][]110010101111H =，对输入信息码元:101100110111…进行编码。
解：根据k = 3分组，计算1位监督码元置于后，得卷积码字：1010，1001，1100，1111，… （提示：编码后的码字形式为：***012034516782a a a p a a a p a a a p 根据监督矩阵知其计算方法，前三个码字计算为：*0012p a a a =⊕⊕*102345 p a a a a a =⊕⊕⊕⊕*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕第四个码字起，移动对应位置使p 2*为当前要求的监督码元，计算为：*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕）作业：1、3、4、7、8、10、11。