第六章 信道编码练习题
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论第六章答案
6.1 奇校验码码字是c=(m 0,m 1,…,m k-1,p)，其中奇校验位p 满足方程 m 0+m 1+,…, +m k-1+p =1 (mod 2)证明奇校验码的检错能力与偶校验码的检错能力相同，但奇其校验码不是线性分组码。
证：偶校验码的编码方程为 m 0+m 1+,…, +m k-1+p =0 (mod 2) 当差错图案e 中有奇数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：])([])()[()(,])()[(])()[()()(,)()(,_,,,_K K K ik ii kKoddi i even ce K K Keveni i iiK i KK K Koddi i ii K i K Ki i i K iK KKi iiK iKKi k ii k Koddi i even ce p p p p p p p C p thenp b p a if b a b a b aCb a b a b a C b a C b a b aC b a p p C p 211211121112121110001--=---+-=-=∴=-=-++=--+=∴-=-=+-=-∈=∈=-∈=-=-=--∈=∑∑∑∑∑∑奇校验码的编码方程为m 0+m 1+,…, +m k-1+p =1 (mod 2)当差错图案e 中有偶数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：evence K oddce K K KK K K K i k ii k Keveni i odd ce p p p p p p p p p p C p p p C p __,_])([,)()(,)(])([)(])([)(=--≈∴-≈-<<---+=---+=-=--∈=∑21121211112112112112110001当由线性分组码的性质可知，码组中必有一个全零码字。
而奇校验码中没有全零码，如果有的话必是错码，所以奇校验码不是线性分组码。
答案~信息论与编码练习题
1有一个二元对称信道，其信道矩阵如下图所示。
设该信道以 1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有 14000个二元符号，并设在这消息中 P(0)=P(1)=1/2 。
问从信息传输的角度来考虑，10秒钟能否将这消息序列无失真地传送完？0.980.02____________ •10.98解答：消息是一个二元序列 ，且为等 概率分布，H(X)=1(bit/symbol)。
则该消息序列含有的信息量=下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为：0 98 0 02P0.02 0.98信道容量(最大信息传输率)为：C=1-H(P)=1-H(0.98)~ 0.8586bit/symbol得最大信息传输速率为：Rt疋1500符号/秒X 0.8586比特/符号〜1287.9比特/秒 沁1.288 X 103比特/秒此信道10秒钟能无失真传输得最大信息量= 10X Rt 疋1.288 X 104比特可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道， 其转移概率矩阵分别为:12 1 2 0 01 2 1 20 0 0 0 0 00 1 2120 0 1 2 1 20 0 0 0 P 1 21 2 P 21 2 1 210 0 0 0 0 0 01 20 01 20 0 0 0 0 0 1 2 12试求这两个信道的信道容量，并问这两个信道是否有噪声？解答：(1) 由信道1的信道矩阵可知为对称信道 故 G log 2 4 H (舟 舟 0 0) 1bit / symbol H (X ) log 2 4 2bit / symbol C 1有熵损失，有噪声。
(2) 为对称信道，输入为等概率分布时达到信道容量 C 2 log 2 8 H (2 f 0 0 0 0 0 0) 2bit / symbolH (X ) C 2,无噪声3、已知随即变量 X 和Y 的联合分布如下所示：1即P(0)=P(1)=1/2 ，故信源 的熵为14000(bit/symbol)。
信息编码习题答案或提示
第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。
提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(2021201302130012032101103210100223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。
提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。
《信道编码》作业及答案
《信道编码》作业及答案
1、【单选题】移动通信系统采用信道编码技术是为降低（）。
A、网络编码差错
B、语音编码差错
C、信道突发和随机差错
参考答案：C
2、【判断题】通信是指消息由一地向另一地进行有效传输，为了提高数字通信抗干扰能力的编码统称为信源编码。
A、正确
B、错误
参考答案：错误
3、【判断题】数字通信系统的发送端一般包括信源编码、信道编码、调制几个功能模块。
A、正确
B、错误
参考答案：正确
4、【判断题】TD-SCDMA信道编码的方式包括卷积编码和Turbo编码，码率有1/2和1/3。
A、正确
B、错误
参考答案：正确
5、【判断题】所谓信道编码，是在信息码元中插入一些冗余码元，从而使整体码元具有一定规律，当出现错误传输时，可以通过规律对错误码元进行检测乃至纠正。
A、正确
B、错误
参考答案：正确
6、【多选题】5G信道编码技术主要采用哪些？
A、Turbo
B、卷积码
C、Polar
D、LDPC
参考答案：C、D。
(完整版)信息论与编码试题集
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
（×）6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。
《信息论与编码》习题集
第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。
123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。
信息论与编码习题集
第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。
P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。
3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章 信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。
4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。
4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，纠
个错误。
8. 与一般线性分组码不同， （n，k）系统码的生成矩阵视为两部分
构成，即[IkQk×r]，其中为 Ik 为 k 阶单位矩阵，它保证了编码产 生时，信息位保持不变。
9. 利用生成矩阵 G 产生线性分组码时， 可以将信息位 m 与 G 进行
11.
系统循环码的信息组多项式为 m(x)，其对应的校验多项式
p(x)= xn-k m(x)模 g(x)所得的余式。 因此， 结合系统码结构特点， 系统循环码生成矩阵 Gs 的第 i 行对应的码式为：
Ci x x n i pi x i 1, 2,3 k 。其中 pi x x n i mod g x 。
10.
对于（n，k）循环码，寻找其生成多项式 g(x)需要将 xn+1 因 次因式即为生成多项式 g(x)，而其 ， 其为 次多项式。 利用生成多项
式分解，找到其中的 余因式 h(x)为
式 g(x)，可以很方便地得到对应的生成矩阵 G，其方法是：将生 成多项式 g(x)对应的码字作为 k 行生成矩阵 G 的第 k 行；再利 用循环码的循环移位特性，将 g(x)整体左移一位，得到的码字依 次生成矩阵 G 的第 k-1，k-2 行直到第 1 行。由 h(x)可以得到一 致校验矩阵 H， 其方法是： 将生成多项式 h(x)对应的反序多项式 h*(x)的对应的码字作为 r 行校验矩阵 H 的第 r 行，其余行的产 生方式与生成矩阵 G 产生方式类似。
形式； 3)该码集中任一码多项式都是它的
本身必是 xn+1 的一个 个码字的循环码。
次的因式，由它可以生成 2k
6. 伴随式 S=RH 或 S =HR 是用于描述接收向量 R 是否有错的特
T
T
T
征向量。若 S=0，则
；
若 S≠0，则
。
由于，S=RHT=(C+E) HT=EHT，因此，伴随式 S 仅与码字的 有关， 而与实际发送的具体码字 C 无关， 故可以用伴随式纠错。
动状态或存在，动状态或，动状态或。
3. 信道编码的汉明距离是动状态或存在方, 最小汉明距离是动状
态或存在方，体现信道编码检纠错能力的定理内容是动状 或存在方， 其中最关键的量是最小汉明距离。 信道译码时遵循的 原则的最大似然译码原则， 实际操作时就是将接收向量译码为与 其汉明距离最小的许用码。
4. (7,3)线性分组码中，接收端收到每个码字的长度为
矩阵乘法而得到信道编码，即 C=mG。另外，还可以将生成矩
g1 g 2 阵 G 的每个行向量 gi 组成一个 k 阶列向量 ,根据信息位的 gi gk
取值，把所有值为“1”的信息位对应的每个行向量 gi 一起模 2 加即得到相应编码。
，伴 ， 行
随式 S 可能的值有 生成矩阵 G 为
种,差错图案 e 的长度为 行的矩阵，系统校验矩阵 H 为
T 的矩阵，G 和 H 满足的关系式是 GH
5. 循环码的生成多项式 g(x)有如下性质： 1) g(x)是循环码码多项
式中的一个唯一的
多项式； 2) 它具有首 1 末 1 的 ； 4)它
第六章 信道编码练习题
一、 填空题
1. 信道编码——根据信源消息 m 进行信道编码产生码字 c, 通常 c
为一个 n 长的序列。 信道编码的目的是动状态或存在方， 信道编 码称为冗余编码的原因是动状态或存在方， 信道编码被称为纠错 编码，原因是动或存在方。
2. 纠错码结构是信息位+校验位，常用的三种检纠错编码方法是：
二、 选择题
三、 问答题
四、 计算题
熟练掌握线性分组码和循环码编码方法。 1. PPT 例题例题 6.1、例题 6.4、例题 6.5，例题 6.6、例题 6.7、例题 6.8、例题 6.9 2. PPT 例题例题 6.11、例题 6.12、例题 6.13，例题 6.14、例题 6.7