信息论编码》模拟试题一及参考答案
信息论与编码理论1(A卷答案)
广州大学 2016—2017 学年第 一 学期考试卷课程 《信息论与编码理论1》 考试形式（闭卷，考试）一、 单项选择题（每题2分，总计10分） 1．当底为e 时，信道容量的单位为（ C ）。
A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量中（ D ）一定最大。
A );(Y X IB ),(X Y IC )|(Y X HD ),(Y X H3．下列（ A ）陈述是错误的。
A 算术编码不需要知道信源的分布B 游程编码不需要知道信源的分布C LZ 编码不需要知道信源的分布D LZW 编码不需要知道信源的分布 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。
A (2，2，1)B (2,2)C (1,1,3)D （3，3，3） 5．下列（ A ）是准对称信道的状态转移概率矩阵。
A ⎪⎪⎪⎪⎭⎫ ⎝⎛613121216131 B ⎪⎪⎪⎭⎫ ⎝⎛5.05.05.05.05.05.05.05.05.0 C ⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛323132313231 D ⎪⎪⎭⎫ ⎝⎛2.02.08.02.08.02.0 二、填空题（每空2分，总计20分）1．若二元离散无记忆信源25.0)0(=p ，75.0)1(=p ，则当给出10比特的信源序列，其中有4个1，其自信息为3log 4202-比特，整个序列的熵为)3log 432(102-比特/符号。
2．若某离散信道信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号；转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡5.05.04.06.06.04.0，则其信道容量为1比特/符号。
3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为⎥⎦⎤⎢⎣⎡--p pp p 11 ， 则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为⎥⎦⎤⎢⎣⎡5.05.05.05.0。
信息论与编码试卷与答案
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分）二、1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。
平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
6.由得，则7.解释无失真变长信源编码定理。
只要，当N足够长时，一定存在一种无失真编码。
8.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
9.10.8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
11.2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试卷及答案分解
信息论与编码试卷及答案分解⼀、（11’）填空题（1）1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
（2）必然事件的⾃信息是0 。
（3）离散平稳⽆记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为__信源符号等概分布_。
（5）若⼀离散⽆记忆信源的信源熵H（X）等于2.5，对信源进⾏等长的⽆失真⼆进制编码，则编码长度⾄少为 3 。
（6）对于⾹农编码、费诺编码和霍夫曼编码，编码⽅法惟⼀的是⾹农编码。
（7）已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有⼀离散⽆记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__⼩于___C（⼤于、⼩于或者等于），则存在⼀种编码，当输⼊序列长度n⾜够⼤，使译码错误概率任意⼩。
（9）平均错误概率不仅与信道本⾝的统计特性有关，还与___译码规则____________和___编码⽅法___有关三、（5'）居住在某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设A表⽰“⼤学⽣”这⼀事件，B表⽰“⾝⾼1.60以上”这⼀事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满⾜I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
(完整版)信息论与编码习题参考答案
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s ）。
解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。
信息论与编码期末考试题
信息论与编码期末考试题信息论与编码期末考试题（一）一、判断题. 1. 当随机变量和相互独立时，条件熵等于信源熵. （） 2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （） 6. 连续信源和离散信源的熵都具有非负性. （） 7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是. （） 10.必然事件和不可能事件的自信息量都是. （）二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是；信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和，则成立的条件.. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . 7、某二元信源，其失真矩阵，则该信源的= . 三、计算题. 1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为. （1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为. （1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为，信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. （二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9?）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（?）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（?）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（?）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（?）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（?）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，
，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。
二、综合题（共 5 题，每题 10 分） 1.二元平稳马氏链，已知 P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制 Huffman 码,试建立新信源的模型，给出编码结 果。 （3）求每符号对应的平均码长和编码效率。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
5.答：1）
2）令接收序列为 ，则有
，
，
，
，故接收序列应译为 010110。
6.答：
7.答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹 函数。平均互信息的最大值为信道容量。
2.设有一离散信道，其信道矩阵为 （1）最佳概率分布？
，求：
（2）当
，
时，求平均互信息
信道疑义度
（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率 最小，并求此
3.设线性分组码的生成矩阵为
，求：
（1）此（n，k）码的 n=？ k=？，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵 H。
模
拟
试
题
一
一、概念简答题（共 10 题，每题 5 分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最 佳码的每符号平均码长最小为多少？编码效率最高可达多少？
3）
2.答：1）是准对称信道，因此其最佳输入概率分布为
。
2）当
，
时，有
则
3）此时可用最大似然译码准则，译码规则为
且有 3.答：1）n=6，k=3，由 C=mG 可得所有码字为： 000000，001011，010110，011101，100101，101110，110011，111000
2）此码是系统码，由 G 知，，则
2）此时信源序列信息量为
，能纠一位错。
信息传输率为 则 5.答：1） 2）
3） 4）
6.答：1）无错传输时，有
即 则
2）在
时，最大熵
，而
对应的输入概率密度函数为
3）由 H 可知，其任意 2 列线性无关，而有 3 列线性相关，故有
错误图样 E 100000
伴随式 101
010000
110
001000
011
000100
100
000010
010
000001
001
4）由
知 E＝010000，则
4.答：1）信道容量为
信源序列信息量为
而 10 秒内信道能传递的信息量为 故不能无失真地传送完。
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴 随式。 （4）若接收码字为 000110，用伴随式法求译码结果。
4.二元对称信道的信道矩阵为
，信道传输速度为 1500 二元符号/秒，设信
源为等概率分布，信源消息序列共有 13000 个二元符号，问：
（1）试计算能否在 10 秒内将信源消息序列无失真传送完？
8.答：1）
2）
9.答：P1 为一一对应确定信道，因此有
。
P2 为具有归并性能的信道，因此有
。
P3 为具有发散性能的信道，因此有
。10.答：Fra bibliotek二、综合题（共 5 题，每题 10 分）
1.答：1）由
得极限概率：
则符号熵为
2）新信源共 8 个序列，各序列的概率为
信源模型为 一种编码结果（依信源模型中的序列次序）为 0，11，1001，1010，1011，10000， 100010，100011
3.答：等长信源编码定理：对于任意 够长时必可使译码差错 。
，只要
，则当 L 足
变长信源编码定理：只要
，一定存在一种无失真编码。
等长码和变长码的最小平均码长均为
，编码效率最高可达 100%。
4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
（2）若信源概率分布为
，求无失真传送以上信源消息序列至少
需要多长时间？
5.已知（7，4）循环码的生成多项式 （1）求该码的编码效率？
，求：
（2）求其对应的一致校验多项式 （3）写出该码的生成矩阵，校验矩阵。
（4）若消息码式为
模拟试题一答案
，求其码字。
一、概念简答题（共 10 题，每题 5 分）
1.答：离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最
大。均值受限时，指数分布的熵最大。
2.答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息为 表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的 量，还表示通信前后整个系统不确定性减少的量。
发出符号，求
和平均符号熵
7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与 信道容量的关系。
8.二元无记忆信源，有
求：
（1）某一信源序列由 100 个二元符号组成，其中有 m 个“1”，求其自信息量？
（2）求 100 个符号构成的信源序列的熵。
9.求以下三个信道的信道容量：
4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的 关系。 5.设某二元码字 C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为 110110 时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按