信息论与编码期中试卷及答案
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题集与答案(新)
0.柑应的编码器转移概率矩阵[/<vA)]-； 7・已知用户A 的RSA 公开密钥(匕八)=(3,55),“ = 5凶=11,贝I]0(”)=40 ,他的秘密密钥(仆)=(27・55)。
若用户B 向用户A 发送加=2的加密消息，则该加密后的消息为& 二、判断题 1.可以用克劳夫特不等式作为唯一可译码存在的判据。
(«〉2. 线性码一定包含全零码。
(«)3•算术编码是一种无失頁•的分组信源编码，苴基本思想是将一企精度数值作为序列的 编码，是以另外一种形式实现的最佳统讣匹配编码。
(X)4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息虽。
(X)5. 离散平稳有记忆信源符号序列的平均符号爛随着序列长度L 的增大而增大。
(X 〉6. 限平均功率最大:W 定理指出对于相关矩阵一定的随机矢MX.当它是正态分布时具有最大墻。
(V)7.循环码的码集中的任何一个码字的循环移位仍是码字。
(5/ )&信道容量是信道中能够传输的最小信息量。
(X)9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
10. 在已知收码R 的条件下找出可能性最大的发码Cj 作为译码估计值，法叫做最佳译码。
(«) 三、计算题某系统(7, 4)码£ =(5©5 q Cj c, c, Co) = (g nt, “ 叭 c,系为：為=竹 + /Mj +' C, = /«3 ++ /ZljC 0= W, +Z», + 加0 求对应的生成矩阵和校验矩阵： 计算该码的最小距离： 列出可纠差错图案和对应的伴随式: 若接收码字/?=! 110011,求发码。
1・在无失真的信源中，信源输出由 H(X)来度量:在有失竟的信源中，信源输出由_ R(D)来度量• 2•要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码, 然后—加密—编码,再_ 信道 编码.最后送入信逍。
信息论与编码期中考试答案
《信息论与编码》期中考试答案1. 香农在《通信的数学理论》中提出“通信的基本问题”是什么？（5分）答：通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。
2. 消息、信号、信息三者关系；用货车、集装箱、青花瓷瓶分别指代前面的三者。
（10分）答：1、消息是信息的携带者，信息包涵于消息中；2、消息不一定含有信息；3、信号是消息的载体，消息是信号的具体内容；货车：信号，集装箱：消息，青花瓷瓶：信息；3. 信息的最基本特征。
（5分）答：不确定性；4. 概率论与随机过程各自研究对象的区别。
（10分）答：概率论只是单纯研究事件发生的概率；而随机过程是放在随时间变化的过程中研究事件发生的概率及其相互关系；5. 编码器主要包括信源编码器和信道编码器，试用两个字分别描述信源编码器和信道编码器各自的作用。
（5分）答：信源编码器：高效/有效；信道编码器：可靠；6. 概率论中相互独立与互不相容的区别，两者各自针对的对象是什么。
（10分）答：相互独立：事件A的出现对于事件B的出现概率没有影响，且事件B的出现对于事件A的出现概率也没有影响；互不相容：事件A与事件B不能同时发生；相互独立：针对概率，互不相容：针对集合；7. 马尔可夫随机过程的无后效性、平稳性，试解释。
（10分）答：无后效性：f（t0）已知，f（t> t0）的条件概率与t0之前的状态无关，只与t0—t之间的状态有关；即f（t）的条件概率只受就近时刻状态的影响。
平稳性：条件概率与转换前后的状态及转换时间有关，与起始时刻无关。
8. 先验概率与后验概率的含义。
（10分）答：先验概率：事件未传输之前的已经具有的概率，与是否传输无关；后验概率：已知接收事件的条件下，判断发送事件的概率；9. 不确定度与自信息量的联系与区别。
（10分）答：不确定度与自信息量数值、单位相同；区别：不确定度表征事件的本身性质，与是否传输无关；自信息量表示事件发生后观察者得到的消除不确定度需要的信息量；不确定度强调传输前，自信息量强调传输后，经过通信系统的传输过程。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高米以上的，而女孩中身高米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则P(A)= p(B)= p(B|A)= （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （2分）I(A|B)== （1分）四、（5）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为，白色出现的概率为。
信息论与编码试卷及答案分解
信息论与编码试卷及答案分解⼀、（11’）填空题（1）1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
（2）必然事件的⾃信息是0 。
（3）离散平稳⽆记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为__信源符号等概分布_。
（5）若⼀离散⽆记忆信源的信源熵H（X）等于2.5，对信源进⾏等长的⽆失真⼆进制编码，则编码长度⾄少为 3 。
（6）对于⾹农编码、费诺编码和霍夫曼编码，编码⽅法惟⼀的是⾹农编码。
（7）已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有⼀离散⽆记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__⼩于___C（⼤于、⼩于或者等于），则存在⼀种编码，当输⼊序列长度n⾜够⼤，使译码错误概率任意⼩。
（9）平均错误概率不仅与信道本⾝的统计特性有关，还与___译码规则____________和___编码⽅法___有关三、（5'）居住在某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设A表⽰“⼤学⽣”这⼀事件，B表⽰“⾝⾼1.60以上”这⼀事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满⾜I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码期中试题答案
一、（10’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
二、（10）判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（）
（3）概率大的事件自信息量大。
（）
（4）互信息量可正、可负亦可为零。
（）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（）
（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（）
（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。
（）
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )
三、（10）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则
P(A)= p(B)= p(B|A)= （5分）
故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （4分）
I(A|B)== （1分）
四、（10）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY) 证明：
()()()
()
()()()()
()()
Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X
Y
i j i j i -=⎥⎦⎤
⎢⎣⎡---==∑∑∑∑∑∑log log log
; （4分）
同理
()()()
X Y H Y H Y X I -=; （2分） 则
()
()()Y X I Y H X Y H ;-= 因为
()()()
X Y H X H XY H += （2分） 故
()()()()Y X I Y H X H XY H ;-+=
即
()()()()XY H Y H X H Y X I -+=; （2分）
五、（30’）.黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为，白色出现的概率为。
给出这个只有两个符号的信源X 的数学模型。
假设图上黑白消息出现前后没有关联，求熵()X H ；
2） 假设黑白消息出现前后有关联，其依赖关系为
，
，
，
，求其熵()X H ∞。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
解：1）信源模型为 （4分）
（6分）
2）由题意可知该信源为一阶马尔科夫信源。
（2分） 由
（4分）
得极限状态概率
（2分）
（2分）
3）
119.02log )
(121=-=X H γ （4分）
447.02log )
(122=-
=∞X H γ （4分）
12γγ>。
说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。
而信源冗余度正是反
映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。
（2分）
六、（10
）一个信源含有三个消息,概率分布为p 1=,p 2=,p 3=,失真函数矩阵为
[]421032d ⎡⎤
⎢⎥=⎢⎥
求:D max ,D min , R(D max ),R(D min )
p 1=,p 2=,p 3=
在给定的失真函数矩阵中,对每一个x i 找一个最小的d ij 然后求
R(D max )=0,
R(D min )=R(0)=H max (x)=[七、（10
）有一信源它有四种可能的输出，其概率分布如下图所示，
表中给出了对应的码A 、B 、C 、D 和E 。
1）求这些码中哪些是唯一可译码。
2）求哪些是非延长码（即时码）3）对所有唯一可译码求出其平均码长和编码效率
解：
1、唯一可译码为A 、B 、C 、D
2、即时码为A 、C 、D
3、信源熵H （X ）= bit/符号
A 码平均码长为2 bit/符号，效率为%
B 码平均码长为 bit/符号，效率为%
C 码平均码长为 bit/符号，效率为%
D 码平均码长为 bit/符号，效率为100%
)
15.033.02.01;3.032.02;25.003.042.0(m in 1
...2,1max ⨯+⨯+⨯⨯+⨯⨯+⨯+⨯==∑
==n
i ij i m j d p D min ()min j
i
ij
y i
D p x d
=
∑。