北京邮电大学2009年信息论试题答案
信息论编码》模拟试题一及参考答案
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求
和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？
（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ， ，10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、（50分）联合总体X ，Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解： (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39
北邮大学英语3-期末考试总复习题阶段作业一、二、三汇总,考试必备你懂的
大学英语3词汇选择练习题 第一单元选择题 1. It __________that the necklace was made of glass. A. turned out B. made out C. looked out D. took out 解析：该题选A，题目大意是“原来那串项链是用玻璃做的”。 turn out: 结果是；证明是 The party turned out to be very successful. 晚会结果开得很成功。 2. ___________, he can finish the work in a couple of weeks. A. Giving good health B. If give good health C. Given good health D. If he is good given health 解析：该题选C，题目大意是“倘若身体好，他能在一两周内完成这项工作”。given 引导方式状语，意为“倘若，假设，考虑到”。如： 1. Given their inexperience, the y’ve done a good job.考虑到他们缺乏经验，他们 的工作已经做得不错了。 2. Given some more time, I would do the job better.假如时间再多些，我能把工作 做得更好。 3. Given good health, the old lady can look after her grand-daughter for her son.假 如身体好的话，这位老太太能帮她儿子照看孙女。 3. ___________ to speak at the meeting, I couldn’t very well refuse. A. Called up B. Called off C. Called at D. Called on 解析：该题选D，题目大意是“要让我在会上发言，我是不会拒绝的”。 call on sb. to do st h：invite/require sb. to do sth.请/要求某人做某事 1. A teacher can call on individual students to compose similar questions. 老师可以要求每个学生提出类似的问题。 2. The chairman called on his people to organize so that they could be more powerful.主席号召他的民众组织起来，这样才能更有力量。 4. The poor police had never __________ of winning. A. made a chance B. took a chance C. stood a chance D. kept a chance 解析：该题选C，题目大意是“可怜的警察毫无胜诉的机会”。 stand a chanc e：have a prospect (of sth.) 有…希望 1. stand a chance of winning the game有可能赢得这场比赛 2. I think you stand a good chance of being elected president.我认为你极有可能 当选为公司总裁。 3. Weak and lame in one leg, he never stood a chance of getting the job of taxi-driver.由于身体虚弱，并且有一条跛腿，他从未有机会得到出租车司机的工作。 5. If our neighbor continues to refuse to keep his dog under control, we have to take him to ___________. A. solicitor B. brush C. prisoner D. court 解析：该题选D，题目大意是“如果我们的邻居仍然拒绝看管好他的狗，我们就不得不法庭上见了”。 take sb. to court：控告某人，对某人提出诉讼 1. If you don't pay up, I'll take you to court. 如果你不还清欠款, 我就到法院告
信息论基础》试卷(期末A卷
《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴ bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解： 一、阅读理解（共1道小题，共50.0分） 1.Robert Bruce was a famous Scottish general. In the early 14th century he tried to drive the English out of Scotland, but he was not successful because the English were too strong. Finally, Bruce had to run away and hide in a cave. One day, he lay in his cave thinking of the sad state of Scotland. A spider began to make a web above his head. Simply to pass the time, Bruce broke the web. Immediately the spider began to make a new one. Six times Bruce broke the web and six times the spider immediately made a new one. Bruce was surprised at this. He told himself that he would break the web a 7th time. If the spider made a new one, it would be a good lesson to him, for like the spider, he had been defeated six times. Bruce then broke the web. Again the spider made a new one. From this simple fact, Bruce became encouraged. He again got an army together. This time he was successful and drove the English out of Scotland. 1. Who was Robert Bruce? A. He was an English general. B. He was a Scottish general. C. He was a spider researcher D. He was a biologist from Scotland. 2. Why did Bruce hide in a cave? A. Because he was defeated by the English. B. Because he was afraid of the English army. C. Because he was looking for spiders D. Because he was badly injured in the battle. 3. In the beginning he broke the spider web just because______. 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布; 3、 求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布 四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。 五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量 答案 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为: 北邮大学英语3第二次阶段作业 一、完形填空（共1道小题，共50.0分） 1.Many years ago there was a poor man. He had an orange tree 1 his garden. On the tree there were many fine oranges. 2 he found one 3 his oranges was much bigger 4 the others. It was as 5 as a football. Nobody had ever seen 6 orange. The poor man took the orange to the king. The king was so happy ___7 __he gave the man a lot of money for it. When a rich man heard of it, he said to hi mself, “It's only an orange. Why has the king given so much money 8__ it? I'II take my gold cup to the king. He'll give me 9 money.” The next day when the king received the gold cup, he said to the rich man, 'What a beautiful cup! I'll show you __10__ , please take this great orange." a. A.on B.in C.over D.with 学生答案: B; 标准答 案: B b. A.One day B.Yesterday C.When D.This morning 学生答案: A; 标准答 案: A c. A.for B.in 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 2009-2010学年第二学期末考试试题 信息论与编码理论 一、（共10分） 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、（共12分） 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。 三、（共12分） 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P 四、（共10分） 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证：);();(Z Y X I Y X I ≥ 五、（共12分） 设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。 六、（共14分） 设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0， 求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵； 一、完形填空（共1道小题，共50.0分） 1.Many years ago there was a poor man. He had an orange tree 1 his garden. On the tree there were many fine oranges. 2 he found one 3 his oranges was much bigger 4 the others. It was as 5 as a football. Nobody had ever seen 6 orange. The poor man took the orange to the king. The king was so happy ___7 __he gave the man a lot of money for it. When a rich man heard of it, he said to himself, “It's only an orange. Why has the king given so much money 8__ it? I'II take my gold cup to the king. He'll give me 9 money.” The next day when the king received the gold cup, he said to the rich man, 'What a beautiful cup! I'll show you __10__ , please take this great orange." a. A.on B.in C.over D.with 学生答案: B; 标准答 案: B b. A.One day B.Yesterday C.When D.This morning 学生答案: A; 标准答 案: A c. A.for B.in C.of D.among 信息论试卷题目及答案 ————————————————————————————————作者：————————————————————————————————日期： 2 中国海洋大学2008—2009学年第一学期 一、填空题（每空2分，共20分） 1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。 二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对） 三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分) 于信源爛H(X). () 2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. () 3.—般情况下，用变长编码得到的平均码长比定长编码 大得多. () 4.只要信息传输率大于信道容量，总存在一种信道编译 码，可以以所要求的任意小的误差概率实现可靠的通信 . () 5.务码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.() &连续信源和离散信源的爛都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息戢就越小. 8.汉明码是一种线性分组码. () 9.率失真函数的最小值是0 . () 10.必然事件和不可能事件的自信息量都是0 . () 二、填空题共6小题，满分20分. 1 、码的检、纠错能力取决 于______________________________ . 2、___________________________________ 信源编码的目的是:信道编码 的目的是____________________ . 3、把信息组原封不动地搬到码字前k位的(仏灯码就叫 做___________________ ? 4、香农信息论中的三大极限建理 是____________________ 、 ____________________ 、■ 5、耳信道的输入与输出随机序列分别为X和Y ,则 KX\Y N)=NI(X,Y)成立的 条件______________________________ ? 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码， 编码方法惟一的是 O "，则该信源的Dmax= ________ a 0 三、本题共4小题，满分50分. K某信源发送端有2种符号x,i = 1,2), /心)=a：接收端 有3种符号y r. () = 123),转移概率矩阵为 1/2 1/2 0 P = ? 1/2 1/4 1/4. (1)计算接收端的平均不确定 度 (2)计算由于噪声产生的不确 定度H(rix)： (3)计算信道容量以及最佳入 口分布. 2、一阶马尔可夫信源的状态转移 (1) 求信源平稳后的概率分布： (2) 求此信源的燔： (3) 近似地认为此信源为无记忆时，符号的概率分布为 稳分布?求近似信源的爛H(X)并与Hs进行比较. 4、设二元(7,4)线性分组码的生成矩阵为0 0 0 10 0 0 1 0 0 0 1 (1)给岀该码的一致校验矩阵，写出 所有的陪集首和与之相对应的伴随式： (2)若接收矢gv = (0001011),试讣 算出其对应的伴 随式S并按照最小距离译码准则试着对其译码. (二) 一、填空题(共15分，每空1分) 一、判断题共10小J满分20分. 1.当随机变量X和丫相互独立时，条件爛H(XI Y)等 7、某二元信源［爲冷打加其失真矩阵 图如右图所示, 信源X的符号集为{0丄2}? 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0 考试科目名称：信息论 一. 单选（每空2分，共20分） 1.信道编码的目的是（C ），加密编码的目的是（D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 2.下列各量不一定为正值的是（D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 3.下列各图所示信道是有噪无损信道的是（B ） A． B． C． D． 4.下表中符合等长编码的是（ A ） 5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确 的是（A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0， 1）中任取一个，这个n位的二进制数的自信息量为（C ） A．n2 B．1 bit C．n bit n D．2 7.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比 特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号； 考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推， 极限熵H =1.5比特/符号。问若用一般传送方式，冗余度为（ B ）∞ A．0.32 B．0.68 C ．0.63 D ．0.37 8. 某对称离散信道的信道矩阵为 ，信道容量为（ B ） A ． )6 1 ,61,31,31(24log H C -= B ． )61 ,61,31,31(4log H C -= C ． )61 ,61,31,31(2log H C -= D ． )6 1 ,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ） A ．香农编码和哈夫曼编码 B ．费诺编码和哈夫曼编码 C ．费诺编码和香农编码 D ．算术编码和游程编码 二. 综合（共80分） 1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。 （1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)， { 非分组码 分组码 { 奇异码 非奇异码 { 非唯一可译码 唯一可译码 { 非即时码 即时码（非延长码） 码 （5分） 一、单项选择题（共20道小题，共100.0分）1Her brother ______ to leave her in the dark room alone when she disobeyed his order. 1declared 1threatened 1warned 1exclaimed 知识点:Vocabulary 学生答案:[B;]标准答案:B 得分:[5]试题分值: 5.0提示:2It is certain that he will ______ his business to his son when he gets old.1take over 1think over 1hand over 1go over 知识点:Vocabulary 学生答案:[C;]标准答案:C 得分:[5]试题分值: 5.0提示:3The president spoke at the business meeting for nearly an hour without ______ his notes. 1bringing up 1referring to 1looking for 1trying on 知识点:Vocabulary 学生答案:[B;]标准答案:B 得分:[5]试题分值: 5.0 提示: 4 With oil prices keeping ______, people are hesitating whether to buy a car or not.1 rising 1 arising 1raising 、管路敷设技术通过管线敷设技术不仅可以解决吊顶层配置不规范高中资料试卷问题，而且可保障各类管路习题到位。在管路敷设过程中，要加强看护关于管路高中资料试卷连接管口处理高中资料试卷弯扁度固定盒位置保护层防腐跨接地线弯曲半径标高等，要求技术交底。管线敷设技术中包含线槽、管架等多项式，为解决高中语文电气课件中管壁薄、接口不严等问题，合理利用管线敷设技术。线缆敷设原则：在分线盒处，当不同电压回路交叉时，应采用金属隔板进行隔开处理；同一线槽内，强电回路须同时切断习题电源，线缆敷设完毕，要进行检查和检测处理。、电气课件中调试对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料试卷相互作用与相互关系，根据生产工艺高中资料试卷要求，对电气设备进行空载与带负荷下高中资料试卷调控试验；对设备进行调整使其在正常工况下与过度工作下都可以正常工作；对于继电保护进行整核对定值，审核与校对图纸，编写复杂设备与装置高中资料试卷调试方案，编写重要设备高中资料试卷试验方案以及系统启动方案；对整套启动过程中高中资料试卷电气设备进行调试工作并且进行过关运行高中资料试卷技术指导。对于调试过程中高中资料试卷技术问题，作为调试人员，需要在事前掌握图纸资料、设备制造厂家出具高中资料试卷试验报告与相关技术资料，并且了解现场设备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。、电气设备调试高中资料试卷技术电力保护装置调试技术，电力保护高中资料试卷配置技术是指机组在进行继电保护高中资料试卷总体配置时，需要在最大限度内来确保机组高中资料试卷安全，并且尽可能地缩小故障高中资料试卷破坏范围，或者对某些异常高中资料试卷工况进行自动处理，尤其要避免错误高中资料试卷保护装置动作，并且拒绝动作，来避免不必要高中资料试卷突然停机。因此，电力高中资料试卷保护装置调试技术，要求电力保护装置做到准确灵活。对于差动保护装置高中资料试卷调试技术是指发电机一变压器组在发生内部故障时，需要进行外部电源高中资料试卷切除从而采用高中资料试卷主要保护装置。 《信息论基础》模拟试卷 一、填空题（共15分，每空1分） 1、信源编码的主要目的是 ，信道编码的主要目的是 。 2、信源的剩余度主要来自两个方面，一是 ，二是 。 3、三进制信源的最小熵为 ，最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 。 5、当 时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为 和 。 7、根据是否允许失真，信源编码可分为 和 。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。 （2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。 三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分） （3）计算编码信息率R ';（2分） （4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。（2分） 四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算： （1）信息传输速率t R 。（5分） （2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分） 安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷） 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。 2、香农信息的定义 。 3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。 4、通信系统模型主要分成五个部分分别为： 。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。 6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。 7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()P x 的 型凸函数。 信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。 10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。 11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。 12、多项式剩余类环[]())q F x f x 是域的充要条件为 。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。 14、有限域12 2F 的全部子域为 。 15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足： 10 1 0(mod11)i i ia =≡∑） ，其中前九位均为0-9，末位0-10，当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。 二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。 （ ） 2、离散信源的信息熵是信源无失真数据压缩的极限值。 （ ） 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 5、设有噪信道的信道容量为C ，若信息传输率R C >，只要码长n 足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为任意小。反之，若R C <则不存在以R 传输信息而E P 为任意小的码。 （ ） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一信息论与编码习题参考答案(全)
北邮英语试题答案(2)
信息论测试题及答案
北邮大学英语3第二次阶段作业
信息论与编码试卷与答案
信息论考试题
信息论与编码试卷及答案
北邮英语试题答案 (3)
信息论试卷题目及标准答案
信息论与编码期末考试题(全套)..
信息论考试卷及答案分析
北邮网络教育学院大学英语试题
信息论试卷含答案
(整理)信息论期末考试试题1.