信息论与编码在处理网络问题中的应用

摘要

随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。

1.引言

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。

2.概述

2.1信息与信息论

1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—

—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。

而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。

2.2网络与信息论

网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。

2.3网络编码

2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息.

传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发

器的角色。长期以来，人们普遍认为在中间节点上对传输的数据进行加工不会产生任何收益，然而R Ahlswede等人于2000年提出的网络编码理论彻底推翻了这种传统观点。

网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。根据图论中的最大流-最小割定理，数据的发送方和接收方通信的最大速率不能超过双方之间的最大流值(或最小割值)，如果采用传统多播路由的方法，一般不能达到该上界。R Ahlswede等人以蝴蝶网络的研究为例，指出通过网络编码，可以达到多播路由传输的最大流界，提高了信息的传输效率，从而奠定了网络编码在现代网络通信研究领域的重要地位。

3.信息论与编码在处理网络问题中的应用

3.1在防止网络窃听方面的应用

前面介绍的网络编码提高了网络的吞吐量和可靠性，但同时时也带来了不可忽视的安全问题, 主要包括污染和窃听两类问题。针对窃听问题，文献[1]提出一种防窃听的网络编码算法.应用该算法, 窃听者得不到关于信源的任何有意义的信息, 称之为弱安全.该算法通过舍弃少量带宽使得随机网络编码能以很高的概率达到弱安全性的要求.另外, 当信源和信宿共享有秘密信道时, 秘密信道编码算法达到弱安全性要求的概率为1 , 且能达到网络的最大流.该编码算法仅是在原随机编码体制的基础上对信源和信宿进行了改变, 中间节点编码保持不变.

弱安全就是在实际应用中对安全性的要求并不一定要像信息论安全这样高.例如, 如果窃听者得到了关于信源的两个比特的异或b1 b2 , 他虽然得到了关于信源的一个比特的信息, 但他却无法得到关于信源的任何“有意义”的信息, 即他无法得到b1 或b2 .在实际应用中这样的安全性就足够了.这样的安全性是弱于信息论安全的, 称之为“弱安全”。

文献[2]中提出了一种基于信息论安全的网络编码方案。利用大素数及其本原根产生不同的噪声符号，并将噪声符号与原始信息进行混合，达到隐藏信息的目的。分析结果表明，该方案通过舍弃少量带宽，使网络编码以很高的概率达到

信息论安全的要求，当信源与信宿之间有一条专用的安全信道时，可在不增加通信开销的前提下使网络的信息论安全概率为1。

这两种方法都能在一定程度上提高网络编码的安全性，只是所采用的方法不同，文献[1]通过舍弃少量带宽，而文献[2]则通过增加噪声符号和原始信息混合，进而达到对窃听者进行干扰的作用。

文献[3]介绍了现在一些网络编码方式和存在的一些问题，并介绍网络编码以后的发展方向。

3.2 在防止网络污染方面的应用

前面介绍的网络编码除了会造成窃听问题外还会带来污染攻击。污染攻击是指攻击者利用网络中间节点生成虚假的编码消息，大量的转发至其他节点，占用传输信道，降低网络吞吐量，甚至导致目的节点出现译码异常的现象。对于网络编码中的污染问题，传统的数字签名方法都不适用。于是，人们提出一些新的签名算法来满足网络编码的需求：一类是同态数字签名技术；另一类是基于同态哈希函数的签名技术，前者需要安全信道传输哈希值，后者大多基于双线性运算。然而，以上适用于单源网络编码的签名算法无法应用于多源网络编码中，其主要原因在于：现有的单源网络编码签名算法只需用一个私钥对消息进行签名，而在多源网络编码中，不同的信源节点用不同的私钥进行签名。

针对这一现象文献[4]提出一种可抵御污染攻击的多源线性网络编码签名算法，其中，每个源节点用自己的私钥对文件签名，中间或信宿节点仅用公钥即可验证收到的签名，利用随机预言模型证明该算法能够抵抗信源节点和中间节点的攻击。该算法仅假设每个源节点只发送一个消息，若考虑发送多个消息，针对多信源、多消息的向量合并算法解决，其能够线性组合来自不同信源的多个消息，组合后的向量数据为元线性组合，而增量元保持不变。

文献[5]则在在已有的同态HASH 签名基础上，为了解决网络编码传输过程中容易遭受污染攻击的问题，提出了一种新型的应用同态HASH 函数的抗污染攻击系统，网络中的各个节点通过同步同态HASH 函数的参数和原始消息分组的HASH 值来对所收到的每个分组进行验证，只有通过验证的分组才会转发给下一个节点。该方案结合了针对源节点与目标节点端对端在线

验证的安全ACK 验证方案，从而能有效抵抗网络编码中的污染攻击。同时，

为了有效降低网

络编码中各节点的运算时间，文章提出了硬件加速的方法，利用FPGA 开发板进行数据分组的验证以及编码操作，以提高系统的运行效率。该系统能够提高整体网络吞吐量，并确保被篡改的数据不会因为编码在整个网络中扩散，对于网络编码环境下的网络传输安全具有重要的作用。基于网络编码的同态HASH 抗污染攻击系统在效率和安全性上取得了一定的平衡。从测试结果来看，安全性问题得到了很好地解决，一般强度的污染攻击已经能很好地识别并抵抗。从计算代价来看，传输延迟完全在一个用户可以接受的范围内。

3.3在无线网络路由方面的应用

无线网络具有不可靠的传输链路、动态的拓扑结构、受限的信道带宽和节点电量等显著特征.近年来,多路径路由在无线网络中得到了广泛的应用.多路径路由可以有效地提高数据传输的可靠性,在节点间平衡网络流量负载和电量消耗,降低端到端时延和路由发现频率,应对频繁的拓扑结构变化及其带来的不可靠的通信服务,以及改进网络的安全性等.但是,多路径路由又会导致多条路径上同时发送数据包所带来的网络拥塞问题,特别是当选择多条不相交的路径传输数据包时,拥塞会变得更加严重.

针对这个问题文献[6]提出了一种基于网络编码的多路径路由机制CAMP(network coding-aware multi-path routing).该机制能够根据路径的可靠性和编码机会,动态地在多条路径上进行数据包的传输.CAMP 的路由发现机制能够向源节点返回多条可能的路径以及各条路径的每条边上的ETX(expected transmission count).与以往的多路径路由机制不同,CAMP 可以通过转换它的传输路径来动态地创造而非仅仅等待编码机会.利用这一独特的路由制,CAMP 可以让多条路径分摊网络流量负载,并且最大化路径转换收益,从而改进网络的吞吐量.实验结果表明,在无线网络的数据传输过程中,CAMP 能够取得比其他路由机制高得多的网络吞吐量.

CAMP 由两个阶段组成:路由发现阶段和数据包发送阶段.CAMP 的路由发现机制能够向源节点返回多条可能的路径以及各条路径上所有链路的ETX.每条路径上的中间节点会为以后的路径交换决策保存其他候选路径信息.与现有的多路径路由机制不同的是,CAMP 可以从当前默认路径转换到具有最大路径转换收益

的路径,从而动态地创造编码机会,而不仅是等待编码机会.实验结果表明,在无线网络的数据传输中,与其他基于网络编码的传统最佳路径路由、多路径路由和单路径路由机制相比,CAMP 能够大幅度提高网络吞吐量.

文献[7]提出了出一种无需重传与确认的路由算法, 这种算法以最小化单位比特有效数据

的能耗为目标, 给出最优化数学模型, 并用遗传算法进行求解.所提出的免重传路由算法可以降低能耗, 减轻节点之间的无线电干扰, 节省了节点用于重传数据包所需配置的缓存.文献中基于网络编码思想并结合多路径数据传递方法, 提出一种称为“免重传网络编码路由”的节能算法(以下简称“免重传路由”).在这种路由算法支持下,信源将要发送的数据分成多个数据片, 然后选取一组线性独立的系数, 利用线性网络编码形成新的数据分组(下称“编码数据分组”), 将编码数据分组分别通过不同的路径发送, 确保信宿收到一定数量的编码数据包进而获得信源所发送的数据.这种路由算法的主要特点在于:不需要重传机制, 也就是说接收节点不需要发送ACK 包, 同时发送节点也不需要重发数据包.本文的主要贡献在于:利用无线网络编码技术, 在多条路径中选择最佳路径进行数据传递, 避免了数据包重传与确认,同时降低能耗及减轻无线电干扰, 节省所有节点为重发数据包所必须配置的用于存储尚未得到接收节点确认的数据包的内存空间.

3.4在网络数据挖掘中的应用

互联网的出现，不仅改变了人们获得信息的生活方式，也造就了很多以前从来没有过的专业或行业。网络上的数据每天都在爆炸式地增长，其中肯定有不少有价值的信息，只不过被掩埋在数量上占压倒多数的八卦和”垃圾“里面而已。

文献[8]针对时序数据库提出一种基于信号处理和信息论网络的方法，并使用模糊和集成的概念来简化规则库，通过这些方法来进行数据库挖掘。时序数据库在现实生活中有广泛的应用，证券交易数据库，期货交易系统，在线监控系统等都是时序数据库。时序数据库中的属性有静态和动态之分，例如在证券数据库中静态属性包括股票名称和证券代码，动态属性包括收盘价及交易数据等。

对时序数据库进行数据挖掘按以下步骤来实施：

（1）用已进行过预处理的数据来构造一个信息论网络；

（2）从信息论网络中抽取关联规则并预测其准确性；

（3）用模糊理论来减少关联规则。

文献完整地介绍了一种时序数据库挖掘方法。在预处理部分采用了信号处理技术，在实施挖掘时采用了信息论网络技术，该技术能量化地将重要特性从原始数据中提炼出来，并形成关联规则。

文献[9]从分类的角度考虑，因为分类是一个重要的挖掘任务"其目标是通过学习功能"将数据库中的记录按记录的属性值分成预先定义的类别。数据分类的基本技术主要有判定树归纳、贝叶斯分类和贝叶斯网络、神经网络、遗传算法、粗糙集和模糊集技术等。在分类模型中减少相关属性和特征的数目是很重要的"在文章中提出的信息论方法"它运用在空间上的自动特征抽取作为学习过程的一个组成部分。因此"特征的最小子集的发现只要执行一次推理算法。

数据分类的处理目标是减少不确定的信息量，得到分类属性的信息。为了实现分类，信息越多分类模型精确度就越高，不能增加信息量的模型是没有用的，它的预测精度不会比随机猜测的好。信息论是一个在随机值上的条件依赖模型，如果对变量x什么都不能确定，那么它的不确定度可以由非条件熵()()()

∑

H log。熵与统计不同：它仅仅依靠概率的随机分布而不是它

具体的值。因此，在分类任务中，分类标签是不重要的。通过信息论增加随机变量相关属性的信息能减少它的熵。文献中提出了建立类似树结构的输入属性和输出特征之间关系的信息网络来实现分类的方法。实验结果表明"与其它方法相比，该方法建立的模型更简洁，精度更高。

总结

信息论发展起来以前,人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究,已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码在处理网络方面的应用。可以看出在处理网络问题时引入信息论与编码知识可以很好的解决一些问题，因此还发展成为一门学科

——网络信息论。可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。

参考文献

[1]周亚军, 李晖 , 马建峰, 等.一种防窃听的随机网络编码[J].西安电子科技大学学报,2008, 36(4).

[2] 刘琼, 潘进，刘炯. 基于信息论安全的放窃听网络编码方案[J].计算机工程,2012, 38(22).

[3] Ming He, Lin Chen, Hong Wang, etc.Survey on Secure Transmission of Network Coding in Wireless Networks[A]. 2012 International Conference on Computer Science and Service System.

[4] 牛淑芬, 王彩芬. 多源线性网络编码的同态签名算法[J]. 计算机工程,2012,38(2).

[5] 陈福臻, 程久军, 廖竞学, 等.基于网络编码的同态HASH抗污染攻击系统研究[J]. 技术研究,2015,6.

[6] 陈贵海, 李宏兴, 韩松, 等.多跳无线网络中基于网络编码的多路多径路由[J]. 软件学报,2010,8.

[7] 卢文伟, 朱艺华, 陈贵海. 无线传感器网络中基于线性网络编码的节能路由算法[J]. 电子学报,2010,10.

[8] 林芝, 曹加恒, 刘娟. 基于信息论网络的时序数据库挖掘[J]. 计算机工程与应用,2013,1.

[9] 邹汉斌, 雷红艳, 刘琼, 等. 基于信息论网络的分类方法研究[J]. 计算机工程与应用,2005,29.

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码试卷与答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码在处理网络问题中的应用报告

信息论与编码在处理网络问题中的应用摘要随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。 1.引言人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。 2.概述 2.1信息与信息论 1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—

—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。 2.2网络与信息论网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。 2.3网络编码 2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息. 传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论与编码课程论文[1]

香农信息论的基本理论探究制作者：陈喆指导老师：杜奕【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。【关键词】：平均自信息信道容量信源编码霍夫曼码

1211()()log()q q i j i j i j H X X P a a a a ===-∑∑ 此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122() H X X 作为二维离散平稳信源X 的信息熵的近视值。除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：（1）某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。（2）信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是： 121()lim ()N N H H X H X X X N ∞∞→∞== . 二．平均互信息信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系： (|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ====== 传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度： ,1(|)()log (|)X Y H X Y P xy P x y =∑ 这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量 (;)()(|)I X Y H X H X Y =-

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码课程论文

信息论与编码课程论文电子邮件安全与密码学的应用刘畅，200900840179 山东大学威海分校机电与信息工程学院，威海 264209 摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。关键词：RSA；PGB；PEM 1、概述随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。但是也存在一些问题妨碍了它的推广。其中关键之一就是电子邮件的信息安全。由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。但是髓着时代的发展。尤其是电子商务的速成长。作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。密码技术就是对信息进行重新编码。从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。本文就浅述一下密码技术安全电子邮件中的应用。 2、密码学简介 2.1、加密的历史作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了数据加密技术的发展。 2.2、密码学的发展密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年（早在四千年前，古埃及就开始使用密码传递消息），这是传统密码学阶段，基本上靠人工对消息加密、传输和防破译。第二阶段是计算机密码学阶段，包括： ①传统方法的计算机密码学阶段。解密是加密的简单逆过程，两者所用的密钥是可以简单地互相推导的，因此无论加密密钥还是解密密钥都必须严格保密。这种方案用于集中式系统是行之有效的。 ②包括两个方向：一个方向是公用密钥密码（RSA），另一个方向是传统方法的计算机密码体制——数据加密标准（DES）。

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码

数据压缩刘彬滨江学院电子工程系通信工程3班20102334911 摘要：本文介绍了数据压缩在计算机科学和信息论中的应用，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元（或者其它信息相关的单位）表示信息的过程。对于任何形式的通信来说，只有当信息的发送方和接受方都能够理解编码机制的时候压缩数据通信才能够工作。关键词：数据压缩源编码数据通信 Abstract：This paper introduces the data compression in the application of computer science and information theory, data compression or source coding is according to specific coding mechanism without coding than less data bits (or other information related to the unit) said the process of information. For any form of communication, it is only when the information of the sender and receiver can understand coding mechanism when compressed data communication can work. Keywords：data compression Source coding data communication 1、引言数据压缩能够实现是因为多数现实世界的数据都有统计冗余。例如，字母“e”在英语中比字母“z”更加常用，字母“q”后面是“z”的可能性非常小。无损压缩算法通常利用了统计冗余，这样就能更加简练地、但仍然是完整地表示发送方的数据。如果允许一定程度的保真度损失，那么还可以实现进一步的压缩。例如，人们看图画或者电视画面的时候可能并不会注意到一些细节并不完善。同样，两个音频录音采样序列可能听起来一样，但实际上并不完全一样。有损压缩算

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

信息论与编码课程论文

信息论与编码应用报告互信息技术在数字图像配准中的应用专业班级：电子信息工程姓名：学号：201 时间：2014年6月9日指导老师： 2014年6月9日

目录摘要： (1) Abstract： (2) 前言 (3) 1 概述 (4) 1.1 互信息与信息论 (4) 1.2 数字图像配准 (5) 1.2.1 数字图像配准的介绍 (5) 1.2.2 数字图像配准的方式 (5) 1.2.3 数字图像配准的发展 (6) 2 配准方法 (7) 2.1 变换和插值模型 (7) 2.2 特征点的提取 (8) 2.3 多元互信息 (11) 2.4 优化算法 (12) 2.4.1 编码方式 (12) 2.4.2适应度表示 (12) 2.4.3轮盘赌法和最优保存策略 (12) 3 互信息技术在图像配置中的应用 (13) 3.1 Harris角点后的CT图和PET图 (14) 3.2 配准过程及结果 (14) 4 总结 (14) 参考文献： (16)

互信息技术在数字图像配准中的应用信息与计算科学专业指导教师【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。图像配准是使两幅图像上的对应点达到空间上一致的一个过程。本文介绍了一种基于最大互信息原理的图像配准技术。并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。实验结果表明本方法具有较高的配准精度和稳定性。【关键词】：图像配准互信息 Harris角点算子部分体积插值遗传算法前言互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。Woods用测试图像的条件熵作为配准的测度，用于PET 到MR 图像的配准。Collignon 、Wells[1] 等人用互信息作为多模态医学图像的配准测度。以互信息作为两幅图像的相似性测度进行配准时，如果两幅基于共同解剖结构的图像达到最佳配准时，它们对应的图像特征互信息应为最大。最大互信息法几乎可以用在任何不同模式图像的

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（） 2. 线性码一定包含全零码。（） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。（） 9. 信道容量是信道中能够传输的最小信息量。（×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方

河南理工大学信息论与编码论文

信息论与编码课程设计报告设计题目：统计信源熵与费诺编码专业班级电信 11 学号学生姓名指导教师教师评分 2014年 3月24日

目录一、设计任务与要求 (2) 二、设计思路 (3) 三、设计流程图 (4) 四、程序运行及结果 (5) 五、心得体会 (7) 参考文献 (7) 附录：源程序 (8)

一、设计任务与要求要求完成两个题目，1和2选做一题，3、4和5选做一题。 1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。 2、判断唯一可译码要求：利用尾随后缀法判断任意输入的码是否为唯一可译码。 3、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。 4、费诺编码要求：任意输入消息概率，利用费诺编码方法进行编码，并计算信源熵和编码效率。 5、哈夫曼编码要求：任意输入消息概率，利用哈夫曼编码方法进行编码，并计算信源熵和编码效率。

二、设计思路此设计是将统计信源熵与费诺编码结合在一起。程序中采用模块化思想将实现某个功能的程序独立成一个模块，然后在主程序中加以调用。 H(X)表示信源输出后，每个消息(或符号)所提供的平均信息量。统计信源熵模块是程序从键盘中读取用户输入的字母（不区分大小写）或空格，并分别统计出总数N和每个字母、空格出现的次数n以及概率P(x i)，然后由公式可计算出信源熵。费诺编码: 1、将信源发出的N个消息符号按其概率的递减次序依次排列。 2、将依次排列的信源符号依概率分成两组，使两个组的概率和近于相同，并对各组赋予一个二进制代码符号“0”和“1”（编m进制码就分成 m组）。 3、将每一个大组的信源符号进一步再分成两组，使划分后的两个组的概率和近于相同，并又分别赋予两组一个二进制符号“0”和“1” 4、如此重复，直至每组值只剩下一个信源符号为止 5、信源符号所对应的码符号序列即为费诺码

信息论与编码理论习题答案

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit