信息论与编码在处理网络问题中的应用报告

信息论与编码在处理网络问题中的应用

摘要

随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。

1.引言

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。

2.概述

2.1信息与信息论

1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—

—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。

而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。

2.2网络与信息论

网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。

2.3网络编码

2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息.

传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发

器的角色。长期以来，人们普遍认为在中间节点上对传输的数据进行加工不会产生任何收益，然而R Ahlswede等人于2000年提出的网络编码理论彻底推翻了这种传统观点。

网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。根据图论中的最大流-最小割定理，数据的发送方和接收方通信的最大速率不能超过双方之间的最大流值(或最小割值)，如果采用传统多播路由的方法，一般不能达到该上界。R Ahlswede等人以蝴蝶网络的研究为例，指出通过网络编码，可以达到多播路由传输的最大流界，提高了信息的传输效率，从而奠定了网络编码在现代网络通信研究领域的重要地位。

3.信息论与编码在处理网络问题中的应用

3.1在防止网络窃听方面的应用

前面介绍的网络编码提高了网络的吞吐量和可靠性，但同时时也带来了不可忽视的安全问题, 主要包括污染和窃听两类问题。针对窃听问题，文献[1]提出一种防窃听的网络编码算法.应用该算法, 窃听者得不到关于信源的任何有意义的信息, 称之为弱安全.该算法通过舍弃少量带宽使得随机网络编码能以很高的概率达到弱安全性的要求.另外, 当信源和信宿共享有秘密信道时, 秘密信道编码算法达到弱安全性要求的概率为1 , 且能达到网络的最大流.该编码算法仅是在原随机编码体制的基础上对信源和信宿进行了改变, 中间节点编码保持不变.

弱安全就是在实际应用中对安全性的要求并不一定要像信息论安全这样高.例如, 如果窃听者得到了关于信源的两个比特的异或b1 b2 , 他虽然得到了关于信源的一个比特的信息, 但他却无法得到关于信源的任何“有意义”的信息, 即他无法得到b1 或b2 .在实际应用中这样的安全性就足够了.这样的安全性是弱于信息论安全的, 称之为“弱安全”。

文献[2]中提出了一种基于信息论安全的网络编码方案。利用大素数及其本原根产生不同的噪声符号，并将噪声符号与原始信息进行混合，达到隐藏信息的目的。分析结果表明，该方案通过舍弃少量带宽，使网络编码以很高的概率达到

信息论安全的要求，当信源与信宿之间有一条专用的安全信道时，可在不增加通信开销的前提下使网络的信息论安全概率为1。

这两种方法都能在一定程度上提高网络编码的安全性，只是所采用的方法不同，文献[1]通过舍弃少量带宽，而文献[2]则通过增加噪声符号和原始信息混合，进而达到对窃听者进行干扰的作用。

文献[3]介绍了现在一些网络编码方式和存在的一些问题，并介绍网络编码以后的发展方向。

3.2 在防止网络污染方面的应用

前面介绍的网络编码除了会造成窃听问题外还会带来污染攻击。污染攻击是指攻击者利用网络中间节点生成虚假的编码消息，大量的转发至其他节点，占用传输信道，降低网络吞吐量，甚至导致目的节点出现译码异常的现象。对于网络编码中的污染问题，传统的数字签名方法都不适用。于是，人们提出一些新的签名算法来满足网络编码的需求：一类是同态数字签名技术；另一类是基于同态哈希函数的签名技术，前者需要安全信道传输哈希值，后者大多基于双线性运算。然而，以上适用于单源网络编码的签名算法无法应用于多源网络编码中，其主要原因在于：现有的单源网络编码签名算法只需用一个私钥对消息进行签名，而在多源网络编码中，不同的信源节点用不同的私钥进行签名。

针对这一现象文献[4]提出一种可抵御污染攻击的多源线性网络编码签名算法，其中，每个源节点用自己的私钥对文件签名，中间或信宿节点仅用公钥即可验证收到的签名，利用随机预言模型证明该算法能够抵抗信源节点和中间节点的攻击。该算法仅假设每个源节点只发送一个消息，若考虑发送多个消息，针对多信源、多消息的向量合并算法解决，其能够线性组合来自不同信源的多个消息，组合后的向量数据为元线性组合，而增量元保持不变。

文献[5]则在在已有的同态HASH 签名基础上，为了解决网络编码传输过程中容易遭受污染攻击的问题，提出了一种新型的应用同态HASH 函数的抗污染攻击系统，网络中的各个节点通过同步同态HASH 函数的参数和原始消息分组的HASH 值来对所收到的每个分组进行验证，只有通过验证的分组才会转发给下一个节点。该方案结合了针对源节点与目标节点端对端在线

验证的安全ACK 验证方案，从而能有效抵抗网络编码中的污染攻击。同时，

为了有效降低网

络编码中各节点的运算时间，文章提出了硬件加速的方法，利用FPGA 开发板进行数据分组的验证以及编码操作，以提高系统的运行效率。该系统能够提高整体网络吞吐量，并确保被篡改的数据不会因为编码在整个网络中扩散，对于网络编码环境下的网络传输安全具有重要的作用。基于网络编码的同态HASH 抗污染攻击系统在效率和安全性上取得了一定的平衡。从测试结果来看，安全性问题得到了很好地解决，一般强度的污染攻击已经能很好地识别并抵抗。从计算代价来看，传输延迟完全在一个用户可以接受的范围内。

3.3在无线网络路由方面的应用

无线网络具有不可靠的传输链路、动态的拓扑结构、受限的信道带宽和节点电量等显著特征.近年来,多路径路由在无线网络中得到了广泛的应用.多路径路由可以有效地提高数据传输的可靠性,在节点间平衡网络流量负载和电量消耗,降低端到端时延和路由发现频率,应对频繁的拓扑结构变化及其带来的不可靠的通信服务,以及改进网络的安全性等.但是,多路径路由又会导致多条路径上同时发送数据包所带来的网络拥塞问题,特别是当选择多条不相交的路径传输数据包时,拥塞会变得更加严重.

针对这个问题文献[6]提出了一种基于网络编码的多路径路由机制CAMP(network coding-aware multi-path routing).该机制能够根据路径的可靠性和编码机会,动态地在多条路径上进行数据包的传输.CAMP 的路由发现机制能够向源节点返回多条可能的路径以及各条路径的每条边上的ETX(expected transmission count).与以往的多路径路由机制不同,CAMP 可以通过转换它的传输路径来动态地创造而非仅仅等待编码机会.利用这一独特的路由制,CAMP 可以让多条路径分摊网络流量负载,并且最大化路径转换收益,从而改进网络的吞吐量.实验结果表明,在无线网络的数据传输过程中,CAMP 能够取得比其他路由机制高得多的网络吞吐量.

CAMP 由两个阶段组成:路由发现阶段和数据包发送阶段.CAMP 的路由发现机制能够向源节点返回多条可能的路径以及各条路径上所有链路的ETX.每条路径上的中间节点会为以后的路径交换决策保存其他候选路径信息.与现有的多路径路由机制不同的是,CAMP 可以从当前默认路径转换到具有最大路径转换收益

的路径,从而动态地创造编码机会,而不仅是等待编码机会.实验结果表明,在无线网络的数据传输中,与其他基于网络编码的传统最佳路径路由、多路径路由和单路径路由机制相比,CAMP 能够大幅度提高网络吞吐量.

文献[7]提出了出一种无需重传与确认的路由算法, 这种算法以最小化单位比特有效数据

的能耗为目标, 给出最优化数学模型, 并用遗传算法进行求解.所提出的免重传路由算法可以降低能耗, 减轻节点之间的无线电干扰, 节省了节点用于重传数据包所需配置的缓存.文献中基于网络编码思想并结合多路径数据传递方法, 提出一种称为“免重传网络编码路由”的节能算法(以下简称“免重传路由”).在这种路由算法支持下,信源将要发送的数据分成多个数据片, 然后选取一组线性独立的系数, 利用线性网络编码形成新的数据分组(下称“编码数据分组”), 将编码数据分组分别通过不同的路径发送, 确保信宿收到一定数量的编码数据包进而获得信源所发送的数据.这种路由算法的主要特点在于:不需要重传机制, 也就是说接收节点不需要发送ACK 包, 同时发送节点也不需要重发数据包.本文的主要贡献在于:利用无线网络编码技术, 在多条路径中选择最佳路径进行数据传递, 避免了数据包重传与确认,同时降低能耗及减轻无线电干扰, 节省所有节点为重发数据包所必须配置的用于存储尚未得到接收节点确认的数据包的内存空间.

3.4在网络数据挖掘中的应用

互联网的出现，不仅改变了人们获得信息的生活方式，也造就了很多以前从来没有过的专业或行业。网络上的数据每天都在爆炸式地增长，其中肯定有不少有价值的信息，只不过被掩埋在数量上占压倒多数的八卦和”垃圾“里面而已。

文献[8]针对时序数据库提出一种基于信号处理和信息论网络的方法，并使用模糊和集成的概念来简化规则库，通过这些方法来进行数据库挖掘。时序数据库在现实生活中有广泛的应用，证券交易数据库，期货交易系统，在线监控系统等都是时序数据库。时序数据库中的属性有静态和动态之分，例如在证券数据库中静态属性包括股票名称和证券代码，动态属性包括收盘价及交易数据等。

对时序数据库进行数据挖掘按以下步骤来实施：

（1）用已进行过预处理的数据来构造一个信息论网络；

（2）从信息论网络中抽取关联规则并预测其准确性；

（3）用模糊理论来减少关联规则。

文献完整地介绍了一种时序数据库挖掘方法。在预处理部分采用了信号处理技术，在实施挖掘时采用了信息论网络技术，该技术能量化地将重要特性从原始数据中提炼出来，并形成关联规则。

文献[9]从分类的角度考虑，因为分类是一个重要的挖掘任务"其目标是通过学习功能"将数据库中的记录按记录的属性值分成预先定义的类别。数据分类的基本技术主要有判定树归纳、贝叶斯分类和贝叶斯网络、神经网络、遗传算法、粗糙集和模糊集技术等。在分类模型中减少相关属性和特征的数目是很重要的"在文章中提出的信息论方法"它运用在空间上的自动特征抽取作为学习过程的一个组成部分。因此"特征的最小子集的发现只要执行一次推理算法。

数据分类的处理目标是减少不确定的信息量，得到分类属性的信息。为了实现分类，信息越多分类模型精确度就越高，不能增加信息量的模型是没有用的，它的预测精度不会比随机猜测的好。信息论是一个在随机值上的条件依赖模型，如果对变量x什么都不能确定，那么它的不确定度可以由非条件熵()()()

∑

H log。熵与统计不同：它仅仅依靠概率的随机分布而不是它

具体的值。因此，在分类任务中，分类标签是不重要的。通过信息论增加随机变量相关属性的信息能减少它的熵。文献中提出了建立类似树结构的输入属性和输出特征之间关系的信息网络来实现分类的方法。实验结果表明"与其它方法相比，该方法建立的模型更简洁，精度更高。

总结

信息论发展起来以前,人们对信息系统的理解是比较肤浅的。而现今，随着信息科学的不断发展，信息论的研究,已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。

本文主要介绍信息论与编码在处理网络方面的应用。可以看出在处理网络问题时引入信息论与编码知识可以很好的解决一些问题，因此还发展成为一门学科

——网络信息论。可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。

参考文献

[1]周亚军, 李晖 , 马建峰, 等.一种防窃听的随机网络编码[J].西安电子科技大学学报,2008, 36(4).

[2] 刘琼, 潘进，刘炯. 基于信息论安全的放窃听网络编码方案[J].计算机工程,2012, 38(22).

[3] Ming He, Lin Chen, Hong Wang, etc.Survey on Secure Transmission of Network Coding in Wireless Networks[A]. 2012 International Conference on Computer Science and Service System.

[4] 牛淑芬, 王彩芬. 多源线性网络编码的同态签名算法[J]. 计算机工程,2012,38(2).

[5] 陈福臻, 程久军, 廖竞学, 等.基于网络编码的同态HASH抗污染攻击系统研究[J]. 技术研究,2015,6.

[6] 陈贵海, 李宏兴, 韩松, 等.多跳无线网络中基于网络编码的多路多径路由[J]. 软件学报,2010,8.

[7] 卢文伟, 朱艺华, 陈贵海. 无线传感器网络中基于线性网络编码的节能路由算法[J]. 电子学报,2010,10.

[8] 林芝, 曹加恒, 刘娟. 基于信息论网络的时序数据库挖掘[J]. 计算机工程与应用,2013,1.

[9] 邹汉斌, 雷红艳, 刘琼, 等. 基于信息论网络的分类方法研究[J]. 计算机工程与应用,2005,29.

故障分析报告

关于柳州海事局远程视频监控系统的故障分析报告――2011年10月至2012年5月一、故障基本信息二、故障现象及处理过程 1、第一次故障 υ故障现象：2011年11月13日接到柳州海事的报障，无法连接服务器，客户端无法ping通服务器IP。 υ处理过程：接到报障通知后，我公司立即组织人员进行处理，局域网内可与前端设备通信，问题初步定为平台服务器故障。次日测试人员到达现场；经过测试，发现平台服务器操作系统崩溃；与设备厂商联系，于16日将平台系统及所有前端系统进行重新布署，故障解决。 υ故障分析：经过系统测试工程对系统日志进行分析，于11 月12日晚，因多个IP地址向平台服务器发起的恶意重复登录请求导致平台服务器处理超载，并造成操作系统文件损坏。 2、第二次故障 υ故障现象：2011年12月06日接到柳州海事的报障，三江支线画面无法显示。 υ处理过程：当日经测试维护人员检查，由于三江支线的传

输线路中断所至，为此马上与传输机房进行故障确认，并告知协助处理，于次日中午故障解决。 υ故障总结：由于三江网络传输点断电，导致传输线路不断，经协调后解决。 3、第三次故障 υ故障现象：2012年3月26日接到柳州海事的报障，无法连接服务器，客户端无法ping通服务器IP。 υ处理过程：接到报障通知后，我公司立即组织人员进行处理，局域网内可与前端设备通信及平台服务器进行通信。故障定为网络传输质量问题。当时与传输机房联系协助排查故障；经过测试排查，发现由于网络传输出现波动或延时现象较为严重导致系统自动判定为网络中断，不断的向前端设备发送重启命令导致；通过机房对线路进行优化配置后重启系统后恢复。 υ故障总结：由于网络传输出现波动或延时现象较为严重导致系统自动判定为网络中断，不断的向前端设备发送重启命令导致。 4、第四次故障 υ故障现象：2012年4月13日接到柳州海事的报障，红花电站支线画面无法显示。。 υ处理过程：接到报障通知后，我公司立即组织人员前往红花现场排查问题。次日完成故障排除，系统恢复正常。

信息论与编码课程报告

Turbo码编码与译码方法一、前言： Turbo码自1993年被提出以来，就以其优异的纠错性能而备受关注，并被主要通信标准所采纳。Turbo码是用短码构造等效意义的长码，以达到长码的纠错性能而减少解码复杂度。在强噪声低洗澡比的条件下，如E b/N0=0.7dB，采用编码效率R=1/2的Turbo码，经过18次迭代解码后，仍然具有极低的误码率。Turbo码得这一特性对于强噪声环境下数字通信与数字信号传输具有重要的应用价值。Turbo码的发现，标志着信道编码理论与技术的研究进入了一个崭新的阶段，对现代编码理论的发展起着重要的作用。二、Turbo码的编码原理： Turbo码编码器由两个递归系统卷积吗编码器(RSC1和RSC2)通过一个交织器并行级联而成，编码后经过删除或复用，产生不同码率的码字，进入传输信道。Turbo码编码器结构框图如图1所示，信息序列d={d1,d2,…d N}经过N 位交织器，形成一个新序列 d‘={d1’,d2’,…,d N’}(长度与内容没变，但比特位置经过重新排列)。d和d‘分别传送到两个分量码编码器（RSC1和RSC2）。一般情况下，这两个分量码编码器结构相同，生成序列X1p和X2p。为了提高误码率，序列X1p和X2p需要经过删除器，采用删除技术从这两个校验序列中周期地删除一些校验位，形成校验位序列X P与编码序列u（为方便表述，也用X S表示）经过复用，生成Turbo 码序列。例如，假如图中两个分量编码器的码率均是1/2,为了得到1/2码率的Turbo码，可以采用这样的删除矩阵：P=[10,01]，即删除来自RSC1的校验序列X1p的偶数位置比特，与来自RSC2的校验序列X2p的奇数位置比特。 S X 图1 交织器在Turbo码中起关键作用。表面上看，它仅仅是将信息序列中的N个比特的位置进行随机置换，实际上，它很大程度上影响了Turbo码的性能。通过随机交织，使得编码序列在长为2N和3N(不使用删除)比特的范围内具有记忆性，从而有简单的短码得到近似长码。当交织器充分大时，Turbo码就具有近似于随机长码的特性。三、Turbo码的译码原理：

公司网络故障处理报告

公司网络故障处理报告报告人：区兴源时间2013年3月31号下午4点05分内容公司内网故障导致公司所有员工不能使用远古系统与内网共享资源值班人区兴源故障设备事件回放 1．当天下午4点05分，练习场内网出现故障，练习场员工打来电话报告远古不能使用，经检测，暂时不能发现原因所在。 2．当天下午4点30分，接到经理电话说前台跟餐厅也不能使用远古系统，先放下练习场的故障处理赶到前台，情况跟练习场的一样。 3．同时赶到机房，检查发现所有的设备均没发出报错信号，重启路由器交换机均没取得有效的效果。 4．下午5点，故障还没排除，经过经理的意见马上采取应急措施，把服务器机房的远古主机搬到前台，用8口交换机把服务器与前台的4台电脑连接在一起组建临时的办公系统，让餐厅出发台等一线部门先在这4台电脑上处理办公问题。 5．下午5点40分，部门同事刘仰恺赶到支持。 6．晚上9点，问题暂时解决，能在前台、出发台和餐厅的电脑ping同内网路由器和登录远古系统。 7．4月1号早上6点，前台再次发来保障，公司局部的电脑不能使用远古系统，经检测，交换机直连内网路由器的8口模块能使用，别的模块全都不能正常工作。马上把主要的部门接线连到能使用的那个8口模块 8．9点，部门经理和同事上班，一同到弱电室机房检测问题所在，经商讨发现练习场交换机的布线出现错误。 9．9点30分，问题解决，公司所有的电脑均能连接远古系统和使用内网共享资源。

原因分析：如图为公司内网网络拓扑简略图，当事故发生时，由于远古内网路由器的DHCP池（即自动分配IP功能）分发失败，导致所有连接在交换机上的电脑均不能获取到IP地址导致不能连接远古服务器。经过信息部内部的分析，初步估计出是公司内部线路出现交换机环路现象（即网络堵塞），不排除是中了局域网病毒。用备用交换机逐个检查交换机上的接线检测是哪个区域的电脑出现异常，最后经理锁定是练习场与弱电室之间的线路出现问题。用排除法，一段一段地测试线路，发现练习场与厨房之间的接线发现了异

信息论与编码在处理网络问题中的应用报告

信息论与编码在处理网络问题中的应用摘要随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。 1.引言人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。 2.概述 2.1信息与信息论 1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—

—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。 2.2网络与信息论网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。 2.3网络编码 2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息. 传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发

信息论与编码实验报告.

本科生实验报告实验课程信息论与编码学院名称信息科学与技术学院专业名称通信工程学生姓名学生学号指导教师谢振东实验地点6C601 实验成绩二〇一五年十一月二〇一五年十一月

实验一：香农（Shannon ）编码一、实验目的掌握通过计算机实现香农编码的方法。二、实验要求对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。三、实验基本原理给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。四、源程序： #include #include #include #include #include using namespace std; int main() { int N; cout<<"请输入信源符号个数：";cin>>N; cout<<"请输入各符号的概率："<

int i,j; for(i=0;i

信息论与编码实验报告材料

实验报告课程名称：信息论与编码姓名：系：专业：年级：学号：指导教师：职称：

年月日目录实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22)

实验一信源熵值的计算、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程、实验原理熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。程序流程图：三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。四、实验环境 Microsoft Windows 7

五、编码程序 #include"stdio.h" #include #include #define N 1000 int main(void) { char s[N]; int i,n=0; float num[27]={0}; double result=0,p[27]={0}; FILE *f; char *temp=new char[485]; f=fopen("nan311.txt","r"); while (!feof(f)) { fread(temp,1, 486, f);} fclose(f); s[0]=*temp; for(i=0;i='a'&&s[i]<='z') num[s[i]-97]++; else if(s[i]>='A'&&s[i]<='Z') num[s[i]-65]++; } printf（" 文档中各个字母出现的频率:\n"）; for(i=0;i<26;i++) { p[i]=num[i]/strlen(s); printf("%3c:%f\t",i+65,p[i]); n++; if(n==3) { printf("\n"); n=0; } } p[26]=num[26]/strlen(s); printf(" 空格:%f\t",p[26]);

网络故障分析报告

网络故障分析报告网络故障分析报告网络故障分析报告一、1XXXX转5故障现象描述该网络有9台计算机，采用一台S3XXX通过迎宾苑S8XXX接入DCN网络，在今天出现个别机器断网的现象，具体现象为隔一段时间就有一台或几台机器DCN网络中断，重启或者拔掉网线再接上恢复正常。二、网络故障分析及定位从上面描述的故障现象来看，问题似乎与S3XXX下9台计算机有关（在此前联系马晓伟从高科技机房测试无丢包、断线等现象，网络正常）。为了首先恢复业务的正常使用，对S3XXX做了如下操作。 1、因为昨天刚从此S3XXX上21口开LAN业务供9XXXX做互联星空测试使用，所以怀疑是否21口上网有病毒感染到局域网。首先对S3XXX各个端口做了端口隔离，做完之后故障现象依旧。 2、由于做端口隔离故障依旧，而计算机都是上一会就断，重启后又可以上网，和马晓伟联系后怀疑为ARP地址欺骗攻击，建议做端口绑定操作。随后对4号机1号机做端口绑定（做完这两个笔记本没电了，在给笔记本充电过程中对网络进行观察）。

3、从19：00-20：00计算机网络使用正常没有发生过断线情况，同时对4号机进行病毒查杀，通过卡巴斯基查到两个病毒,一个是木马程序Trojan_Downloader.JSIstBar.aj，另一个是蠕虫病毒。三、对故障现象的解释 S3XXX下计算机刚开机上网正常，一段时间后发生断线情况，重启或重新拔插网线后正常。现象解释：“ARP欺骗”类病毒在局域网中屡有发现，具体表现为，当局域网中一台计算机感染了这类ARP病毒或木马后，会不定期的发送伪造的ARP响应数据报文和广播报文。受感染的电脑发出的'这种报文会欺骗所在网段的其他电脑，对其他电脑宣称自己的mac就是网关的mac，对实际的网关说其他电脑ip的mac 就是自己的mac，这样网关（交换机或路由器）无法学习到上网主机的mac，更新不了网关arp表，就无法转发数据帧。电脑中毒后会向同网段内所有计算机发送ARP欺骗包，导致网络内其他电脑因网关物理地址被更改而无法上网，被欺骗电脑的典型症状就是刚开机能上网，几分钟后断网，过一会又能上，或者重启一遍电脑就可以上网，一会又不好了，如此重复不断，影响正常使用。

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

《信息论与信源编码》实验报告

《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp：

信息论与编码实验报告

实验一绘制二进熵函数曲线（2个学时）一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为比特/符号或比特/符号序列。当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。四、实验内容：用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。（一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。

3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。（二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果

信息论与编码

数据压缩刘彬滨江学院电子工程系通信工程3班20102334911 摘要：本文介绍了数据压缩在计算机科学和信息论中的应用，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元（或者其它信息相关的单位）表示信息的过程。对于任何形式的通信来说，只有当信息的发送方和接受方都能够理解编码机制的时候压缩数据通信才能够工作。关键词：数据压缩源编码数据通信 Abstract：This paper introduces the data compression in the application of computer science and information theory, data compression or source coding is according to specific coding mechanism without coding than less data bits (or other information related to the unit) said the process of information. For any form of communication, it is only when the information of the sender and receiver can understand coding mechanism when compressed data communication can work. Keywords：data compression Source coding data communication 1、引言数据压缩能够实现是因为多数现实世界的数据都有统计冗余。例如，字母“e”在英语中比字母“z”更加常用，字母“q”后面是“z”的可能性非常小。无损压缩算法通常利用了统计冗余，这样就能更加简练地、但仍然是完整地表示发送方的数据。如果允许一定程度的保真度损失，那么还可以实现进一步的压缩。例如，人们看图画或者电视画面的时候可能并不会注意到一些细节并不完善。同样，两个音频录音采样序列可能听起来一样，但实际上并不完全一样。有损压缩算

信息论与编码实验报告

信息论与编码实验报告-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

实验一关于硬币称重问题的探讨一、问题描述：假设有N 个硬币，这N 个硬币中或许存在一个特殊的硬币，这个硬币或轻或重，而且在外观上和其他的硬币没什么区别。现在有一个标准天平，但是无刻度。现在要找出这个硬币，并且知道它到底是比真的硬币重还是轻，或者所有硬币都是真的。请问： 1）至少要称多少次才能达到目的； 2）如果N=12，是否能在3 次之内将特殊的硬币找到；如果可以，要怎么称？二、问题分析：对于这个命题，有几处需要注意的地方： 1）特殊的硬币可能存在，但也可能不存在，即使存在，其或轻或重未知； 2）在目的上，不光要找到这只硬币，还要确定它是重还是轻； 3）天平没有刻度，不能记录每次的读数，只能判断是左边重还是右边重，亦或者是两边平衡； 4）最多只能称3 次。三、解决方案： 1.关于可行性的分析在这里，我们把称量的过程看成一种信息的获取过程。对于N 个硬币，他们可能的情况为2N+1 种，即重（N 种），轻（N 种）或者无假币（1 种）。由于这2N+1 种情况是等概率的，这个事件的不确定度为： Y=Log(2N+1) 对于称量的过程，其实也是信息的获取过程，一是不确定度逐步消除的过程。每一次称量只有3 种情况：左边重，右边重，平衡。这3 种情况也是等概率的，所以他所提供的信息量为： y=Log3 在K 次测量中，要将事件的不确定度完全消除，所以 K= Log(2N+1)/ Log3 根据上式，当N=12 时，K= 2.92< 3 所以13 只硬币是可以在3 次称量中达到

网络故障排查报告

网络故障排查报告 XXX局：局领导您好，最近多个部门反映单位网络非常不稳定，经县信息中心及华晨电脑设备技术有限公司两天的排查，基本上查清故障发生的原因，说明如下： 1、所有的nbc和存储用的是同一个网段和同一个vlan，大概有100多台机器及多台无设备，广播流量太大，之前更换的TP-link网络交换机经咨询不能满足单位使用要求，每天超负荷工作造成设备主板的芯片元器件加速损坏，网络数据处理不稳定造成了网络塞车现象。 2、公司有部分windowsxp系统防御措施不够，导致工作机中了病毒，造成病毒网络广播，加重机房交换机负担，这也是原因之一。综上所述，特提出如下整改方案： 1、购置4台带有网管功能的48口千兆企业交换机，置于路由器之外，保证网络分流稳定。公司出台严格的网络管理制度所有的办公电脑必须安装杀毒软件，对于没有安装杀毒软件和防火墙的办公软件必须立刻断网。所只要涉及到和网络地址的添加必须事先咨询局办公室及办公室相关工作人员，然后由办公室再为他们划分相应的和ip地址。 2、XX局的网络制度一经确定，必须严格遵守。重新划分每层办公室的IP地址，以及将所有办公电脑作一次深入系统安全检查，保证办公局域网系统安全。 3、尽快将各股室办公电脑的网络IP进行登记，方便日后网络管理。以上便是本公司对贵局网络不稳定的原因分析及建议解决决方案，妥否，请批示。维保单位：xx公司 2015年2月12日以下是建议购置的网络交换机的详细参数配置：品牌：H3C 型号：H3C LS-S5120-52P-SI-H3 48 价格：5600.00元产品特点灵活的千兆接入和集群管理 H3C S5120-SI系列全千兆以太网交换机提供灵活的16/24/48个10/100/1000M自适应电口接入；并且支持非复用的SFP插槽，充分考虑用户的带宽升级的实际情况，既可以支持千兆光模块，也可以支持百兆光模块，保护用户投资。H3C S5120-SI系列硬件支持最大104Gbps交换容量，保证所有端口二层线速交换。 H3C S5120-SI系列交换机采用专利技术允许交换机利用专用互联电缆实现多达16台设备的堆叠，支持不同端口设备的混合堆叠。具有即插即用、单一IP管理。同时大大降低系统扩展的成本，保护了用户投资。

信息论霍夫曼编码

信息论与编码实验报告课程名称：信息论与编码实验名称：霍夫曼编码班级：学号：姓名：

实验目的 1、熟练掌握Huffman编码的原理及过程，并熟练运用； 2、熟练运用MATLAB应用软件，并实现Huffman编码过程。一、实验设备装有MATLAB应用软件的PC计算机。二、实验原理及过程原理： 1、将信源符号按概率从大到小的排列，令P （X1）>=P(X2)>=P(X3)......P(Xn) 2、给两个概率最小的信源符号P（Xn-1）和P（Xn）各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含（n-1）个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。 3、将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含（n-2）个符号的缩减信源S2. 4、重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。过程：用MATLAB编写代码实现Huffman编码其程序为： %哈夫曼编码的MA TLAB实现（基于0、1编码）：

clc; clear; A=[0.3,0.2,0.1,0.2,0.2];信源消息的概率序列 A=fliplr(sort(A));%按降序排列 T=A; [m,n]=size(A); B=zeros(n,n-1);%空的编码表（矩阵） for i=1:n B(i,1)=T(i);%生成编码表的第一列 end r=B(i,1)+B(i-1,1);%最后两个元素相加 T(n-1)=r; T(n)=0; T=fliplr(sort(T)); t=n-1; for j=2:n-1%生成编码表的其他各列 for i=1:t B(i,j)=T(i); end K=find(T==r); B(n,j)=K(end);%从第二列开始，每列的最后一个元素记录特征元素在

案例-xxxx故障分析报告

说明： 1．本报告是成都科来软件安徽办事处针对xxxx的网络故障所做的分析报告，因此该报告可以由xxxx的相关人员和科来安徽办的技术人员进行相应的查阅、更改或完善。 2．该报告中可能会涉及到用户网络内部的相关敏感信息，我方任何技术人员不得对外泄漏，否则，由此造成的后果一切由其本人负责，与科来公司无关。3．该报告内容全部为成都科来安徽办事处组织创作，科来安徽办事处具有其版权，任何其他组织或个人不得在没有科来安徽办授权的情况下传播该文档。4．安徽办事处具有对该报告文档的解释权。

目录 1故障描述 (1) 1.1故障环境 (1) 1.2故障现象 (1) 2故障分析 (1) 2.1确认故障点 (1) 2.2部署科来网络分析系统 (2) 2.3数据包分析 (2) 2.4分析结论 (6) 3总结 (6)

1故障描述 1.1故障环境 xxxx的互联网的结构比较简单，通过核心和防火墙直接相连，中间没有任何的网络监控、管理设备，示意图如下所示： xxxx的防火墙走的是路由模式，内部员工上网通过防火墙进行地址转化，转换成公网地址。 1.2故障现象打开网页速度比较慢，但是下载的速度很快，而且利用web页面上传邮件附件也很慢，几兆的附件经常上传不上去。同时利用WEB页面登陆防火墙的速度也很慢。 2故障分析 2.1确认故障点通过上面的介绍，我们可以发现在上网慢时只经过了核心交换机和防火墙，所以可疑的故障点有以下几个位置：

2.2部署科来网络分析系统为了找到故障的具体位置，我们找一台慢的主机装上科来网络分析系统，然后在核心交换和防火墙之间部署上科来网络分析系统，通过端口镜像来捕获通信的数据包： 2.3数据包分析 1、分析防火墙有无丢包、延时。同样的，我们做故障还原测试，并利用防火墙自带的抓包功能来抓取网络通信的数据包，同时在客户端进行抓包。通过测试得到如下的数据包：

信息论与编码自学报告09266

《信息论与编码》课程自学报告题目：《信息论与编码》自学报告学号：姓名：任课教师：黄素娟联系方式：二零17年 1月 10日

第一部分阐述“第四章信息率失真函数”主要内容 1、基本概念失真函数与平均失真度平均失真度在离散情况下，信源X ＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y ＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为： 1 1 ()(,)()(/)(,) r s i j i i j XY i j D p ab d a b p a p b a d a b === =∑∑∑ 凡满足保真度准则---平均失真度D D0的试验信通称D 失真许可的试验信道。失真函数假如某一信源X ，输出样值为xi ，xi {a1,…an}，经过有失真的信源编码器，输出Y ，样值为yj ，yj {b1,…bm}。如果xi ＝yj ，则认为没有失真；如果xi yj ，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi ，yj)，以衡量用yj 代替xi 所引

起的失真程度。一般失真函数定义为最常用的失真函数前三种失真函数适用于连续信源，后一种适用于离散信源。信息率失真函数的定义互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即单位：bit/信源符号对于离散无记忆信源，R(D)函数可写成

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（） 2. 线性码一定包含全零码。（） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。（） 9. 信道容量是信道中能够传输的最小信息量。（×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit