信息论与编码论文

课题论文

题目：信息论在生活中的应用

课程名称：信息论与编码

学院：理学院

专业：信息与计算科学

年级：2010级

姓名：郭小兵（1007010210）

学生签名

指导教师：彭长根

2013年4月1日

摘要随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。

关键字：信息论信息技术

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误

得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

一、信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

1. 1信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术

将会对数据压缩的未来产生重大影响。

1.2信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。

近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

1.3信息论在数字移动通信系统中的应用

数字移动通信系统主要包含编码和译码两种技术。移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。

TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。

1.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量[2]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

1.5编码技术在调制解调技术中的应用