信息论与编码论文
信息论与编码技术论文
信息论与编码技术论文2009年06月02日星期二 06:21信息论与编码技术论文多媒体信息是未来人类获取信息最主要的载体，因此它已成为目前世界上技术开发和研究的热点。
视频信息作为多媒体信息中最被关注、数据量最大的一员，现在也正面临着一场其意义不亚于从模拟到数字的技术进步革新：从传统的矩形DCT变换编码到根据视频内容、划分对象、分别变换编码的新的编码方法。
一、传统的编码方式传统的视频编码是以视频信号的数字量为编码对象的，与视频信息的内容无关，无论是M-JPEG、MPEG-1还是MPEG-2，都是以DCT矩形变换块为变换编码单元，对DCT块内图像的亮度和色度进行特征取样，提取像素；采用帧间编码、运动估测技术，在参考帧帧内DCT编码的基础上，对DCT块内图像的像素特征进行差值预测编码。
基于矩形DCT编码的视频编码在设计思想上只考虑到对信号数据进行处理的需要（比如小的比特率以利于传输、高的比特率以保证质量），但未考虑视频信息--图像内容本身的含义和重要性，以及视频信息应用者的主观需求（比如部分内容的提取功能）。
另外，这种基?quot;块"的压缩算法在低码率时容易产生"方块效应"和"抽帧"，大大缩小了视频信息的应用领域。
小波变换是一种新的变换编码方法，它与DCT变换相比，考虑到了视频信号对不同应用环境的自适应性（不同的清晰度与比特率），可以将基础图像层与增强图像层分离编码传输，用户可根据实际情况选择是否打开增强图像层。
但无论用户选择是或否，被传送的视频信息却都是一样的。
二、基于内容对象的编码1、 VO与VOP概念的引入传统的视频编码方式是将整个视频信号作为一个内容单体来处理，其本身不可再分割，而这与人类对视觉信息的判别法则，也就是大脑对视神经导入的视觉信号的处理方法是完全不同的。
这就决定了我们不可能将一个视频信息完整的从视频信号中提取出来，比如：将加有台标和字幕的视频恢复成无台标、字幕的视频。
信息论与编码课程论文
《信息论与编码》课程论文——通过信息论对已有知识产生的新认识马赛1143031014《信息论与编码》课程是通信专业的一门基础课。
其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。
通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。
近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。
有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。
在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。
通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。
下文中，列举了两个问题，同时使用信息论的角度去进行解释。
一、计算机的存储容量与信息量的联系当今的计算机已经十分普及。
存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。
现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。
在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？这是计算机科学的基本知识：“8 bit = 1 byte”。
bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。
我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。
信息的一种解释是：对于不确定性的消除。
信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。
而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。
信息论与编码
滨江学院《信息论与编码》课程论文题目阐述信息论院系电子工程系专业班级12通信3 班学生姓名学号教师杨玲成绩二Ｏ一四年十二月二十二日阐述信息论20122334942摘要：本文介绍了信息论的基础探究，通过本文可以让读者更好的去了解信息论的发展历史和应用。
现代社会是一个充满信息的世界，没有信息的世界是混乱的世界。
因而信息十分重要，随着社会信息化进程的加速，人们对信息的依赖程度会越来越高。
所以关于信息的研究——信息论也因运而生。
提到信息论就不得不提一个人——香农，他为信息论的发展做出了巨大的贡献。
信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码和限失真信源编码定理等。
关键词：信息，信源，信源熵，信道容量、信源编码引言现代社会是一个充满信息的世界，没有信息的世界是混乱的世界。
因而信息十分重要，随着社会信息化进程的加速，人们对信息的依赖程度会越来越高。
结合所学知识和查阅相关书籍本文简要介绍了信息论的发展、和主要的几个基础理论，让人们更好的去了解信息论这门课程。
一、信息论的发展过程信息论理论基础的建立，一般来说开始于香农（C.E.Shannon）在研究通信系统时所发表的论文。
随着研究的深入与发展，信息论有了更为宽广的内容。
信息在早些时期的定义是由奈奎斯特（H.Nyquist）和哈特利（L.V.R.Hartley）在20世纪20年代提出来的。
香农被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
后来其他科学家维纳、朗格等科学家又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
信息论与编码论文(香农信息论对现代的影响)
香农信息论对现代社会的影响摘要：1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。
论文由香农和威沃共同署名。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
关键词：香农、通信、编码Abstract: In 1948, Shannon Bell System Technical Journal published "A Mathematical Theory of Communication". Paper co-signed by the Hong farmers. This ground-breaking paper is based on Shannon's observation of the communication that "the fundamental problem of communication is the message of regeneration, at some point with another point to report the selected text should be reproduced exactly or approximately." This paper established the discipline of information theory, given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. Since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. It has become commonplace today, but was very fresh. He established the theoretical framework and terminology of information technology has become the standard. His theory in communications engineer in immediate success, and stimulate the need for the information age of today's technology.Keywords:Shannon、Communications、Coding信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
信息论与编码论文
信息论与编码论文通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。
信息论的内容之一。
信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。
②构造性的编码方法以及这些方法能达到的性能界限。
编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。
编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
不是所有信道的编码定理都已被证明。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。
信道编码技术数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。
所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。
误码的处理技术有纠错、交织、线性内插等。
提高数据传输效率，降低误码率是信道编码的任务。
信道编码的本质是增加通信的可靠性。
但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。
同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。
信息论与编码课程论文
信息论与编码课程论文电子邮件安全与密码学的应用刘畅，200900840179山东大学威海分校机电与信息工程学院，威海 264209摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。
关键词：RSA；PGB；PEM1、概述随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。
作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。
但是也存在一些问题妨碍了它的推广。
其中关键之一就是电子邮件的信息安全。
由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。
但是髓着时代的发展。
尤其是电子商务的速成长。
作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。
人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。
密码技术就是对信息进行重新编码。
从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。
本文就浅述一下密码技术安全电子邮件中的应用。
2、密码学简介2.1、加密的历史作为保障数据安全的一种方式，数据加密起源于公元前2000年。
埃及人是最先使用特别的象形文字作为信息编码的人。
随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。
对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。
最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。
此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。
当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。
随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。
于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。
信息论与编码论文
论最大熵原理及其应用摘要：熵是源于物理学的基本概念，后来Shannon在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。
最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。
本文从信息熵的概念出发，对最大熵原理做了简要介绍，并论述了最大熵原理的合理性，最后提及它在一些领域的应用，通过在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。
关键词：熵；信息熵；最大熵原理；不适定性问题1 引言科学技术的发展使人类跨入了高度发展的信息化时代。
在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。
信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。
1948年C.E.Shannon为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。
信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。
近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。
迄今为止，较为成熟的研究成果有：E.T.Jaynes 在1957年提出的最大熵原理的理论；S.K.Kullback 在1959年首次提出后又为J.S.Shore 等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov 在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov 在1968年阐明并为J.Chaitin 在1987年系统发展了的关于算法信息的理论。
信息论与编码论文
编码技术在单片机通信中的研究与应用摘要：计算机之间数据通讯的校验以奇偶校验或数据块和校验较为常见．在误码率稍显突出时，这种方式的数据通信效率就会降低．本文从实际出发，介绍了一种提高计算机通信效率的编译码方法，并以八位单片机为例，给出了软件实现编译码的设计．该设计对于提高单片机数据通信效率，减少误码率具有很强的实用价值．关键词：单片机；通信；编码；译码；纠错；抗干扰Application of the Coding to Data Communicatingin the MicroprocessorAbstract：There are two familiar methods of checking the accuracy of the data communicated between two computers．0ne is the method of counting the number of 0 or 1in the data．Another is the method of adding all data．When the mistake code rate is slightly outstanding ,the efficiency of the data communication will lower．Proceeding from actual condition，this test introduces a kind of the coding method and gives a design with 8 bit microprocessor .The method can raise the efficiency the data communication and cut down the wrong data．Keywords：microprocessor；communication; encoding；correcting code：anti-interference0 概述在数据通信中，误码率是项重要指标．误码可能发生在各个环节，大量实践证明，传输媒介是产生误码的主要来源．为了提高数据传输可靠性，人们开始广泛采用编码技术，通过编码以一定的规则产生一些附加数字(称为监督数字)，使原来不相关的信息序列变为相关的新列(称为码序或码字)，然后把新的序列发送出去．通过编码的方法使信息具有纠检差错的能力．该通信模型可简要地用图1表示．1 设计思想1．1选择编码形式人们已研究出许多编码方法，如奇偶校验码、汉明码、循环码和卷积码等．这些编码中，有的具有检错能力，有的既能检错、又能纠错．在众多的编码中，汉明码比较直观简单，传输信息数字的频率（即信息率)最高，它既具有检错能力，又具有纠错能力，而且软硬件实现起来也较为简单．本设计采用汉明码中纠1检2错线性码编码，当接收端发现接收的信息出现了一位差错时，在译码的同时也就完成了纠错；当出现两位差错时，能及时检出舍弃⋯．1．2 MCS-51编码方案设计对于Mcs ．5l 系列单片机的串行口来说，若接收和发送双方约定选用方式1工作时，串行口一次能够发送10位数码(1位起始位、8位数据位和l 位停止位)．接收缓冲器里一次只能存放一个字节数据．对于一个8位数码，若再加上一些监督位，则该码就超过8位，Mcs ．5 1单片机一次发送不能完成．若先发送8位信息，后发送监督位，则达不到纠1检2的目的．为此，一个8位信息可分为两组编码，即高4和低4位分别编码发送、分别纠检差错． 2 编码技术具体应用2．2 译码依据原则根据汉明码取最少的监督数字，包含最多的信息原则，来确定监督数字的位数．该原则可用公式：21mm -- 表达，式中m 为监督数字位数．该表达式运算结果即为所包含的最多有效信息．本例中取m=3(位)监督数字，则可包含4位有效信息，这时码长为：4+3=7(位)，根据一致监督矩阵的特点可知，一致监督矩阵的横行数等于监督数字的个数，纵列数等于码的长度．这样把1、2、⋯、7化为二进制数，然后把它们作为矩阵的纵列，组成一个矩阵，再按照一致监督矩阵排列得：在做一致监督矩阵时，要求包含：100r （）、 r r（010）、（001）.这3个纵列是为了保证矩阵中的每一横行线性无关，这样就能保证由这个一致监督矩阵做出的42=16个状态包含所有的信息．为了更加明确编程思路，简要介绍一下纠码原理．设c 为一个码字，根据一致监督方程的关系，则有：们7=0．根据此关系，设接收矢量为R ，则当0T HR =时，认为R 是一个正确的码字；若0T HR ≠时，则R 就不是一个正确的码字，即接收信息有错．假设接收矢量R 只包含一个差错，则利用监督子T T S HR =可确定这个差错的位置，从而可得到纠正．针对本例，设112277(,,,)R C E C E C E =+++ ，其中E 为错型，则T T S HR =展开后得:由式2可见，当接收矢量中只有一个差错时，监督子TS 就等于监督矩阵中的某一纵列，从而能纠正单个差错。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
课题论文题目：信息论在生活中的应用课程名称：信息论与编码学院：理学院专业：信息与计算科学年级：2010级姓名：郭小兵（1007010210）学生签名指导教师：彭长根2013年4月1日摘要随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。
信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。
目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。
关键字：信息论信息技术1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。
论文由香农和威沃共同署名。
前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。
后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。
顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
香农考虑的信息源，产生由有限符号组成的词。
它们通过信道进行传输，每个符号开销有限的信道时间。
这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。
在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。
按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。
通信的数学理论是香农在数学与工程研究上的顶峰。
他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。
香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。
这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。
后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。
他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。
一、信息论与编码的应用信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。
信息是信息论中最基本最重要的概念。
信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。
其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。
1. 1信息论在数据压缩理论中的应用数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。
数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。
数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。
其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。
数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。
1.2信息论在密码学中的应用密码学是研究编制密码和破译密码的技术科学。
从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。
密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。
之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。
近代密码学由于数据加密标准与公钥体制的出现与应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。
1.3信息论在数字移动通信系统中的应用数字移动通信系统主要包含编码和译码两种技术。
移动信道是最复杂的一种信道，为了保证在不利的条件下接受信号的传输质量，就必须采用各种抗衰落技术和数字传输技术，如分集技术、扩频技术、均衡、交织和纠错编码等。
TD-SCDMA采用了3种信道编码方案以提高信息在无线信道上的传输的可靠性，它们分别是卷积编码、Turbo编码和不编码。
1.4信息论在统计中的应用信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。
由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量[2]。
在统计领域里，统计计算技术近年来发展很快，它使许多统计方法，尤其是Bayes统计得到广泛的运用。
信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。
1.5编码技术在调制解调技术中的应用在上个世纪80到90年代，信息编码理论应用的两项重大成果是：调制解调理论及数据压缩理论在多媒体技术领域的应用。
调制解调码的出现从根本上改变了数据通信的状况，使调制解调码通信速度从原来的1200bit/s逐步增加到30000bit/s。
我们可以简单计算得知，调制解调码大大提高了数据传输速度，提高了25倍，从而使现有的网络通信成为实用性的技术。
1.6编码技术在快速通信领域中的应用编码理论在快速通信技术中已得到了大量的应用，通信技术已从低速向高速发展，通信手段正向微波、卫星等方向发展，因此误差干扰问题突现出来，利用纠错码可大大降低通信中的差错率。
在20世纪70到80年代的代数码，如BCH 码、R-S码等为克服误差干扰发挥了重要作用，成为通信工程不可缺少的一个组成部分。
1.7信息论在其他领域中的应用现今时代信息科学飞速发展，信息论已跨越了通信领域，在其他领域也得到了广泛应用。
信息论不仅在计算机、自动控制等方面突现作用，还开始涉及到物理学、化学、生物学、心理学、医学、经济学、人类学、语言学、统计学和管理学等学科。
比如信息论在水资源系统工程中可以利用信息论的方法建立模型推到降水、储水量等分布的问题。
在建筑工程故障诊断中信息论也得到了应用，它用熵的概念对所测量的数据进行处理和误差分析。
另外，信息论也能在作战效能评估中得到应用研究，我们可以从信息的不确定性着手评估其作战效能。
我们不难看出，信息论在很多领域都有所应用。
二、信息论与编码技术的应用前景随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo 思想越来越多地被用于和其他技术的结合上。
例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。
实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。
接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。
编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。
信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。
也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。
随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。
信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。
它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。
很多情况下,信息论可以明确指出: 哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。
三、结束语信息论发展起来以前, 人们对信息系统的理解是比较肤浅的。
而现今，随着信息科学的不断发展，信息论的研究, 已与很多近代学科是密切相关的：如通讯、雷达、声纳、导航、遥测、遥控、遥感、自动控制、计算机、信息处理技术、控制论以及应用数学、物理学、逻辑学、生物学、心理学、语言学、语音学、仿生学等。
本文主要介绍信息论与编码的应用与发展前景，同时简介传统编码方法与现化编码的不同，编码技术在通信技术中的应用及其发展为主。
通过这篇学习心得，可以看出，信息论与编码技术在不断创新发展，使其更能为我们所用，在更多的领域得到应用和发展。
而我们人类在不停地在揭示自然界无穷奥妙的同时，也可以利用这些奥妙造幸于我们。
【参考文献】[1] 曹雪虹，张宗橙．信息论与编码[M]．北京：清华大学出版社．2004．[2] 沈世镒，吴忠华．信息论基础与应用[M]．北京：高等教育出版社．2004．[3] 隋晓红，王艳营．信息论与编码[M]．北京：北京大学出版社. 2010[4] 傅祖芸. 信息论—基础理论与应用[M]．北京：电子工业出版社．2004．[5] 张珊珊. 信息论的应用[J]．大众科技，143（7）：45-46. 2011.[6] 维芬，云娜. 信息论基本问题简述[J]．信息与控制，34（1）：7-9. 1978.[7] 卢侃. 从Shannon信息论到认知信息论[J]．哈尔滨工程大学学报，32（8）：1063-1065. 2011。