信息论与编码论文(香农信息论对现代的影响)
信息论与编码技术论文
信息论与编码技术论文2009年06月02日星期二 06:21信息论与编码技术论文多媒体信息是未来人类获取信息最主要的载体，因此它已成为目前世界上技术开发和研究的热点。
视频信息作为多媒体信息中最被关注、数据量最大的一员，现在也正面临着一场其意义不亚于从模拟到数字的技术进步革新：从传统的矩形DCT变换编码到根据视频内容、划分对象、分别变换编码的新的编码方法。
一、传统的编码方式传统的视频编码是以视频信号的数字量为编码对象的，与视频信息的内容无关，无论是M-JPEG、MPEG-1还是MPEG-2，都是以DCT矩形变换块为变换编码单元，对DCT块内图像的亮度和色度进行特征取样，提取像素；采用帧间编码、运动估测技术，在参考帧帧内DCT编码的基础上，对DCT块内图像的像素特征进行差值预测编码。
基于矩形DCT编码的视频编码在设计思想上只考虑到对信号数据进行处理的需要（比如小的比特率以利于传输、高的比特率以保证质量），但未考虑视频信息--图像内容本身的含义和重要性，以及视频信息应用者的主观需求（比如部分内容的提取功能）。
另外，这种基?quot;块"的压缩算法在低码率时容易产生"方块效应"和"抽帧"，大大缩小了视频信息的应用领域。
小波变换是一种新的变换编码方法，它与DCT变换相比，考虑到了视频信号对不同应用环境的自适应性（不同的清晰度与比特率），可以将基础图像层与增强图像层分离编码传输，用户可根据实际情况选择是否打开增强图像层。
但无论用户选择是或否，被传送的视频信息却都是一样的。
二、基于内容对象的编码1、 VO与VOP概念的引入传统的视频编码方式是将整个视频信号作为一个内容单体来处理，其本身不可再分割，而这与人类对视觉信息的判别法则，也就是大脑对视神经导入的视觉信号的处理方法是完全不同的。
这就决定了我们不可能将一个视频信息完整的从视频信号中提取出来，比如：将加有台标和字幕的视频恢复成无台标、字幕的视频。
计算机科学中的信息论与编码
计算机科学中的信息论与编码信息论与编码是计算机科学中的重要理论，它们对于信息的传输、存储和处理起着至关重要的作用。
信息论主要研究信息的度量和传输的可靠性，而编码则是将信息以有效的方式表示和传递的技术手段。
本文将介绍信息论和编码在计算机科学中的应用，并探讨其对现代计算机技术的影响。
一、信息论的基本概念信息论是由香农在1948年提出的一门学科。
它通过熵和信息量的概念，量化了信息的度量和传输的质量。
熵是信息理论中的关键概念，用来表示一个随机变量的不确定性和信息量的平均值。
计算机系统中的信息可用二进制表示，因此信息的度量单位是比特（bit）。
二、信息论的应用1. 数据压缩信息论的一个重要应用是数据压缩。
利用信息论的原理，可以设计出高效的压缩算法，将大量的数据压缩成较小的文件。
常见的数据压缩算法有哈夫曼编码、LZ编码等。
这些算法通过统计字符或者字符组合出现的频率，将频率高的字符用较短的编码表示，从而实现数据的有损或无损压缩。
2. 信道编码信道编码是信息论的另一个重要应用领域。
在数据传输过程中，由于信道噪声等原因，数据容易出现误码。
为了提高传输的可靠性，可以使用信道编码技术。
常见的信道编码方案有纠错码和调制码，它们可以通过增加冗余信息或者改变信号的特性，提高传输系统的容错能力。
三、编码的基本原理编码是将信息转换成特定的符号或者编码字，以便能够有效地表示和传输。
在计算机科学中，常见的编码方式有ASCII码、Unicode和UTF-8等。
ASCII码是一种最早的字符编码方式，它将每个字符映射为一个7位的二进制数。
Unicode是一种全球通用的字符编码标准，它使用16位或32位的二进制数表示字符。
UTF-8则是Unicode的一种变体，它采用可变长度的编码方式，可以表示任意字符。
四、编码的应用1. 信息存储编码在信息存储中起着关键作用。
计算机系统中的文件和数据都需要以某种方式进行编码才能存储和读取。
不同的数据类型使用不同的编码方式，例如图片可以使用JPEG、PNG等图像编码格式，音频可以使用MP3、AAC等音频编码格式。
信息论与编码课程论文
《信息论与编码》课程论文——通过信息论对已有知识产生的新认识马赛1143031014《信息论与编码》课程是通信专业的一门基础课。
其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。
通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。
近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。
有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。
在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。
通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。
下文中，列举了两个问题，同时使用信息论的角度去进行解释。
一、计算机的存储容量与信息量的联系当今的计算机已经十分普及。
存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。
现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。
在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？这是计算机科学的基本知识：“8 bit = 1 byte”。
bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。
我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。
信息的一种解释是：对于不确定性的消除。
信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。
而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。
信息论与编码原理
信息论与编码原理
信息论和编码原理是信息科学中重要的两个概念，它们对当今信息技术的发展有重要的影响。
信息论是探讨数据的数学理论，它主要研究在信息传输过程中，如何在有限的带宽和空间内有效地传输数据，从而获取最大的信息量。
它将信息压缩、加密、传输、解密等等放到一个数学模型中描述，以此提高信息的传输效率。
编码原理则是指在信息传输过程中，编码决定了有效传输的信息量。
编码是按照其中一种特定的规则将原信息转换成另一种形式的过程。
编码不仅能够减少上行数据量，还能增强安全性，防止数据在传输过程中的泄露，从而使信息可以被安全和精确地传输。
信息论和编码原理有着千丝万缕的关系，它们是相互依存的。
信息论提供了一个理论框架，以及不同的编码方法，来确定最适合特定情况下的信息传输效果。
然而，编码原理则可以提供不同编码方法，以根据信息论的模型，合理有效地进行信息传输。
因此，信息论和编码原理是相辅相成的。
当今，信息论和编码原理已成为当今信息技术发展的基础。
信息论与编码之香农信息论的局限性
香农信息论的局限性分析制作者：xxx 指导老师：xxx【内容摘要】：从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件熵的计算公式问题并且进行了纠正，并且举例证明了条件熵可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。
说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。
在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。
【关键词】：信息论；条件熵；定义；可靠性引言香农（又译仙农，Shannon）信息论对信息技术的发展具有深远的影响。
但是信息论的应用一直现有通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。
关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。
国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义，语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。
笔者则指出，目前信息的定义都没有考虑信息的可靠性这一因素，则导致了信息论无法应用在众多的信息技术领域，比如人工智能，信息融合等领域。
1 信息定义的局限关于信息的定义据笔者搜索超过60种，香农的信息定义是比较流行的一个，他定义如下：信息是用以消除随机不确定性的东西。
还有许多学者对这个定义有所修改，但是这些定义都是考虑到消除的随机不确定性，并没有考虑到信息的可靠性。
还有一类定义，比如信息是被反映的物质的属性，信息是结构的表达等，都明显蕴含一个意思，信息是可靠的，是对物质、事物或者结构的一种正确的反映或者表达。
在所有的信息定义中，都没有发现它们对于可靠性以及类似的属性的考虑。
然而，信息之所以能够被利用，信息之所以被重视，它的可靠性是前提。
一旦信息足够的不可靠，信息的价值完全丧失，而且可能起反作用。
香农对信息的定义，对信息的度量，以及它的信息论，基本上都是考虑的是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。
信息论与编码技术在通信系统中的应用研究
信息论与编码技术在通信系统中的应用研究近年来，随着信息技术的飞速发展，通信系统在我们的日常生活中起着重要的作用。
信息论与编码技术作为通信系统中的核心理论和技术之一，为提高通信系统的性能和可靠性起到了关键作用。
本文将对信息论与编码技术在通信系统中的应用进行研究和探讨。
首先，我们需要了解信息论的基本概念和原理。
信息论是由克劳德·香农于20世纪40年代提出的，用于研究信息在传输过程中的编码、传输、解码等问题。
香农提出了信息熵的概念，即衡量信息中包含的不确定性的度量。
信息越不确定，则熵越大。
通过熵的计算，我们可以评估通信系统的传输效率和容量。
在通信系统中的应用中，编码技术起到了至关重要的作用。
编码技术通过将信息数据转化为具有特定结构的码字，实现了对信息的压缩和传输。
编码技术分为源编码和信道编码两大类。
在源编码中，通过选择合适的编码算法和数据压缩方法来减少信息的冗余度，从而有效降低传输数据量。
常见的源编码技术包括哈夫曼编码、算术编码、字典编码等。
信道编码则是为了增强通信系统对信道噪声和失真的容忍度，提高信号传输的可靠性和容量。
常见的信道编码技术有奇偶校验码、海明码、卷积码等。
信息论和编码技术在无线通信系统中的应用尤为重要。
无线通信系统受到多径衰减、多径干扰、信噪比下降等因素的影响，导致信号传输质量下降。
通过信息论和编码技术的应用，可以有效地抵抗这些干扰，提高通信系统的性能和可靠性。
例如，对于多径衰减问题，可以使用信道编码技术来解决。
通过合适的编码算法和解码算法，可以对受损的信号进行纠错，恢复原始信息。
另外，在无线通信系统中，频谱资源是宝贵的，如何更好地利用频谱资源也是一个重要的问题。
通过源编码技术的应用，我们可以将信息数据进行压缩，减少传输数据的量，从而优化频谱资源的利用。
此外，信息论和编码技术还可以应用于安全通信领域。
随着信息技术的不断发展，通信数据的安全性问题日益突出。
为保护通信数据的机密性，我们可以采用加密技术。
《信息论与编码》论文
《信息论与编码》期末论文姓名文慧班级一班学号***********成绩二○一五年一月信息论与编码的应用与发展--纠错编码的应用与发展人类社会在经历了机械化、电气化之后进入了一个崭新的信息化时代。
信息论自诞生至今不到80年的时间，在人类科学史上是短暂的，但它的发展对学术界与人类社会的影响是相当广泛的。
信息论是通信技术与概率论、随机过程、数理统计相结合逐步发展而形成的一门新兴科学。
其研究的目的是发现信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
有效性、可靠性、保密性和认证性构成了现代通信系统对信息传输的全面要求。
其研究内容为香农理论，编码理论，维纳理论，检测和估计理论，信号设计和处理理论，调制理论，随机噪声理论和密码学理论等。
首先简单介绍一下信息论的起源、历史与发展。
1924年，Nyquist提出信息传输理论；1928年，Hartly提出信息量关系；1932年，Morse发明电报编码；1946年，柯切尼柯夫提出信号检测理论；1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
现在人们常说的信息论与编码主要包括四大定理，第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G 或LTE中广泛用到的MIMO（多输入多输出，或多天线）技术，其理论本质是David Tse提出的该容量与天线数成线性递增的关系；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题。
这里具体介绍一下信道编码。
信息论与编码论文
《信息论与编码论文》学院：信息科学与工程学院班级：电子0902班学号：20092712姓名：张延相信息论发展简史与信息科学信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。
1.信息论形成的背景与基础信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
人们公认的信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。
近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。
随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。
电的通信系统(电信系统)已有100多年的历史了。
在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。
这是因为通信系统对人类社会的发展，其关系实在是太密切了。
日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。
例如，当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。
1876年，贝尔(A．G．BELL)又发明了电话系统。
1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。
接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
香农信息论对现代社会的影响摘要：1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。
论文由香农和威沃共同署名。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
关键词：香农、通信、编码Abstract: In 1948, Shannon Bell System Technical Journal published "A Mathematical Theory of Communication". Paper co-signed by the Hong farmers. This ground-breaking paper is based on Shannon's observation of the communication that "the fundamental problem of communication is the message of regeneration, at some point with another point to report the selected text should be reproduced exactly or approximately." This paper established the discipline of information theory, given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. Since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. It has become commonplace today, but was very fresh. He established the theoretical framework and terminology of information technology has become the standard. His theory in communications engineer in immediate success, and stimulate the need for the information age of today's technology.Keywords:Shannon、Communications、Coding信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。
但是通信技术已经有了相当的发展。
从十九世纪中叶，电报就已经很普遍了。
电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。
摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。
但是每个字母的码不是一样长的。
常用的字母E只有一个点。
而不常用的Z有两划两点。
这样，在传送英语时，平均每个字母的码数就减少了。
事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。
这在一百五十多年前，是相当了不起了。
除了用点，划来表示两个状态外，后来的电报也用极性相反的电流来代表这两个状态，从而使“点”和“划”都能用短的脉冲来表达，加快了传送速度。
爱迪生更发明了用四个不同的电流值来同时传输两路电报。
这和今天用的数字调幅（ASK）很像，只是没有载波而已。
另一方面，电话在二十世纪初也迅速发展。
电话公司通过在不同载波上的调制，可以用一路电线传输多路电话。
在二次世界大战时，雷达和无线电在军事上广泛应用。
无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。
各种不同的调制方式也纷纷问世。
于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？在这种情况下，香农（Claude E Shannon）在1948年发表了《通信的一个数学理论》，完整地解决了通讯速度上限的问题。
“信息论”（Information Science）从此诞生。
要建立信息理论，首先要能够度量信息。
信息是由信号传播的。
但是信息与信号有本质的区别。
所以如何度量一个信号源的信息量，就不是简单的问题。
从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西，而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。
而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。
例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。
而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。
从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。
他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。
为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。
由于每个符号值的出现是随机的，这样的序列就有很多可能性。
显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。
我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。
而数学上可以证明，当N趋于无穷大时，“非典型序列”出现的几率趋于零。
也就是说，我们只要注意“典型序列”就行了。
而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。
而码字所携带的数据量，就是它的个数以2为底的对数。
所以，这样的分析就得出了序列所含的数据量。
除以序列的长度，就得到每个符号所含的数据量。
而这个结果恰好就等于上面所说的信息量！至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送，对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样我们可以用-1伏代表0，用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0，1，2，3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1V错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1V错成了-0.5伏，它就不代表0，而代表1了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1，那么三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。
我们现在只用其中两个来代表信息：000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。
这个方法的代价与前面的方法一样，就是降低了传送速率。
这种选取特定序列，而不是使用所有序列的方法称为编码。
以上的例子，是一个极为简单的码，远非最优。
可见，用降低速率来减少错误的方法有很多选项。
那么怎样才能达到速度和准确度之间最好的权衡呢？这看来是一个非常棘手的问题。
然而，香农却得出了一个非常简明的结论：对于一个信道，有这样一个速率（称为信道的容量）：一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；而超过这个速率的话，误差的几率就一定会大于某个下限。
也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！不仅结论出乎意料地简单，香农的证明也是如此。
他的基本思路是：噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。
也就是说，一个收到的序列可能对应多个发送的序列。
这个对应的个数可以用上面讲到的“典型序列”的个数来估计。
因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。
这样才能避免混淆。
所以，我们的传送速率就要降低了。
这个直观解释听起来简化得离谱。
我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严格地证明了这些结论。
关键在于：他考虑序列长度趋向于无穷的情况。