通信的数学基石——信息论
信息论第一章
码的理论基础，其内容是：如果信息传输速率小于 信道容量，则总可找到一种编码方式使得当编码序 列足够长时传输差错任意小，反之不存在使差错任 意小的编码。可以简述为：
R≤C〈=〉存在译码差错任意小的编码
其中，R为信息传输速率，也称信道编码码率，C
为信道容量。
4．信息率失真理论（数据压缩的理论基础）
有效性
对于离散信源，信源符号平均码长度应尽 量短；
信息传输应尽量快，即高的传信率； 信息传送应该有高的频谱利用率 。 可靠性 传输差错要尽量少 ，对数字传输就是要求 低的误码率。 安全性
传输的信息不能泄露给未授权人。
三项指标所对应的三项基本技术： 数据压缩 数据纠错 数据加密
香农信息论解决了前两项技术的理论问题：
无失真信源编码定理，也称香农第一定理，是信
源压缩编码的理论基础，其内容是:如果信源编码码 率（编码后传送信源符号所需比特数）不小于信源 的熵，就存在无失真编码，反之，不存在无失真编 码。可以简述为：
R≥H〈=〉存在无失真信源编码
其中，R为信源编码码率，H为信源的熵。
（举例说明）
3. 关于信道容量与信息的可靠传输
码的码率≥ R（D）时，码的平均失真≤D；反之，如
果信源编码的码率 < R（D），就不存在平均失真≤D 的编码。可以简述为：
R≥R（D）〈=〉存在平均失真≤D的信源编码
其中，R为信源编码码率，R（D）称为信息
率失真函数，是满足失真准则（平均失真≤D）
下，每信源符号所需最小编码比特数。（举例说明）
这两篇论文中，香农阐明了通信的基本 问题，给出了通信系统的模型，提出了信息 的数学表达式，并解决了信道容量、信源统 计特性、信源编码、信道编码等一系列问题。
信息论在通信系统中的应用
信息论在通信系统中的应用信息论在通信系统中的应用信息论是由克劳德·香农于1948年提出的一种研究信息传输和编码的数学理论。
它通过量化信息的度量和传输的规律，使得通信系统的设计和优化变得更加科学和有效。
本文将探讨信息论在通信系统中的应用，并分析其在提高通信质量和提升系统性能方面的重要作用。
一、信息论的基本概念在深入研究信息论在通信系统中的应用之前，我们首先需要了解一些信息论的基本概念。
信息论以信息传输的速率、信息内容的度量和通信信道的容量为核心内容，其中包括以下几个重要概念：1. 信息熵信息熵是信息论中最基本的概念之一，它用于描述一个随机变量的平均不确定性。
在通信系统中，信息的熵越大，表示该信息源越不确定，需要更多的信息位来表示。
而信息的熵越小，表示该信息源越确定，所需的信息位越少。
2. 信道容量信道容量是指在特定的信道条件下，传输的最大信息速率。
信道容量取决于信道的带宽和信噪比等因素。
在通信系统的设计中，了解信道容量可以帮助我们选择合适的调制方式和编码方案，以提高信息传输的有效性和可靠性。
3. 香农定理香农定理是信息论的核心定理，它规定了在特定的信噪比条件下，信息传输的最大速率。
根据香农定理，我们可以计算出在给定信道条件下，可以达到的最高传输速率，并且相应的调制和编码方法可以接近这个极限。
二、信息论在通信系统中的应用1. 調制和解調制技術调制是将数字信号转换为模拟信号的过程，而解调是将模拟信号转换回数字信号的过程。
信息论的研究可以帮助我们选择合适的调制和解调技术，以在保证传输质量的前提下，尽可能提高信息传输速率。
常用的调制技术包括频移键控（FSK）、相移键控（PSK）和正交振幅调制（QAM）等。
2. 编码和解码技术编码是将数字信息转换为特定模式或信号的过程，解码是将特定模式或信号转换回数字信息的过程。
信息论的研究可以帮助我们选择合适的编码和解码技术，以提高信息传输的可靠性和抗干扰能力。
信息论在无线通信中的应用
信息论在无线通信中的应用信息论是研究信息传递和处理的理论框架，它在无线通信中起着重要的作用。
本文将探讨信息论在无线通信中的应用，并分析其对无线通信技术的影响。
一、信息论基础信息论是由克劳德·香农于1948年提出的，它以熵、信道容量等概念为基础，用数学的方法描述信息的度量和传输。
熵是度量信息不确定性的概念，而信道容量则是衡量信道传输能力的指标。
信息论提供了一种信息编码和传输的理论基础，为无线通信技术的发展奠定了基础。
二、信道编码在无线通信中，信道编码是保证信号可靠传输的关键技术。
信息论中的编码理论提供了多种优化编码方案，如海明码、卷积码和Turbo 码等。
这些编码方案通过在数据中引入冗余信息，可以提高信号的可靠性和容错性，从而提高无线通信系统的性能。
三、信道分集信道分集是一种提高无线通信系统抗干扰能力的技术。
根据信息论中的信道容量理论，多个独立的传输路径可以增加信道容量，从而提高系统的可靠性。
因此，在无线通信中引入多天线技术，如MIMO系统，可以实现信道分集，提高系统的抗干扰能力和传输速率。
四、功率分配信息论中的功率分配理论可以帮助无线通信系统合理分配功率，以达到最佳系统性能。
根据信道状态信息和信道容量，可以通过动态功率分配算法来优化系统的容量和能效。
功率分配可以使得无线通信系统在有限的功率条件下，实现更好的传输性能。
五、调制与解调调制和解调是无线通信中的重要环节，信息论提供了调制和解调技术的理论基础。
根据信道容量和信噪比等参数，可以选择合适的调制方式和解调算法，以最大程度地提高信号的传输效率和解码性能。
通过信息论的分析，可以对调制解调技术进行优化和改进。
六、功率控制功率控制是无线通信系统中的基本问题之一，也是信息论的研究领域之一。
通过动态功率控制算法，可以根据信道状态和信道容量等信息，实现传输功率的优化控制。
功率控制可以提高系统的能效，减少干扰，提高系统的容量和覆盖范围。
总结：信息论在无线通信中的应用广泛且重要。
信息论概述
信息论概述信息论是一门研究信息的传输、存储和处理的学科。
它的发展与信息通信技术的快速发展密切相关，是现代通信领域的重要理论基础之一。
信息论的基本概念是“信息”的概念。
信息可以简单地理解为对不确定性的减少所带来的内容。
在信息论中，信息的单位是“比特”，它表示一个二元选择的结果。
比特可以是0或1，也可以表示其他两个互斥的选项。
信息的量化是信息论的重要内容之一。
信息的量化可以通过信息熵来衡量，信息熵是信息的不确定性的度量，表示一个随机变量的平均信息量。
信息熵越大，表示信息的不确定性越高，反之越小。
信息熵的计算可以通过概率分布来实现，概率分布表示了不同事件发生的概率。
信息熵与信息的传输有着密切的关系。
信息的传输是通过信道来实现的，信道是信息传输的媒介。
信道的质量可以通过信道容量来衡量，信道容量表示在给定的信道条件下，所能传输的最大信息量。
信道容量取决于信道的带宽、噪声等因素，可以通过香农公式来计算。
除了信息熵和信道容量，纠错编码也是信息论中的重要内容。
纠错编码是为了提高信息的可靠性而引入的技术。
在信息传输过程中，由于信道噪声等干扰因素的存在，信息可能会发生错误。
纠错编码通过在发送端添加冗余信息，使接收端能够检测和纠正错误，从而提高信息的可靠性。
在信息论中，还有一些其他的重要概念和技术，如信息压缩、信源编码、解码等。
信息压缩是将信息表示为较短的编码，以减少存储空间或传输带宽的技术。
信源编码是将信息编码成比特流的技术，解码是将比特流还原成原始信息的技术。
信息论的应用广泛，不仅在通信领域有着重要的作用，也在其他领域有着广泛的应用。
例如，在数据压缩、图像处理、语音识别等领域，都可以利用信息论的理论和方法来进行研究和应用。
信息论的发展也推动了信息通信技术的快速发展，为人类社会的进步和发展做出了重要贡献。
信息论是一门研究信息的传输、存储和处理的学科，它的基本概念包括信息、信息熵和信道容量。
信息论的应用广泛，不仅在通信领域有着重要的作用，也在其他领域有着广泛的应用。
香农三大定理简答
香农三大定理简答香农三大定理是指由数学家克劳德·香农提出的三个基本通信定理，分别是香农第一定理、香农第二定理和香农第三定理。
这三个定理是现代通信理论的基石，对于信息论和通信工程有重要的指导意义。
下面将对这三个定理进行详细的阐述。
1. 香农第一定理：香农第一定理是信息论的基石，提出了信息传输的最大速率。
根据香农第一定理，信息的传输速率受到带宽的限制。
具体而言，对于一个给定的通信信道，其最大的传输速率（即信息的最大传输率）是由信道的带宽和信噪比决定的。
信道的带宽是指能够有效传输信号的频率范围，而信噪比则是信号与噪声的比值。
这两个因素共同决定了信道的容量。
香农提出的公式表示了信道的容量：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道的带宽，S表示信号的平均功率，N表示噪声的平均功率。
2. 香农第二定理：香农第二定理是关于信源编码的定理。
根据香农第二定理，对于一个离散的信源，存在一种最优的编码方式，可以将信源的信息压缩到接近于香农熵的水平。
香农熵是对信源的输出进行概率分布描述的一个指标，表示了信源的不确定性。
具体而言，香农熵是信源输出所有可能码字的平均码长。
对于给定的离散信源，香农熵能够提供一个理论上的下限，表示信源的信息量。
通过对信源进行编码，可以有效地减少信源输出的冗余度，从而实现信息的高效传输。
香农第二定理指出，对于一个离散信源，其信源编码的最优平均码长与香农熵之间存在一个非常接近的关系。
3. 香农第三定理：香农第三定理是关于信道编码的定理。
根据香农第三定理，对于一个给定的信道，存在一种最优的编码方式，可以通过使用纠错码来抵消由信道噪声引起的错误。
信道编码的目标是在保持信息传输速率不变的情况下，通过增加冗余信息的方式，提高错误纠正能力。
纠错码可以在数据传输过程中检测和纠正一定数量的错误，从而保证数据的可靠性。
香农第三定理指出，对于一个给定的信道，其信道编码可以将信息传输的错误率减少到任意低的水平。
信息论在通信领域中的重要性与应用
信息论在通信领域中的重要性与应用信息论作为一门计算机科学的分支，对于通信领域的研究和应用起到了至关重要的作用。
信息论的基本原理和概念为信号的传输和处理提供了理论基础，可以帮助人们更好地理解和解决通信中的各种问题。
本文将介绍信息论在通信领域中的重要性及其应用。
首先，信息论对通信领域的重要性体现在以下几个方面。
首先，信息论提供了衡量和度量信息的方法。
通过信息论，我们可以准确地衡量信息的量，即信息量，以及信息的传输质量，即信道容量。
这使得我们能够对信号的传输进行精确的分析和评估，以确保信息的准确传输和高效利用。
其次，信息论提供了编码和解码的方法。
编码就是将原始信息转化为能够在信道中传输的编码序列，而解码则是将接收到的编码序列恢复为原始信息。
信息论中的编码理论和解码理论为我们提供了一系列优秀的编码和解码算法，如香农编码、汉明码和LDPC码等，这些编码方法可以有效地提高信号的传输效率和可靠性。
此外，信息论在通信领域中还有广泛的应用，包括数据压缩、信道编码、多媒体通信等。
在数据压缩方面，信息论可以通过对数据进行压缩，减少数据的冗余和冗长，从而实现数据的有效存储和传输。
例如，利用信息论中的霍夫曼编码算法可以将原始数据进行无损压缩，从而大大节省存储和传输的空间。
在信道编码方面，信息论提供了很多优秀的编码方法来提高信道传输的可靠性和抗干扰能力。
例如，通过LDPC码可以降低信道误码率，提高数据传输的可靠性。
而通过迪拜皮尔兹定理，我们可以得知最大化信噪比的编码方案，从而提高通信系统的性能。
在多媒体通信方面，信息论能够提供对音频、视频和图像等多媒体数据的处理和传输方法。
例如，基于信息论的视频编码标准，如MPEG-1、MPEG-2和H.264等，能够实现高效的视频压缩和传输。
这些标准通过有效地利用空间和时间的冗余信息，实现了高质量的图像和视频传输。
此外，信息论还在网络通信、无线通信、卫星通信和量子通信等领域得到了广泛应用。
信息论在通信原理中的应用
信息论在通信原理中的应用1. 引言信息论是由克劳德·香农于1948年提出的一门数学理论，它研究信息的传输、存储和处理等问题。
信息论的方法和概念在通信原理中得到了广泛应用。
本文将介绍信息论在通信原理中的应用，并从信息的测量、编码和传输等方面进行阐述。
2. 信息的测量信息的测量是信息论研究的一个重要问题，它涉及到如何量化信息的内容和不确定性。
信息论中使用的一个重要概念是信息熵。
信息熵可以用来衡量一个随机变量中所包含的信息量，或者衡量一个信源中的不确定性。
在通信原理中，我们经常需要评估信道的容量，即它所能传输的最大信息量。
信息熵可以作为评估信道容量的一个重要指标。
通过计算信道中的信息熵，我们可以了解信道的性能和其所能承载的信息量。
3. 信息的编码信息的编码是将信息转换为一系列二进制编码的过程。
在通信原理中，信息的编码非常重要，它能够提高信息传输的可靠性和效率。
信息论中提出了很多编码技术，如香农编码、赫夫曼编码等。
这些编码技术可以将信息以最高的效率转换为二进制码，并且可以进行纠错以保证信息在传输过程中不受损坏。
在通信原理中，我们常常使用误码率来评估编码的效果。
误码率可以用来衡量信息在传输过程中由于噪声和干扰等原因引起的错误。
4. 信息的传输信息的传输是指将编码后的信息发送到接收方的过程。
在通信原理中，信息的传输涉及到信道的选择、调制和解调等问题。
信道的选择是指在通信系统中选择合适的信道以进行信息传输。
不同的信道具有不同的传输性能和容量，根据需要我们可以选择合适的信道以满足通信要求。
调制是将数字信号转换为模拟信号的过程，解调则是将模拟信号转换为数字信号的过程。
在通信原理中，我们采用不同的调制技术来适应不同的信道和传输需求。
5. 结论信息论作为一门重要的数学理论，为通信原理的研究和应用提供了理论基础和方法。
它的核心概念和技术在通信领域中得到了广泛应用，从信息的测量到信息的编码和传输，都离不开信息论的思想和技术。
信息论
信息论大作业1、信息论的历史和发展。
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。
信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。
信息论是在长期的通信工程实践和理论研究的基础上发展起来的。
通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。
电的通信系统，即电信系统，已有100多年的历史了。
在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。
这是因为通信系统对人类社会的发展，其关系实在是太密切了。
日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。
随着工程技术的发展，有关理论问题的研究也逐步深入。
1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。
1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。
根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。
但是，一直到20世纪30年代末，理论工作的一个主要弱点是把信息看成一个确定性的过程，这与许多实际情况不相符。
20世纪40年代初，由于军事上的需要，维纳在研究防空火炮的控制问题时，提出了“平稳时间序列的外推，内插与平滑及其工程应用”的论文，他把随机过程和数理统计的观点引入通信和控制系统中来，揭示了信息传输和处理过程的本质。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通信的数学基石——信息论引言1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。
文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。
如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。
针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。
《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。
全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。
什么是信息论什么是信息论？信息论就是回答：1）信息是如何被度量？2）如何有效地被传输？3）如果接收到的信息不正确，如何保证信息的可靠性？4）需要多少内存，可实现信息的存储。
所有问题的回答聚集在一起，形成的理论，称为信息论。
总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。
香农熵是香农信息论中信息度量的基础，它与事件发生的概率相联系，以“不确定性”作为它度量的基础。
在此基础上，可引进联合熵、条件熵、互信息、信道容量、率失真函数等概念，它们可看作是信息度量的其它形式。
值得注意的是：香农熵虽然是以概率分布构成的不确定性为度量基础，但是随着信息科学的不断发展，香农熵的理解也被日益加深和扩大，新的信息度量与新的学科分支不断出现，出现了如量子信息论中的冯诺依曼熵等新型熵概念的延伸。
信息论的产生和发展与通信、计算机技术的产生、发展密切相关，信息论的发展大体可以分为早期酝酿、理论建立与发展、理论应用与近代发展等几个阶段。
在人类文明的早期，就已经知道可利用信息或信息传递等手段来达到某种目的。
例如，古代的烽火台就是用烽、火来传递外敌入侵的信息。
但是，大量信息的运用还是在有线、无线电通信产生以后。
20世纪初，信息论进入了早期酝酿阶段。
为了提高通信的质量与效率，人们开始从物理和数学两个方面考虑。
在物理上，主要研究和改进了通信的物理手段和条件，如不同通信方式(有线、无线)的采用、发射与接收设备的改造、波段的选择与信噪比的提高等。
在物理技术改进的同时，人们也发现数学理论与工具的使用也变得十分重要，因为通信中的许多问题如果没有数学的描述就无法精准说明。
期间信息论的一些基本问题开始形成。
如早期编码问题：莫尔斯(Morse)码和波多（Bodo）码把文字通过点、划、空等信号表示，这些码虽然原始，但他们实现了从文字到通信信号的重大转变；再如通信的有效性和可靠性问题：随着通信距离的加大，如何克服噪声干扰就成为通信技术中迫切需要解决的问题；控制论的奠基人维纳(N.Wiener)和美国统计学家费希尔(E.Fisher)与香农同时提出信息度量的一种方式，即信息熵的定义；再如纠错与检测码的产生问题：人们发现由点、划、空等组合成的一定结构的信号具有更强的抗干扰能力。
自1948年香农理论产生以后，信息论得到迅速发展，通常把1948年到20世纪60年代称为信息论的确立期，其主要特点是对香农理论的研究和说明，包括对通信系统的数学模型与基本问题的说明和对信息量、香农熵的来源、意义与作用的讨论，对通信基本问题的讨论，对信源、信道编码问题的模型、本质问题与意义的讨论，以及信源、信道编码的编码实现与应用问题等。
这一阶段完成的主要标志是对以上问题实现了严格的数学描述与论证。
同时，一系列专著的完成也标志着香农信息论的确立，如B.McMillan、A.Feinstein(1954)、Robert G.Gallager(1968)和J.Wolfowitz(1978)等人的重要论著，这些著作基本上完成了对香农理论的阐释，在理论上解答了通信中所提出的问题。
随后是香农信息论的发展期。
由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大。
1959年，香农发表了《保真度准则下的离散信源编码定理》，首次提出了率失真函数及率失真信源编码定理。
另一方面，多用户信息论的最早思路也是由香农于1961年在《双路通信信道》中提出，由此开拓了多用户信息论的研究。
在此基础上，Cover提出了广播信道，P.Bergmans，R.G.Gallager等人分别研究了广播信道的容量区域问题，指出只有降价广播信道的容量区域可以求解；同时Gamal于1979年找到了降价中继信道的容量区域。
各种不同类型的多用户信源、多用户信道模型被提出，许多相关的编码定理也得到证明。
最后，信息论近期发展的主要特征是向多学科结合方向发展，其重要的发展方向有：信息论与密码学、算法信息论与分形数学、信息论在统计与智能计算中的应用等等。
信息论的产生是以1948年香农奠基性论文《通信的数学理论》为起点，至今已有70多年的历史。
在这70多年中，电子、通信与计算机技术、产业与市场经历了空前的、大规模的发展，信息技术的产品进入千家万户，成为工作、学习与生活中不可缺少的组成部分。
可以毫不夸张地说，信息论在这场空前的技术革命的许多问题中起到了理论基础、思想先导与技术关键性的作用。
现代的快速通信、多媒体与网络技术、大数据处理无不受益于信息论与编码理论，以及它们的相关学科的发展，这些发展又推动了信息技术的革命，也丰富了信息论的内容。
通信系统模型香农信息论研究的问题主要来自于通信系统。
图1是目前较常见、较完整的（不含加密）的通信系统模型。
图1-1 通信系统模型由图1可知，通信过程可归结为：首先将信源发出的消息（又称为原始信息）由编码变换为信号，并进入信道成为信道的输入信号(简称输入信号或入口信号)。
输入信号经信道的传输，到达通信的另一端，形成输出信号(或出口信号)。
输出信号经译码处理把输出信号变为消息，这种消息是原始消息的还原，所以又称为还原消息。
还原消息最终由接受者接受，实现通信过程。
那么信息是如何有效地被传输的？信息论认为是通过信源编码方法。
下面我们以一无失真信源编码为例说明信息是如何有效地被传输的？即信息压缩过程。
假设信源有4个符号A，B，C和D，它们的分布概率分别是1/2,1/4,1/8和1/8。
对于这样的信源，若要进行信息传输，最简单的方法是将每个信源符号用两个'0’、'1’信道符号表示，即A用00，B用01，C用10，D用11，那么，每个信源符号在传输时用了2比特信息表示；由于信源分布不均匀，可以实施信息的压缩，即信源编码，如哈夫曼编码。
通过编码，可将A编码为0，将B编码为 10，将C编码为110，且将D编码为111。
计算平均每个信源符号用的信道符号数可表示为由此可见，通过信源编码，每个信源符号现仅需要7/4比特的信息表示，而不是原来2个比特，所以信息被压缩了。
更为重要的是，信息论通过信源编码理论，如无失真信源编码理论和限失真编码理论，给出了信息能被压缩的最大极限。
我们再看一下信道编码，它的目的是保证信息传输的可靠性。
我们知道，由于信道中存在着噪声，当信息传输时会产生差错。
例如对于二进制对称信道（交叉概率为e），由于噪声的干扰，当发送'0’时接收的符号可能是'0’（概率为1-e），也可能是'1’(概率为e)；同样，当发送'1’时，接收到的符号可能是'0’（概率为e），也可能是'1’（概率为1-e）。
由此可见，信息在有噪声的信道中传输时会产生差错，即正解接收概率只有1-e，错误概率为e。
那么，通信系统如何保证信息的可靠呢？信息论告诉我们可以通过信道编码。
现我们通过最简单的重复编码方法来说明如何通过信道编码提高系统的可靠性。
针对重复编码，可将'0’编码成'000’，将'1’编码成'111’。
这样，在接收端，根据概率译码准则，人们获得正确的恢复消息的概率将被提高。
例如，当发送信息为'0’，通过信道编码，被编码成'000’，且'000’将在信道中传输。
当'000’在信道中传输时，接收端可能接收到'000’（没有差错），可能接收到'100’，'010’和'001’（出现一个差错），也可能接收到'110’，'011’和'101’（出现两个差错）和'111’（出现三个差错）。
对于'100’，'010’和'001’，由于出现一个差错的概率大于出现两个差错、出现三个差错的概率，我们认为它从000差错过来的可能性要大于从111差错过来的可能性。
因此若我们接收到的是'000’，'100’，'010’，'001’，我们将它们译码为000，于是，我们恢复出发送的信息为'0’。
这样，正解译码的概率为1-3e2-e3。
由于e远小于1，如e＝0.01，则经过信道编码后的正确概率将为0.999699，而没有信道编码的正确传输率为0.99，由此可见通过信道编码，获得正确信息的概率被提高，信道编码成为在有噪声干扰的信道中信息传输可靠性的保证。
信息论是研究在含噪信道中，信息传输的有效性、可靠性和安全性问题。
表现为三大编码定理，即无失真信源编码定理，又称为第一极限定理；信道编码定理，又称为第二极限定理；限失真信源编定理，又称为第三极限定理。
因此，香农信息论又常称为狭义信息论。
信息论的应用及成果自从香农信息论和相关编码理论产生以来，随着电子、通信与计算机的发展，信息论的研究成果得到了广泛应用，最后我们看看经过70多年的发展，信息论获得到哪些应用和成果。
1编码技术在快速通信领域中的应用20世纪70、80年代的编码理论在快速通信技术中得到大量的应用。
当时的通信技术正在从低速向高速发展，通信手段正向微波、卫星等方向发展。
因此误差干扰问题就突现出来。