现代通信与香农三大定理
奈奎斯特定理和香农公式
奈奎斯特定理和香农公式奈奎斯特定理和香农公式是通信工程中两个重要的理论工具。
它们在设计和优化通信系统时具有指导意义，并在实际应用中发挥着重要的作用。
奈奎斯特定理，也称为奈奎斯特采样定理，是由法国电信工程师奈奎斯特提出的。
这个定理告诉我们：在采样过程中，为了能够准确重建原始信号，采样频率要大于等于被采样信号最高频率的两倍。
简单来说，就是要按照一定的频率对信号进行采样，才能够完整地还原出信号的信息。
如果采样频率小于两倍的信号最高频率，就会出现信号失真和信息丢失的问题。
香农公式是由美国电信工程师香农提出的一种计算信道容量的数学公式。
该公式告诉我们，对于给定的信道带宽和信噪比，我们可以计算出信道的最大传输率。
换句话说，香农公式可以帮助我们在给定条件下，确定信道的最高可靠传输速率。
这对于通信系统的设计者来说是非常有价值的，可以帮助他们确定合适的调制方式和编码方案，以提高信道的利用率和数据传输速率。
奈奎斯特定理和香农公式的应用非常广泛。
在数字通信系统中，我们经常需要对模拟信号进行采样和数字化处理。
奈奎斯特定理告诉我们如何选择适当的采样频率，以确保数据传输的准确性和可靠性。
而在无线通信系统中，香农公式可以用来评估信道的传输能力，从而选择合适的传输方式和调制方式，以提高信号的传输速率和信道利用率。
此外，奈奎斯特定理和香农公式还可以帮助我们优化通信系统的性能。
通过合理地选择采样频率和调整信道带宽、信噪比等参数，我们可以在传输质量和传输速率之间找到合适的平衡点。
这对于提高通信系统的效率和性能非常重要，并且在实际工程中具有实际应用意义。
综上所述，奈奎斯特定理和香农公式是通信工程中两个重要的理论工具，它们在通信系统的设计和优化中起着重要的指导作用。
了解并应用这两个理论，可以帮助我们提高通信系统的性能和效率，实现更可靠、更高效的数据传输。
现代通信与香农的三大定理
现代通信与香农的三大定理LT至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。
对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样我们可以用-1伏代表0，用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0，1，2，3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1V 错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1V错成了-0.5伏，它就不代表0，而代表1了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1，那么三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。
我们现在只用其中两个来代表信息：000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。
香农定理到底有什么含义？能通俗地解释一下么？
香农定理到底有什么含义？能通俗地解释一下么？香农定理是信息论的主要内容。
香农定理实际上是多个定理构成，国内似乎比较常用“香农三定理”的提法，而在国外资料很少这么提. 信息论和香农定理信息论研究信息的量化，存储和传播。
最初由克劳德·香农于1948年提出，他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作（如数据压缩）的基本限制。
信息论的基本的应用主题包括无损数据压缩（例如ZIP文件），有损数据压缩（例如MP3和JPEG）和信道编码（例如用于DSL）。
信息论的一个关键量是“熵”。
熵是不确定性的定量描述。
例如，掷骰子的可能性。
信息论中还讨论的其他一些重要的量包括：互信息、信道容量、误差指数和相对熵等等。
上图：克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁。
美国。
专业领域：电子工程学和数学。
香农定理涉及这三个部分：•信道编码——主要涉及噪音下模拟信道的信道容量的定理，即香农-哈特利定理（香农-哈特利定理只描述涉及高斯噪音的模拟信道，但还有二进制信道模式的模式的对应定理这里略述）•信源编码——包含涉及无损编码和有损编码的两个定理；•信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理，下面主要详述这三个定理：有噪音的模拟信道编码定理（国外资料一般称“香农-哈特利定理”）注意：这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说，就是首先表明了如果传输信息的信道存在噪音，但是也可以实现信息的传递，然后可以根据带宽等参数计算出信息传递的最大的有效速率。
这可以通俗地类比我们熟悉的语音通话，虽然在电话里面有很多电流噪音或者环境噪音，但是我们仍然可以听懂对方讲的话。
因为我们用语音和语言对信息进行了双重的编码，“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作，那是因为我们的声音通常有一个带宽，但噪音往往只是某一个频率的声音，不一定能够覆盖我们嗓音的全频段。
福建省考研电子工程复习资料通信原理常考知识点总结
福建省考研电子工程复习资料通信原理常考知识点总结通信原理是电子工程专业考研中非常重要的一门课程，涉及到信号传输、调制解调、编码译码等方面的知识。
在备考过程中，掌握一些常考的知识点是非常有帮助的。
本文将对福建省考研电子工程复习资料通信原理常考知识点进行总结，以供大家参考。
一、信号传输1. 奈奎斯特定理奈奎斯特定理是指在没有噪声的条件下，对于最大带宽为B的信号，采样频率应该大于2B才能进行完美的重构。
2. 香农定理香农定理是指在存在噪声的条件下，对于最大带宽为B的信号，采样频率应该大于2B才能保证传输质量良好。
3. 尼奎斯特定理尼奎斯特定理是奈奎斯特定理和香农定理的结合，适用于有噪声存在的情况。
根据尼奎斯特定理，信号的最大传输速率为2Hlog2M，其中H是信道的带宽，M是信号的电平数。
二、调制解调1. 幅度调制（AM）幅度调制是通过改变载波的幅度来实现信号的传输。
常见的AM调制方式有DSB-SC、SSB、VSB等。
2. 频率调制（FM）频率调制是通过改变载波的频率来实现信号的传输。
常见的FM调制方式有窄带调频（NBFM）和宽带调频（WBFM）。
3. 相位调制（PM）相位调制是通过改变载波的初始相位来实现信号的传输。
常见的PM调制方式有二进制相移键控（BPSK）和四进制相移键控（QPSK）等。
三、编码译码1. 奇偶校验码奇偶校验码用于检错，通过在数据中增加一位校验位，使得数据中1的个数为奇数或偶数，来判断是否发生了错误。
2. 海明码海明码用于检错和纠错，通过在数据中增加冗余位，可以检测并纠正1位的错误。
3. 码分多址（CDMA）码分多址是一种多址通信技术，通过在发送端采用不同的编码方式，使得不同用户的信号在接收端可以被正确解码。
四、信道容量与误码率1. 香农信道容量香农信道容量是信道所能够承载的最大信息传输速率。
根据公式C=Blog2(1+S/N)，其中B为信道带宽，S/N为信号与噪声的比值。
2. 误码率误码率是指在传输过程中出现错误比特的比率。
香农三大定理简答
香农三大定理简答香农三大定理是指由数学家克劳德·香农提出的三个基本通信定理，分别是香农第一定理、香农第二定理和香农第三定理。
这三个定理是现代通信理论的基石，对于信息论和通信工程有重要的指导意义。
下面将对这三个定理进行详细的阐述。
1. 香农第一定理：香农第一定理是信息论的基石，提出了信息传输的最大速率。
根据香农第一定理，信息的传输速率受到带宽的限制。
具体而言，对于一个给定的通信信道，其最大的传输速率（即信息的最大传输率）是由信道的带宽和信噪比决定的。
信道的带宽是指能够有效传输信号的频率范围，而信噪比则是信号与噪声的比值。
这两个因素共同决定了信道的容量。
香农提出的公式表示了信道的容量：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道的带宽，S表示信号的平均功率，N表示噪声的平均功率。
2. 香农第二定理：香农第二定理是关于信源编码的定理。
根据香农第二定理，对于一个离散的信源，存在一种最优的编码方式，可以将信源的信息压缩到接近于香农熵的水平。
香农熵是对信源的输出进行概率分布描述的一个指标，表示了信源的不确定性。
具体而言，香农熵是信源输出所有可能码字的平均码长。
对于给定的离散信源，香农熵能够提供一个理论上的下限，表示信源的信息量。
通过对信源进行编码，可以有效地减少信源输出的冗余度，从而实现信息的高效传输。
香农第二定理指出，对于一个离散信源，其信源编码的最优平均码长与香农熵之间存在一个非常接近的关系。
3. 香农第三定理：香农第三定理是关于信道编码的定理。
根据香农第三定理，对于一个给定的信道，存在一种最优的编码方式，可以通过使用纠错码来抵消由信道噪声引起的错误。
信道编码的目标是在保持信息传输速率不变的情况下，通过增加冗余信息的方式，提高错误纠正能力。
纠错码可以在数据传输过程中检测和纠正一定数量的错误，从而保证数据的可靠性。
香农第三定理指出，对于一个给定的信道，其信道编码可以将信息传输的错误率减少到任意低的水平。
简述香农定理
简述香农定理
香农定理，也称信源编码定理，是由美国科学家克劳德·香农
于1948年提出的。
该定理主要是基于信息论的原理，用于描
述信息压缩的极限。
根据香农定理，一个离散的信息源可以通过编码的方式实现数据压缩，使得所生成的编码的平均码长接近于信息源的信息熵，即信息源的平均自信息量的下界。
信息熵表示了一个信息源所包含的平均信息量，是信息的不确定性的量化指标。
香农定理除了提供了数据压缩的极限，还有效地揭示了信息传输的容量限制。
根据定理，一个通信信道的容量可以通过信道的带宽和信噪比来衡量，且信道的传输速率可以无限地接近其容量。
在实际应用中，香农定理为数据压缩、通信理论、计算机科学等领域提供了基本原理和指导。
它对于信息的编码和传输的优化起到了重要的作用。
香农定理通俗解释
香农定理通俗解释
香农定理是由信息论的创始人克劳德·香农提出的，它包括三个部分：信息熵定理、信道容量定理和数据压缩定理。
通俗地讲，这三个定理主要研究信息的量化、存储和传播。
1. 信息熵定理：这是用来衡量信息量的一个概念。
香农提出了一个数学公式，可以计算出一个信息源的熵值。
2. 信道容量定理：这是关于信道容量的计算的一个经典定律，可以说是信息论的基础。
在高斯白噪声背景下的连续信道的容量= （b/s）。
其中B为信道带宽（Hz），S为信号功率（W），n0为噪声功率谱密度（W/Hz），N为噪声功率（W）。
这个定理告诉我们，信道容量受三要素B、S、no的限制，提高信噪比S/N可增大信道容量。
3. 数据压缩定理：这个定理与压缩理论有关，主要研究如何通过压缩数据来减少冗余信息，从而实现更高效的数据传输和存储。
香农定理为我们提供了一套完整的理论框架，用于研究和优化信息的传输、存储和处理过程。
奈奎斯特定理、香农定理求传输带宽
奈奎斯特定理、香农定理求传输带宽奈奎斯特定理和香农定理是通信工程中非常重要的定理，用于估计传输带宽和消息传输的极限速率。
它们是数学和工程领域的经典定理，对于理解和设计通信系统至关重要。
首先，我们来介绍奈奎斯特定理。
奈奎斯特定理是由法国电信工程师克劳德·奈奎斯特（Claude Shannon）在20世纪40年代提出的。
该定理给出了在理想条件下，可以在没有噪声干扰的情况下传输最高速率的方法。
根据奈奎斯特定理，一个传输带宽为B的信道，最高可以传输2B个符号（或称为比特）每秒。
这个理论上限被称为奈奎斯特速率。
假设每个符号可以表示k种不同的状态，那么传输速率为2Bk bps（比特每秒）。
此定理对于数字信号和模拟信号都适用。
奈奎斯特定理的原理是基于奈奎斯特采样定理，该定理指出，为了恢复一个信号的完整信息，采样率至少要是信号带宽的两倍。
因此，在传输过程中，如果我们希望完整保留信号的信息，传输带宽必须满足奈奎斯特速率。
然而，在实际应用中，信号传输通常会有噪声干扰。
为了应对噪声，克劳德·香农提出了关于消息传输的极限速率的定理，即香农定理。
香农定理给出了在有噪声条件下，最高可靠传输速率的计算方法。
根据香农定理，传输的最高可靠速率是由信道容量决定的，也称为容量限制。
信道容量C以比特每秒（bps）为单位，表示信道中传输的最大信息速率。
信道容量C可以用公式C = B * log2(1 + S/N)计算，其中B是传输带宽，S是信号功率，N是噪声功率。
该公式描述了在给定信号功率和噪声功率的条件下，信道可以可靠传输的最大信息速率。
通过这个公式，我们可以看到信噪比S/N对最大可靠传输速率的影响。
信噪比越高，信道容量越大，最大可靠传输速率越高。
而在低信噪比下，传输速率将受到限制。
总结起来，奈奎斯特定理和香农定理是通信工程中用于估计传输带宽和消息传输极限速率的两个重要定理。
奈奎斯特定理给出了理想条件下的最高传输速率，而香农定理则考虑了噪声干扰情况下的最大可靠传输速率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
现代通信与香农三大定理姓名：杨伟章学号：201110404234摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科一一信息论的诞生。
从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。
其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。
关键词：信息论基础现代通信系统香农三大定理上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。
但是通信技术已经有了相当的发展。
从十九世纪中叶，电报就已经很普遍了。
电报所用的摩斯码(Morse Code)，就是通信技术的一项杰作。
摩斯码用点和线(不同长度的电脉冲)来代表字母，而用空格来代表字母的边界。
但是每个字母的码不是一样长的。
常用的字母E只有一个点。
而不常用的Z有两划两点。
这样，在传送英语时，平均每个字母的码数就减少了。
事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。
这在一百五十多年前，是相当了不起了。
在二次世界大战时，雷达和无线电在军事上广泛应用。
无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。
各种不同的调制方式也纷纷问世。
于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？传输速率是波特率与每波特所含比特数的乘积。
波特率受频宽的限制，而每波特所含比特数受噪声的限制。
”前一个限制，由那奎斯特(Harry Nyquist) 在1928年漂亮地解决了。
而后一个问题则更复杂。
1928年，哈特利(R. V. L. Hartley)首先提出了信息量的概念，并指出编码(如摩斯码)在提高传送速度中的重要作用。
但是他未能完整定量地解决这个问题。
二战期间，维纳( Norbert Wiener)发展了在接收器上对付噪声的最优方法。
但是传输速率的上限还是没有进展。
在这种情况下，香农(Claude E Shanno"在1948年发表了《通信的一个数学理论》（C. E. Shannon, A Mathematical Theory of Communication ” , TheBellSystem Tech nical Journal, VI. 27, pp. 379-423, 1948 http://cm.bell-/cm/ms/what/sha nnon day/sha nnon 1948.pdf）完整地解决了通讯速度上限的问题。
信息论”（In formation Scie nee）从此诞生。
要建立信息理论，首先要能够度量信息。
信息是由信号传播的。
但是信息与信号有本质的区别。
所以如何度量一个信号源的信息量，就不是简单的问题。
从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西。
而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。
而且，即使信号源发出的符号不是完全可确定的，它的信息量也和确定”的程度有关。
例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。
而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。
从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。
他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。
为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。
由于每个符号值的出现是随机的，这样的序列就有很多可能性。
显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。
我们把每个符号出现次数正好”等于其次数平均值的序列叫做典型序列”，而其他的就叫作非典型序列”。
而数学上可以证明，当N趋于无穷大时，非典型序列”出现的几率趋于零。
也就是说，我们只要注意典型序列”就行了。
而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。
而码字所携带的数据量，就是它的个数以2为底的对数。
所以，这样的分析就得出了序列所含的数据量。
除以序列的长度，就得到每个符号所含的数据量。
而这个结果恰好就等于上面所说的信息量！至此，香农开创性地引入了信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（cha nnel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。
对付噪声的办法是减少每个符号所带的比特数：而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样我们可以用-1伏代表0,用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0, 1, 2, 3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1V错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1V错成了-0.5伏，它就不代表0,而代表1 了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1,那么三个符号组成的序列就有8 个: 000, 001, 010, 011, 100, 101, 110, 111。
我们现在只用其中两个来代表信息：000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010,那我们还是知道发送的是000而不是111。
这个方法的代价与前面的方法一样，就是降低了传送速率（原来可以送三个比特，现在只能送一个比特了）。
这种选取特定序列，而不是使用所有序列的方法称为编码。
以上的例子，是一个极为简单的码，远非最优。
可见，用降低速率来减少错误的方法有很多选项。
那么怎样才能达到速度和准确度之间最好的权衡呢？这看来是一个非常棘手的问题。
然而，香农却得出了一个非常简明的结论：对于一个信道，有这样一个速率（称为信道的容量）：一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；而超过这个速率的话，误差的几率就一定会大于某个下限。
也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值!不仅结论出乎意料地简单，香农的证明也是如此。
他的基本思路是：噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。
也就是说，一个收到的序列可能对应多个发送的序列。
这个对应的个数可以用上面讲到的典型序列”的个数来估计。
因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。
这样才能避免混淆。
所以，我们的传送速率就要降低了。
这个直观解释听起来简化得离谱。
我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严格地证明了这些结论。
关键在于：他考虑序列长度趋向于无穷的情况。
这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的几率趋向于零。
所以说，香农的简化显示他真正抓住了问题的关键。
对于通常遇到的信道，香农定理说：信道容量（即最高传送速率）与频宽成正比，与信噪比的对数（底数为2）成正比。
信噪比是在接收端信号功率与噪声功率的比。
增加发射功率能增加信噪比从而增加容量，但因为是对数关系，不是那么有效。
而增加频宽则是线性地增加容量。
通常，频率较低的频道频宽也小。
如前一讲中提到的调幅（AM）广播，在几百千赫频段，频宽是20千赫。
而调频（FM ）广播是在一百兆赫频段，频宽是200千赫。
这就是调幅广播音质较好的主要原因。
所以现代的数字通信服务不断往高频段扩展（目前已到2兆赫）。
当我们听到某个服务能提供更高速率的时候，并不等于它使用了性能更好的技术。
很可能它只是用了更宽的频道而已。
现有的通信系统的分层结构决定了各子层技术只能保证局部最优的系统性能，跨层优化设计打破了传统通信系统的层次结构，对各子层的关键技术进行联合优化，特别是通信系统的收发联合优化以求达到全局最优的系统性能。
本文分析了通信系统的收发联合优化，并且在此基础之上对运用于其中的香农定理进行了分析研究，然后阐述了香农定理三大定理之间的内在联系，分析了香农定理与通信系统理论构建之间的关系，释放数字时代背景下海量信息控制边界的观点。
香农定理和控制论模型，越过了信息有效传输和信息接收端点的物理通信范畴，散发出了悠长的跨学科话语魅力。
香农在二十世纪四十年代初奠定了通信的数字理论基础。
同时香农三大定律是信息论的基础，虽然没有提出具体的编码实现方法，但是为通信信息的研究指明了方向。
他的“信道容量定理”指出，可以找到这样一种技术，当数据传输速率不大于某个最大传输的速率时，通过它可以以任意小的错误概率传输信号。
同时香农也给出了有噪声信道的最大传输速率与宽带的关系。
1948年，香农发表了他的著名论文《通信的数学理论》，彻底奠定了信息论的理论基础。
正如我们所知道的那样，信息传输的有效性和可靠性一直都是人们讨论的热点。
在1948年以前，科学界一般都认为有效性和可靠性是矛盾的两个方面：提高信息传输率往往会使抗干扰能力减弱；反之，提高抗干扰能力又常常会使信息传输率降低，也就是说要使最小平均错误译码概率达到任意小，信息传输率R也会趋于0（要使Pemin^0,则R—0）。
这是一个很悲观的结论。
如果从博弈的观点来看，信息传输的有效性和可靠性就是博弈的双方，双方的决策都会使信息传输这个“市场”发生不同的情况。
但是，经过深入的研究，香农发现，作为矛盾的双方，是可以达到的辨证的统一的，当然这也是有条件的，在一定条件下，可以使信息的传输既有效又可靠。
香农的三大定理都是针对编码理论而阐述的，在通信系统中，编码理论显得尤其重要，编码很大程度上决定了能否有效、可靠的传递信息。