香农信息论的基本理论探究
香农与信息论
香农与信息论1948年，美国数学家香农发表了一篇著名的论文“通信的数学理论”，建立了比较完整的、系统的信息理论，即信息论。
这门科学大大促进了通信技术和信息技术的发展。
因此，香农的贡献是很大的。
首先，他提出了信息的形式化。
香农认为，在通信中，要排除信息的语义，只考虑信息的形式因素。
在通信中，如果接收端能够把发送端发出的信息从形式上复制出来，那么也就复制了信息的语义内容。
例如，有三个句子：“信息是人类社会三大资源之一。
”“(a＋b)2=a2＋2ab＋b2。
”“Z!12#5$7**XYZ”。
第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。
这三个句子有明显差别，但它们都是信息。
在通信时，一旦把它们转变为电信号，那么这种差别就没有了，都是电信号。
当接收端将电信号转换成原来形式时，语义就恢复了。
所以，信息形式化后，就有可能用数学进行描述。
第二，他提出了如图所示的通信系统模型。
信源给出要传输的信息；编码器把信息转变为信号，使之能在信道中传输；解码器把信号变回信息传给信息的接受方，即信宿。
通信系统模型目前的通信系统都基本采用了这个模型。
例如，利用电话线上网时，计算机既是信源(发送信息时)又是信宿(经受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。
这个模型的不足之处是，没有考虑信宿对信源的反馈作用。
不管信息接收者对收到的信息是否正确理解，信息接收者都会做出反应。
譬如打电话，一个人讲话时，另一个人总要答理，否则讲话人会以为电话线路断了。
第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来测度信息量。
他认为，信息量的大小可以用被消除的不确定性的多少来表示。
例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。
这是不确定的，概率都是二分之一。
因为朝上和朝下可以分别用1和0来表示，所以这个事件的信息量是一个比特。
不难推算，如果一个事件能够分解为n个二中择一的问题，那么它的信息量是n个比特。
第2章香农理论
第2章香农理论第2章香农理论1949年，克劳德·香农（Claude Shannon ）在《Bell Systems Technical journal 》上发表了一篇题为“Communication Theory of Secrecy System ”（保密系统的通讯理论）的论文，这篇论文对密码学的研究产生了重大影响。
本章我们将讨论部分香农的思想。
2.1 完善保密性首先介绍两种评价密码系统安全性的基本方法。
计算安全性这种度量只关心攻破一个密码系统在计算上所做的努力。
如果用最好的算法攻破一个密码系统也至少需要N 次操作，其中N 是一个非常大的特定数字，我们就可以称这个密码系统是计算安全的。
问题在于，在这个定义下，没有一个已知的密码系统能够被证明是安全的。
在实际应用中，如果攻击一种密码系统的已知最好的方法也需要非常长的计算机时间，人们就称该密码系统是“计算安全的”(当然，这与安全性的证明有很大区别)。
另一种方法是将密码系统的安全性归结为一些研究较为成熟的被认为是不难解的问题，以此提供计算安全性的证据。
比如，人们可以证明这样一个论断：如果给定的整数n 不能被分解，则一个给定的密码系统就是安全的。
这种类型的密码系统有时被称为“可证明安全的”，但必须理解，它只是证明了安全性是和另一个问题相关，并没有完全证明是安全的。
无条件安全性这种度量考虑的是对攻击者Oscar 的计算量没有任何限制时的安全性。
即使提供了无穷的计算资源也无法攻破的密码体制被称为是无条件安全的。
当我们讨论一个密码系统的安全性时，应该指定正在考虑的攻击类型。
在第1章，我们可以看出，一旦给定足够数量的密文，移位密码、代换密码和维吉尼亚密码对惟密文攻击都不是计算上安全的。
本节我们将研究一个对惟密文攻击是无条件安全的密码体制的相关理论。
可以证明，如果用给定的密钥仅仅加密明文中的一个元素，那么上述三种密码体制都是无条件安全的。
很显然，一个密码系统的无条件安全性不能以计算复杂性的观点来研究，因为我们允许计算时间是无限的。
信息论与编码在通信系统中的应用研究
信息论与编码在通信系统中的应用研究在现代社会中，通信系统已经成为人们生活中不可或缺的一部分。
信息论与编码作为通信系统中的重要理论和技术，对于提高通信系统的可靠性和效率起着至关重要的作用。
本文将从信息论的基本原理、编码技术的发展以及在通信系统中的应用等方面进行探讨。
一、信息论的基本原理信息论是由克劳德·香农于1948年提出的一门研究信息传输和处理的数学理论。
它的核心思想是通过量化信息的度量来研究信息的传输和处理过程。
信息论中的基本概念包括信息熵、信道容量等。
信息熵是信息论中的一个重要概念，它用来衡量信息的不确定性。
在通信系统中，信息熵可以用来衡量信源的平均信息量。
当信源的概率分布越均匀，信息熵越大，反之亦然。
通过对信源进行编码，可以将信息熵降低，从而提高信息传输的效率。
信道容量是信息论中的另一个重要概念，它用来衡量信道传输信息的最大速率。
信道容量取决于信道的带宽和信噪比等因素。
通过对信源进行编码和调制，可以将信息传输速率接近信道容量，从而实现高效的信息传输。
二、编码技术的发展编码技术是信息论的重要应用之一，它通过对信息进行编码和解码来提高信息传输的可靠性和效率。
编码技术的发展经历了多个阶段，从最早的香农编码到现在的纠错码和压缩编码等。
香农编码是信息论中最早的编码技术，它通过对离散信源进行编码，将信息的冗余度降低，从而提高信息传输的效率。
随着技术的发展，纠错码和压缩编码等新的编码技术相继出现。
纠错码是一种能够在数据传输过程中检测和纠正错误的编码技术。
它通过在数据中添加冗余信息，可以检测和纠正由于信道噪声等原因引起的错误。
纠错码的应用可以有效提高通信系统的可靠性。
压缩编码是一种能够将信息进行压缩存储的编码技术。
它通过利用信息中的统计特性和冗余度，将信息的存储空间降低，从而提高存储效率。
压缩编码在图像、音频和视频等领域有着广泛的应用。
三、信息论与编码在通信系统中的应用信息论与编码在通信系统中有着广泛的应用。
香农定理和奈奎斯特定理
香农定理和奈奎斯特定理引言信息理论是一门研究信息传输和处理的学科，它为我们理解和优化通信系统提供了基础。
在信息理论中，香农定理和奈奎斯特定理是两个非常重要的定理，它们分别揭示了信道容量的上限和采样定理。
本文将深入探讨这两个定理的原理和应用。
香农定理定义香农定理，也称为信息论的基石，由克劳德·香农于1948年提出。
它给出了在存在噪声的通信信道中传输信息的极限。
香农定理表明，在给定噪声水平的情况下，通过增加传输速率和使用更复杂的编码方案，可以无限接近信道的容量。
信息熵信息熵是香农定理的核心概念之一。
它衡量了信息的不确定性和随机性。
对于一个离散随机变量X，其信息熵H(X)定义为：H(X) = -Σ P(x)log2P(x)其中，P(x)是X取值为x的概率。
信道容量信道容量是指在给定的信道条件下，能够传输的最大信息速率。
根据香农定理，信道容量C可以通过下式计算：C = B log2(1 + S/N)其中，B是信道带宽，S是信号的信噪比，N是噪声的功率谱密度。
应用香农定理对通信系统的设计和优化具有重要意义。
通过理解信道容量的上限，我们可以选择合适的调制方案、编码方案和信道编码率，以最大限度地提高通信系统的性能。
奈奎斯特定理定义奈奎斯特定理，也称为奈奎斯特-香农采样定理，由哈里·奈奎斯特于1928年提出。
它给出了采样定理的一个重要结果，即信号在采样时需要满足一定的采样定理，以便在恢复过程中不产生信息丢失。
采样定理奈奎斯特定理指出，对于一个带宽为B的信号，为了完全恢复原始信号，需要以不低于2B的采样率进行采样。
也就是说，采样频率应该是信号带宽的两倍以上。
奈奎斯特频率奈奎斯特频率是指信号带宽的一半，也是信号采样频率的上限。
如果采样频率低于奈奎斯特频率，会导致采样失真，无法准确恢复原始信号。
应用奈奎斯特定理在信号处理和通信系统中具有广泛的应用。
在数字音频和视频领域，采样定理被广泛应用于音频和视频信号的数字化和压缩。
香农信息论的主要内容
香农信息论的主要内容香农信息论是由美国科学家克劳德·香农在20世纪40年代提出的一种关于信息传输和处理的数学理论。
它的主要内容包括信息的度量、信源编码、信道编码和错误控制编码等方面。
香农信息论提出了信息的度量方法。
香农认为，信息的度量应该与信息的不确定性有关。
他引入了信息熵的概念，将信息的度量与信源的概率分布联系起来。
信息熵越大，表示信息的不确定性越高，需要传输的信息量也就越大。
这一概念为后续的编码和传输提供了理论基础。
接下来，香农信息论提出了信源编码的理论。
信源编码是将信息源输出的符号序列进行编码，以便更高效地传输和存储。
香农证明了存在一种无损编码方法，使得平均码长接近信息熵。
这种编码方法被称为香农-费诺编码，为数据压缩和存储提供了理论基础。
然后，香农信息论研究了信道编码的问题。
信道编码是在信道中传输信息时引入冗余来纠正误码的一种方法。
香农提出了信道容量的概念，表示在给定信噪比条件下，信道最大可承载的信息速率。
他证明了存在一种编码方法，使得在无限长的码长下，信息传输速率接近信道容量。
这一结果被称为香农定理，对于提高信道传输的可靠性和效率具有重要意义。
香农信息论还涉及了误差控制编码的研究。
误差控制编码是在信息传输过程中引入冗余以纠正和检测错误的一种方法。
香农提出了循环冗余校验码和海明码等编码方法，有效地提高了信息传输的可靠性。
总结来说，香农信息论的主要内容包括信息的度量、信源编码、信道编码和误差控制编码等方面。
这些理论为信息的传输、存储和处理提供了重要的数学基础，对于信息技术的发展和应用具有深远影响。
香农信息论的研究成果不仅在通信领域得到广泛应用，还在计算机科学、数据压缩、密码学等领域有着重要的应用价值。
香农三大定理简答
香农三大定理简答简介在信息论领域，香农三大定理是指由克劳德·香农提出的三个基本定理，分别是信源编码定理、信道编码定理和信道容量定理。
这些定理为我们理解和优化信息传输提供了重要的理论基础。
本文将对香农三大定理进行全面、详细、完整和深入地探讨。
信源编码定理信源编码定理是香农在1948年提出的，它主要研究的是如何对离散无记忆信源进行编码，以最小化所需的平均编码长度。
以下是信源编码定理的关键要点：1.信源熵：信源编码定理首先定义了信源的熵，即信源产生的信息的平均不确定性。
信源熵越大，表示信源产生的信息越随机，编码难度也越大。
2.霍夫曼编码：信源编码定理证明了对于离散无记忆信源，存在一种最优编码方式，即霍夫曼编码。
霍夫曼编码根据信源符号的概率分布，为每个符号分配一个唯一的二进制编码，使得平均编码长度最小。
3.码长上界：信源编码定理还给出了信源编码的码长上界，即对于任何离散无记忆信源，平均编码长度不会超过信源熵加一。
信道编码定理信道编码定理是香农在1949年提出的，它主要研究的是如何对离散无记忆信道进行编码，以提高信息传输的可靠性。
以下是信道编码定理的关键要点：1.信道容量：信道编码定理首先定义了信道的容量，即信道传输的最大信息率。
信道容量取决于信道的特性，如噪声水平和带宽等。
2.误差控制编码：信道编码定理证明了通过引入冗余信息，即误差控制编码，可以在有限的信道容量内实现可靠的信息传输。
常见的误差控制编码方法包括海明码和卷积码等。
3.编码效率：信道编码定理还引入了编码效率的概念，即传输的有效信息比特数与总比特数之比。
编码效率越高，表示在给定的信道容量下，能够传输更多的有效信息。
信道容量定理信道容量定理是香农在1948年提出的，它主要研究的是在给定噪声条件下，信道的最大传输信息率。
以下是信道容量定理的关键要点：1.噪声和信噪比：信道容量定理考虑了信道中存在的噪声，噪声会引入误码率，从而限制了信息的传输率。
香农三大定理简答
香农三大定理简答香农三大定理是指由数学家克劳德·香农提出的三个基本通信定理，分别是香农第一定理、香农第二定理和香农第三定理。
这三个定理是现代通信理论的基石，对于信息论和通信工程有重要的指导意义。
下面将对这三个定理进行详细的阐述。
1. 香农第一定理：香农第一定理是信息论的基石，提出了信息传输的最大速率。
根据香农第一定理，信息的传输速率受到带宽的限制。
具体而言，对于一个给定的通信信道，其最大的传输速率（即信息的最大传输率）是由信道的带宽和信噪比决定的。
信道的带宽是指能够有效传输信号的频率范围，而信噪比则是信号与噪声的比值。
这两个因素共同决定了信道的容量。
香农提出的公式表示了信道的容量：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道的带宽，S表示信号的平均功率，N表示噪声的平均功率。
2. 香农第二定理：香农第二定理是关于信源编码的定理。
根据香农第二定理，对于一个离散的信源，存在一种最优的编码方式，可以将信源的信息压缩到接近于香农熵的水平。
香农熵是对信源的输出进行概率分布描述的一个指标，表示了信源的不确定性。
具体而言，香农熵是信源输出所有可能码字的平均码长。
对于给定的离散信源，香农熵能够提供一个理论上的下限，表示信源的信息量。
通过对信源进行编码，可以有效地减少信源输出的冗余度，从而实现信息的高效传输。
香农第二定理指出，对于一个离散信源，其信源编码的最优平均码长与香农熵之间存在一个非常接近的关系。
3. 香农第三定理：香农第三定理是关于信道编码的定理。
根据香农第三定理，对于一个给定的信道，存在一种最优的编码方式，可以通过使用纠错码来抵消由信道噪声引起的错误。
信道编码的目标是在保持信息传输速率不变的情况下，通过增加冗余信息的方式，提高错误纠正能力。
纠错码可以在数据传输过程中检测和纠正一定数量的错误，从而保证数据的可靠性。
香农第三定理指出，对于一个给定的信道，其信道编码可以将信息传输的错误率减少到任意低的水平。
香浓定理解密之旅——信息论
香浓定理解密之旅——信息论香农定理是以其奠基人克劳德·香农命名的一条定理，也是信息论的中心。
它揭示了数字通信中信息传输的极限，即信道容量。
本文的目的是通过对香农定理的讲解，让大家更好地了解信息论。
一、信息量的度量首先，我们需要了解在信息论中信息量的度量方式——信息熵。
信息熵是对一组可能性的不确定性程度的度量，它表示在一个系统中信息的平均量。
例如，考虑一枚硬币正面朝上和反面朝上的等概率事件，那么它的信息熵就是1比特。
另一个例子是一组4个可能性的抛硬币事件，那么它的信息熵就是2比特。
通常，我们将信息熵用H表示，单位是比特（bit）。
二、确定信道的容量下面，我们来探讨确定信道的容量。
确定信道是指，在信道中信息没有噪声干扰的情况下，信道的信息传输速率是无限的。
在这样的情况下，信源的信息熵必须小于或等于信道的容量。
在信源的信息熵等于信道容量的情况下，数据传输速率的极限被称为香农极限。
香农极限是一种理论上最快的数据传输速度的极限，它可以用以下公式计算:C = B log(1+S/N)其中C是信道容量，B是信道的宽带，S和N分别是信道内和信道外的信号功率。
这个公式告诉我们，当信号功率的信噪比（SNR）变大时，信道容量也随之增大。
三、非确定信道的容量实际上，在现实生活中，信息传输经常受到噪声的干扰。
在这种情况下，信道容量的计算就更为复杂了。
非确定信道的容量可以用香农公式的扩展版本来计算。
该公式包括两个元素：一是附加的关于信噪比的修正因子，称为香农-哈特利定理，用于计算噪声对数据传输速率的影响；二是关于信道编码的信息，即纠错码和流程控制等技术的应用，能够在一定程度上减轻噪声的影响，提高数据传输速度。
四、应用香农定理被广泛应用于无线通信领域，例如手机通信、无线电子邮件、卫星通信和移动应用等。
通过运用香农定理的基本原理，科学家们不断推陈出新，发明更为先进的通讯技术，开发出更高效、更稳定、更便捷、更安全的通讯设备和网络，使得信息交流更为便捷和快捷，有效地推动了社会进步和经济发展。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这个消息发生的概率也不是
1
。
必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，
我们可以用平均自信息量来度量，
即对每个事件各自所携带的信息量做一个加权平均。
即可
以得到信源的平均自信息量。
信息熵的定义如下：
)
(
log
)
(
)
(
1
log
)
(
1
1
i
q
i
i
第二项是信道矩阵分布行矢量的熵
函数。比方说，前面提到的，二元对称信道的信道容量就是
1
(
)(
/
)
C
H
p
比
特
符
号
除了前面论述到得单符号离散信道之外，
还有独立并联信道和串联信道。
一般的独立并
联信道如下：
图
1
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号
i
X
相互独
立，且输入符号
i
X
的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容
的消息。
消息必须要转换成能在信道中传输或存储的信号，
然后通过信道传送到收信者。
并
且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，
可以分为两端信道，
多端信道。
根据信道输入端和输出端的关联，
可以分为无反馈信道，
反馈信道。
根据信道的参数与时间
的关系信道可以分为固定参数信道，
时变参数信道。
根据输入和输出信号的统计特性可以分
上凸性，
可负性，
变换性，
极值性。
在不同的情况下，
连续信源中的差熵具有极大值，
有下面两种情况下连续信道存在最大的差
熵：
（
1
）
峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在
,
a
b
区域
内，则当输出信号的概率密度是均匀分布时，这个时候信源具有最大熵，为
log(
)
b
a
。
（
2
）
平均功率受限条件下信源的最大熵。若一个连续信源输出的平均功率被限定
知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，
(
;
)
(
)
(
|
)
I
X
Y
H
X
H
X
Y
3
平均互信息是表示了收到输出
Y
的前，
后关于
X
的不确定性的消除量，
就是在接到了输
出符号之后，
对输入端输入什么符号得到了更多的信息。
平均互信息量具有一些基本的特征：
第一点，
非负性。
我们通过一个信道获得的平均信息量不会是负值。
也就是说，
观察一个信
道的输出，
从平均的角度来看总能消除一些不确定性，
量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，
比如微波中继竭力通信就是一种串联信道，
还有，
在信道输出端对接受到的信号或数据进行适当的处理，
这种处理称为数据处理。
数据处理系
统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中
X
、
Y
、
Z
有如下关系：
信道
1
信道
2
…
…
信道
N
4
为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，
首先要看一下单符号离散信道的数学模型，
在这种
信道中，输出变量和输入变量的传递概率关系：
(
|
)
(
|
)
(
|
)(
1,
2,
,
;
1,
2,
,
)
j
i
j
i
P
y
x
P
y
b
x
a
P
b
a
i
r
j
s
传递概率所表达的意思是，在信道当输入符号为
a
，信道的输出端收到
对于串接信道
X
、
Y
、
Z
有
(
;
)
(
;
)
I
XY
Z
I
Y
Z
当且仅当
P(z|xy)=P(z|y)
时，等式成立。
串联信道的信道容量与串接的信道数有关，
串接的无源数据处理信道越多，
其信道容量
可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
三．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、
取值有限或可数的随机序列，
后来，
我们学习到信道容量的一般计算方法。
其中最重要的是对称离散信道的信道容量
的计算。
信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，
这就
是对称离散信道。计算对称离散信道的信道容量公式是：
'
'
'
1
2
log
(
,
,
,
)(
/
)
s
C
s
H
p
p
p
比
特
符
号
其中，
等号右边的第一项是输出符号的最大信息熵，
a
P
a
P
a
P
E
x
H
平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。
对于某特定的信源，
它的信息熵是一个确定的数值。
不同的信源因为其概率分布不同，
它的
熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。
这里面有一个最大离散熵定理，表明
:
离散信源情况下，对于具有
接收到一定的信息。
除非信道输入和
输出是统计独立时，
才接收不到任何信息。
因为在这样的统计独立信道中，
传输的信息全部
损失在信道中，
以致没有任何信息传输到终端，
但也不会失去已经知道了的信息。
第二，
平
均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息
量，
最多只有另一事件的信息熵那么多，
对于不同的连续信道和波形信道，
它们存
在的噪声形式不同，
信道带宽及对信号的各种限制不同，
所以具有不同的信道容量。
我们先
来讨论单符号高斯加性信道的信道容量，
单符号高斯加性信道是指信道的输入和输出都是取
值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
1
log(1
)
2
s
n
P
C
我们可以将它等价为
N
个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的
i
n
P
的高斯
5
噪声，
单输入信号的总体平均功率受限，
此时我们可以使用拉格朗日乘子法莱确定平均功率
的分配。
当
N
个独立并联的组合高斯加性信道，
各分信道的噪声平均功率不相等时，
为了达
到最大的信息传输率，
要对输入信号的总能量适当地进行分配。
如果该信道分得的平均功率
小于次信道的噪声功率，
那么就不能分配能量，
使之不传送任何信息；
如果信道分得的平均
功率要大于信道的噪声功率，就在这些信道上分配能量，使
i
i
s
n
P
P
，这样得到的信道
容量为最大。
我们总是希望在噪声大的信道少传送或甚至不传送信息，
而在噪声小的信道多
传送些信息。
【论文小结】
：
香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看
b
的概率。
我们知道，
信道输入信源
X
的熵是表明接收端收到符号之前信源的平均不确定性，
可以
称为先验熵。
如果信道中无干扰噪声，
信道输出符号与输出符号一一对应，
那么，
接受到传
送过来的符号就消除了对发送符号的先验不确定性。
但是我们实际的生活中一般信道中有干
扰存在，
接收到输出后对发送的是什么符号仍有不确定性。
表示在输出端收到输出变量
P
其中，
i
n
P
是输入信号
X
的平均功率，
n
P
是高斯噪声的平均功率。只有当信道的输入信
号是均值为零，平均功率为
s
P
高斯分布的随机变量时。信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，
对于
多维的情况，
因为输入的是平稳随机序列，
输出的也是平稳随机序列，
离散随机信源是一类最基本的信源，
信源输出是单个的符
号的消息，
并且消息之间是两两互不相容的。
假设有个一维离散无记忆信源，
它的概率分布
函数决定了他所携带的信息。该信源空间中共有
q
个符号，每个符号发生的概率是
Pi,
那么
发出某个符号所携带的信息量是
-logPi
,
由于概率是在
0
和
1
之间的，
使得每一事件的信息
量是非负的。如果该事件发生的概率是