信息论基础总结
信息论总结与复习
（3）稳态符号概率： （4）稳态信息熵：
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
p(0|00)=p(1|11)=0.8；p(0|01)=p(1|10)=0.6；
(2)联合熵：
H(XY)= -0.21log0.21 –0.14log0.14 –0.35log0.35 –0.12log0.12 –0.09log0.09–0.09log0.09 =2.3924 bit/符号
第一部分、信息论基础
1.2 信道的信息理论
(3)噪声熵：
由 和
H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5
（4）无噪有损信道：分组多对一（归并），其传输矩阵应具 有多行一列的分块对角化形式。
（5）对称信道：传输矩阵的各行都是一些相同元素的重排， 各列也是一些相同元素的重排。
第一部分、信息论基础
1.2 信道的信息理论
3、信道有关的信息熵：
（1）信源熵 (先验熵)：
（2）噪声熵 (散布度)：
（3）联合熵： （4）接收符号熵：
–0.12log0.4 –0.09log0.3–0.09log0.3
==（0.21+0.12，0.14+0.09，0.35+0.09） = （0.33, 0.23, 0.44）
H(Y)= -0.33log0.33 -0.23log0.23 -0.44log0.44
[例3]求对称信道 解：C =log4-H(0.2,0.3,0.2,0.3) =2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号； 的信道容量。
信息论总结
D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ
信息论基础1~8
信息论基础1~81 绪论与概览2 熵相对熵与互信息2.1 熵H(X)=−∑x∈X p(x)logp(x)H(X)=−∑x∈Xp(x)logp(x)2.2 联合熵H(X,Y)=−∑x∈X∑y∈Y p(x,y)logp(x,y)H(X,Y)=−∑x∈X∑y∈Yp(x,y)logp(x,y)H(Y|X)=∑x∈X p(x)H(Y|X=x)H(Y|X)=∑x∈Xp(x)H(Y|X=x)定理2.2.1(链式法则): H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y|X) 2.3 相对熵与互信息相对熵(relative entropy): D(p||q)=∑x∈X p(x)logp(x)q(x)=Eplogp(x)q(x)D(p||q)=∑x∈Xp(x)lo gp(x)q(x)=Eplogp(x)q(x)互信息(mutual information): I(X;Y)=∑x∈X∑y∈Y p(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))I(X;Y) =∑x∈X∑y∈Yp(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))2.4 熵与互信息的关系I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)2.5 熵,相对熵与互信息的链式法则定理 2.5.1(熵的链式法则): H(X1,X2,...,X n)=∑ni=1H(Xi|X i−1,...,X1)H(X1,X2,...,Xn)=∑i=1nH(Xi| Xi−1, (X1)定理 2.5.2(互信息的链式法则): I(X1,X2,...,X n;Y)=∑ni=1I(Xi;Y|X i−1,...,X1)I(X1,X2,...,Xn;Y)=∑i=1nI(Xi ;Y|Xi−1, (X1)条件相对熵: D(p(y|x)||q(y|x))=∑x p(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp(Y|X)q( Y|X)D(p(y|x)||q(y|x))=∑xp(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp (Y|X)q(Y|X)定理 2.5.3(相对熵的链式法则): D(p(x,y)||q(x,y))=D(p(x)||q(x))+D(p(y|x)||q(y|x))D(p(x,y)||q(x,y))=D( p(x)||q(x))+D(p(y|x)||q(y|x))2.6 Jensen不等式及其结果定理2.6.2(Jensen不等式): 若给定凸函数f和一个随机变量X,则Ef(X)≥f(EX)Ef(X)≥f(EX)定理2.6.3(信息不等式): D(p||q)≥0D(p||q)≥0推论(互信息的非负性): I(X;Y)≥0I(X;Y)≥0定理2.6.4: H(X)≤log|X|H(X)≤log|X|定理2.6.5(条件作用使熵减小): H(X|Y)≤H(X)H(X|Y)≤H(X)从直观上讲,此定理说明知道另一随机变量Y的信息只会降低X的不确定度. 注意这仅对平均意义成立. 具体来说, H(X|Y=y)H(X|Y=y) 可能比H(X)H(X)大或者小,或者两者相等.定理 2.6.6(熵的独立界): H(X1,X2,…,X n)≤∑ni=1H(Xi)H(X1,X2,…,Xn)≤∑i=1nH(Xi)2.7 对数和不等式及其应用定理 2.7.1(对数和不等式): ∑ni=1ailogaibi≥(∑ni=1ai)log∑ni=1ai∑ni=1bi∑i=1nailogaibi≥(∑i =1nai)log∑i=1nai∑i=1nbi定理2.7.2(相对熵的凸性): D(p||q)D(p||q) 关于对(p,q)是凸的定理2.7.3(熵的凹性): H(p)是关于p的凹函数2.8 数据处理不等式2.9 充分统计量这节很有意思,利用统计量代替原有抽样,并且不损失信息.2.10 费诺不等式定理2.10.1(费诺不等式): 对任何满足X→Y→X^,X→Y→X^, 设Pe=Pr{X≠X^},Pe=Pr{X≠X^}, 有H(Pe)+Pe log|X|≥H(X|X^)≥H(X|Y)H(Pe)+Pelog|X|≥H(X|X^)≥H(X|Y)上述不等式可以减弱为1+Pe log|X|≥H(X|Y)1+Pelog|X|≥H(X|Y)或Pe≥H(X|Y)−1log|X|Pe≥H(X|Y)−1log|X|引理 2.10.1: 如果X和X’独立同分布,具有熵H(X),则Pr(X=X′)≥2−H(X)Pr(X=X′)≥2−H(X)3 渐进均分性4 随机过程的熵率4.1 马尔科夫链4.2 熵率4.3 例子:加权图上随机游动的熵率4.4 热力学第二定律4.5 马尔科夫链的函数H(Yn|Y n−1,…,Y1,X1)≤H(Y)≤H(Y n|Y n−1,…,Y1)H(Yn|Yn−1,…,Y1,X1)≤H(Y)≤H(Yn|Yn−1,…,Y1)5 数据压缩5.1 有关编码的几个例子5.2 Kraft不等式定理5.2.1(Kraft不等式): 对于D元字母表上的即时码,码字长度l1,l2,…,l m l1,l2,…,lm必定满足不等式∑iD−li≤1∑iD−li≤15.3 最优码l∗i=−log Dpili∗=−logDpi5.4 最优码长的界5.5 唯一可译码的Kraft不等式5.6 赫夫曼码5.7 有关赫夫曼码的评论5.8 赫夫曼码的最优性5.9 Shannon-Fano-Elias编码5.10 香农码的竞争最优性5.11由均匀硬币投掷生成离散分布6 博弈与数据压缩6.1 赛马6.2 博弈与边信息6.3 相依的赛马及其熵率6.4 英文的熵6.5 数据压缩与博弈6.6 英语的熵的博弈估计7 信道容量离散信道: C=maxp(x)I(X;Y)C=maxp(x)I(X;Y)7.1 信道容量的几个例子7.2 对称信道如果信道转移矩阵p(y|x)p(y|x) 的任何两行相互置换,任何两列也相互置换,那么称该信道是对称的.7.3 信道容量的性质7.4 信道编码定理预览7.5 定义7.6 联合典型序列7.7 信道编码定理7.8 零误差码7.9 费诺不等式与编码定理的逆定理7.10 信道编码定理的逆定理中的等式7.11 汉明码7.12 反馈容量7.13 信源信道分离定理8 微分熵8.1 定义h(X)=−∫Sf(x)logf(x)dxh(X)=−∫Sf(x)logf(x)dx均匀分布 h(X)=logah(X)=loga正态分布h(X)=1/2log2πeδ2h(X)=1/2log2πeδ2 8.2 连续随机变量的AEP8.3 微分熵与离散熵的关系8.4 联合微分熵与条件微分熵8.5 相对熵与互信息8.6 微分熵, 相对熵以及互信息的性质。
第1章信息论基础
p(x1) 3 p(x1yj)p(x1y1)p(x1y2)p(x1y3)
p(xi)
p(xiyj)
j1 3
j
p(x2)j1 p(x2yj)p(x2y1)p(x2y2)p(x2y3)
p(
y1
)
2
p(xi y1) p(x1y1) p(x2 y1)
i1
p(yj)
p(xiyj)
p(
y2
)
2
p(xi y2 ) p(x1y2 ) p(x2 y2 )
|
y3)
p(x1
|
y3)
p(x2
|
y3)
1
23
p ( x iy j) p ( x 1 y 1 ) p ( x 1 y 2 ) p ( x 1 y 3 ) p ( x 2 y 1 ) p ( x 2 y 2 ) p ( x 2 y 3 ) 1
i 1 j 1
4. 无条件概率与联合概率的关系(i=1, 2 j=1, 2, 3)
等效无干 扰信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信道译码器
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合 于信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
xr-1
xr-2
xr-m
r时刻状态er=xr-1xr-2 …xr-m=si，其中，xi∈ { a1 , a2 , … , ak }, si∈{s1, s2,…, skm }。信源发出符号xr后，(r＋1)时刻状态er+1= xr xr-1 …xr-m+1=sj……
信息论基础
信息论基础
信息论是一门研究信息传输和处理的科学。
它的基础理论主要有以下几个方面：
1. 信息的定义：在信息论中，信息被定义为能够消除不确定性的东西。
当我们获得一条消息时，我们之前关于该消息的不确定性会被消除或减少。
信息的量可以通过其发生的概率来表示，概率越小，信息量越大。
2. 熵：熵是一个表示不确定性的量。
在信息论中，熵被用来衡量一个随机变量的不确定性，即随机变量的平均信息量。
熵越大，表示随机变量的不确定性越高。
3. 信息的传输和编码：信息在传输过程中需要进行编码和解码。
编码是将消息转换为一种合适的信号形式，使其能够通过传输渠道传输。
解码则是将接收到的信号转换回原始消息。
4. 信道容量：信道容量是指一个信道能够传输的最大信息量。
它与信道的带宽、噪声水平等因素相关。
信道容量的
计算可以通过香浓定理来进行。
5. 信息压缩：信息压缩是指将信息表示为更为紧凑的形式，以减少存储或传输空间的使用。
信息压缩的目标是在保持
信息内容的同时，尽可能减少其表示所需的比特数。
信息论还有其他一些重要的概念和理论，如互信息、信道
编码定理等，这些都是信息论的基础。
信息论的研究不仅
在信息科学领域具有重要应用，还在通信、计算机科学、
统计学等领域发挥着重要作用。
信息论知识点总结
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
信息论基础
信息论基础第一讲信息的基本概念与预备知识一、信息的基本概念1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。
2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。
3、信息具有的性质（1）无形————不具实体性；（2）共享————交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施；（3）信息是一种资源————永远在产生、更新、演变，取之不尽用之不竭；（4）可度量————信息的数量和质量可度量。
3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获得与此不定度相等的信息量。
（1）甲袋有100个球，50个红，50个人白，取出一个为红；（2）乙袋有100个球，25个红，25个白，25个蓝，25个黑，取出一个为红；概率大，不确定性小，信息量小，。
4、消息构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。
消息具有不同的形式，如语言、文字、符号、数据、图片等。
消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。
5、信号信号是消息的表现形式，消息是信号的具体内容。
信号是消息的载体。
6、信息的传输系统信源——编码——信道——译码器——信宿 二、预备知识 1、全概公式∑∑====nk k k nk k A B p A p B A p B p 11)()()()(2、贝叶斯公式)()()()()()(B p A B p A p B p B A p B A p k k k k == 3、条件概率)()()(B p AB p B A p =4、乘法公式)()()()()(B A p B p A B p A p AB p ==4、不等式1ln 110-≤≤-⇒>x x xx三、自信息的度量 1、自信息随机事件ix 发生概率为)(ix p ，则随机事件ix 的自信息量为)(log )(i i x p x I -= 。
信息理论基础总结
1、信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能(全部信息功能形成的有机整体就是智力功能)作为主要研究目标的一门科学2、材料科学、能源科学、信息科学是现代文明的三大支柱3、信息科学的基础是三大论：系统论、控制论、信息理论4、香农狭义信息论上，也就是三大块内容：信息的统计测度、信道容量和信息率失真函数，以及香农的三个重要定理：无失真信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理5、本体论定义事物的信息是该事物运动的状态和状态改变的方式6、认识论的意义上说，信息是认识主体（生物或机器）所感知的事物运动的状态和状态改变的方式,包括运动状态及其变化方式的形式、含义和效用。
7、认识论层次的信息是同时考虑语法信息（外在形式）、语义信息（内在含义）和语用信息（效用价值）的全信息8、信息最重要的是按照性质分类：语法信息、语义信息、语用信息。
语法信息又分成连续信息和离散信息。
信息理论研究的语法信息9、消息是信息的载荷者，信号是消息的载体10、 11、： 概率越小 不确定性越大 确定性越小 信息量越大 概率越大 不确定性越小 确定性越大 信息量越小 概率 = 1 没有不确定性 完全确定 信息量为零 12、自信息量的定义： ()log ()i i I x p x =- 注意：)(i x I 是)(i x p 的函数，而不是i x 的函数，)(i x p 代表信源发出第i 个符号的不确定性也就是它的概率。
13、对数运算的性质：说明自信息量公式}零和负数没有对数不等式换底公式对数恒等式降阶运算 (10)1log (9)01log (8)1n l (7) 1ln 11 (6) log log log (5) (4) log log (3)log log log (2)log log log (1)a a log ==='⎭⎬⎫-≤≤-⎭⎬⎫==⎪⎪⎭⎪⎪⎬⎫=-=+=⋅a xx x x x A B B B A B A B B A B A B A B A C C A B A A14、联合概率和条件概率计算的信息量分别称为联合自信息量和条件自信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211I Ix q x x q x x q x X q X ΛΛ∑==I i ix q 11)(⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211m q q q q x x x x x x X X m ΛΛ∏=Ni i x q 1)(第1章 信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。
消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。
通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。
狭义信息论信息论研究的范畴： 实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能：1. 信源 信源是产生消息的源。
2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。
编码器分为信源编码器和信道编码器两种。
3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。
4.译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。
5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。
离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。
连续信源—时间离散而空间连续的信源。
波形信源—时间和空间均连续的信源。
无记忆信源—X 的各时刻取值相互独立。
有记忆信源—X 的各时刻取值互相有关联。
离散无记忆信源的数学模型—离散型的概率空间：x i ∈{a 1,a 2,…,a k } 1≤i ≤I0≤q(x i )≤1离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤Nq (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。
离散信道有时也称为数字信道。
连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。
半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。
波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。
无记忆信道—信道的输出y 只与当前时刻的输入x 有关。
有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。
离散无记忆信道的数学模型—信道转移概率矩阵：信道输入、输出符号集为X 、YX ＝{x 1,x 2,…,x I }，x i ∈{a 1,a 2,…,a k }，1≤i ≤I Y ＝{y 1,y 2,…,y J }，y j ∈{b 1,b 2,…,b D }，1≤j ≤J0≤p (y j ∣x i )≤1离散无记忆N 维扩展信道的特性：序列的转移概率p (y ∣x )＝p (y 1y 2…y N ∣x 1x 2…x N )通信中常用的概率函数讨论：信道输入符号集X ＝{x 1，x 2，…，x i ,…，x I }，输入符号x i ∈{a 1,a 2,…,a k }，1≤i ≤I ； 信道输出符号集Y ＝{y 1，y 2，…，y j ,…，y J }，输出符号y j ∈{b 1,b 2,…,b D }，1≤j ≤J ； 输入符号x i 的概率记为q (x i )称为先验概率，输出符号y j 的概率记为w (y j )； 输入符号为x i 输出符号为y j 时的概率记为p (y j ∣x i )称为信道转移概率， 输出符号为y j 估计输入符号是x i 的概率记为φ(x i ︱y j )称为后验概率； 在输入输出XY 二维联合空间上，x i y j 的联合概率记为p (x i y j )。
先验概率、信道转移概率、后验概率和联合概率应满足的一些性质及关系∏==Ni i i x y p p 1)()(x y 1)(=∑Yx y p ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)()()()()()()()()(212222111211I J I I J J x y p x y p x y p x y p x y p x y p x y p x y p x y p ΛMΛΛP ∑==Jj i jx yp 11)(第2章 信息的度量自信息量和条件自信息量 一个事件的自信息量就是对其不确定性的度量。
自信息量的性质：（1）I (x )是q (x )的单调递减函数； （2）信息量具有可加性； （3）当q (x )=1时，I (x )=0； （4）当q (x )=0时，I (x )→∞。
互信息量和条件互信息量 互信息量表明两个随机事件的相互约束程度。
(2-7)(2-8)式(2-7)的物理意义：在信源发出信号前，信宿收到y j 的概率为ω(y j )，其不确定性用Ｉ(y j )度量。
而信源发出符号x i 后，由于干扰，使信宿收到Y ＝{y 1，y 2，…，y J }中的哪个符号具有发散性，即信宿是否收到y j 仍存有不确定性，用Ｉ(y j ︱x i )度量。
这二者之差就是事件发生过程中观察者所获得的信息量。
式(2-8)的物理意义：通信前X 、Y 统计独立，联合概率为p (x i y j )＝q (x i )ω(y j )，不确定性用–log q (x i )ω(y j )＝I(x i )＋I(y j )度量。
通信后，由于信道转移概率p (y j ︱x i )的存在，使符号x i y j 有了某种关联，联合概率p (x i y j )＝q (x i ) p (y j ︱x i )，发x i 收y j 的不确定性用I (x i y j )=–log p (x i y j )度量，二者之差就是通信过程中，x i 与y j 所得到的互信息量。
互信息量的性质：（1）互易性： I (x i ; y j )= I (y j ; x i )（2）可加性： I (x i ; y j z k )= I (x i ; y j )+ I (x i ; z k ︱y j )（3）当x i ,y j 统计独立时，互信息量I (x i ;y j )＝0及条件互信息量 （4）互信息量I (x i ;y j )可以是正数，也可以是负数。
（5）两个事件的互信息量不大于单个事件的自信息量，即有：平均自信息量✧平均自信息量(熵)✧平均条件自信息量(条件熵)从通信角度来看：若X 为信道输入符号集，Y 为信道输出符号集，则称H (X ︱Y )为疑义度/含糊度或 损失熵；称H (Y ︱X )为散布度或噪声熵。
)()();(j i i j i y x I x I y x I -=)()(log i j i x q y x φ=)()()()()()(log);(j i j i j i j i j i y x I y I x I y x q y x p y x I -+==ω)()()()(log);(i j j j i j j i x y I y I y x y p y x I -==ω0);(=k j i z y x I ⎩⎨⎧≤≤)()();(j iji y I x I y x I )(log )()()()(i i i i i i x q x q x I x q X H ∑∑-=∆（比特/符号）∑∑∑∑-=∆i j i j i jj i i j j i x y p y x p x y I y x p X Y H )(log )()()()(（比特/符号） )(log )(x q x I -∆（比特） )(log )(j i j i y x y x I φ-∆（比特）)(log )(j i j i y x p y x I -∆（比特） )|(log )()|()()|(j i i j j i i j i j j i y x y x p y x I y x p Y X H φ∑∑∑∑-=∆（比特/符号）（1）对于无噪信道，X 与Y 一一对应，不存在疑义H (X ︱Y )＝0，也不会产生错位H (Y ︱X )=0； （2）在强噪声情况下，X 与Y 统计独立，H (X ︱Y )＝H (X )，H (Y ︱X )=H (Y )。
✧联合熵 熵、条件熵、联合熵的关系：H (X Y ) = H (X ) + H (Y ︱X )= H (Y ) +H (X ︱Y )当X ，Y 统计独立时，H (X Y )= H (X )+ H (Y )极大离散熵定理：设信源消息集X ＝{x 1，x 2，，…，x M }的消息个数为M ，则H (X )≤log M ，等号当且仅当信源X 中各消息等概(=1/M)时成立，即各消息等概分布时，信源熵最大。
熵函数的性质：（1）对称性 （2）非负性 （3）确定性 （4）扩展性 （5）可加性 （6）条件熵小于等于无条件熵，即：H (X ︱Y)≤H (X)，X,Y 统计独立时等号成立。
（7）联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即： H (XY )≤H (X ) + H (Y )平均互信息量(交互熵)平均互信息量与信源熵、条件熵的关系（维拉图）I (X ;Y )＝H (X )－H(X ︱Y) (2-35) I (X ;Y )＝H (Y )－H (Y ︱X) (2-36) I (X ;Y )＝H (X )＋H (Y )－H (XY) (2-37) 从通信的角度讨论：(2-35)式的物理意义：设X 为发送消息符号集，Y 为接收符号集，H (X )是输入集的平均不确定性，H （X ︱Y ）是观察到Y 后，集X 还保留的不确定性，二者之差I (X ;Y )就是在接收过程中得到的关于X ,Y 的平均互信息量。
(2-36)式的物理意义：H (Y )是观察到Y 所获得的信息量，H （Y ︱X ）是发出确定消息X 后，由于干扰而使Y 存在的平均不确定性，二者之差I (X ; Y )就是一次通信所获得的信息量。
(2-37)式的物理意义：通信前，随机变量X 和随机变量Y 可视为统计独立，其先验不确定性为H (X )+ H (Y )，通信后，整个系统的后验不确定性为H (XY )，二者之差H (X )＋H (Y )－H (XY )就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I (X ; Y )。
（1）对于无噪信道，X 与Y 一一对应，H(X ︱Y)=0从而I (X ; Y )=H (X )；H(Y ︱X)=0从而I (X ; Y )= H (Y )； （2）对于强噪信道，X 与Y 统计独立，H(X ︱Y) =H (X )从而I (X ; Y )=0；H(Y ︱X)= H(Y )从而I (X ; Y ) = 0。
平均互信息量的性质： （1）非负性： （2）互易性：I(X ; Y)= I(Y ; X) （3）极值性：定理2.1当信道给定，即信道转移概率p (y |x )固定，平均互信息量I (X ;Y )是信源概率分布q (x )的∩形凸函数。