信息论基础教程
信息论基础课件3.1-3.2.2
信源 信道 信宿
噪声 图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符 信源 每发一个符号提供平均信息量 信符 无噪信道→信宿可确切无误的接收信息 无噪信道 信宿可确切无误的接收信息 传递作用→ 传递作用 随机干扰作用 本章主要讨论在什么条件下， 本章主要讨论在什么条件下，通过信道的信息量 最大， 最大，即信道容量问题
的上凸函数， 因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能 找到一种 概率分布 p ( x i )(即某一种信源 )，使信道所能传送的 信息率为最大。 信息率为最大。我们就 信道容量。 信道容量。 称这个最大的信息传输 率为
信道容量： 信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率 解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7
李梅 李亦农 《信息论基础教程》 课件教案 第三章 信源及信源熵
信源分类
单符号信源
多符号信源 连续信源
1. 预备知识（续1）
定义1：对于离散随机变量序列 X 1 X 2 X n ，若任意两个不同 时刻i和j (大于1的任意整数) 信源发出消息的概率分布完全相 X Xi 同，即对于任意的 N 0, 1, 2, ，X i 1 X i N 和 j X j 1 X j N 具有相同的概率分布。也就是
x2
2 9 3 4 2 11
x3
0 1 8 9 11
输出符号序列中，只有前后 两个符号之间有记忆，条件 概率空间见右边的表。求熵 率并比较 H(X) 、H(X2|X1) 、 1/2H(X1X2)。
离散无记忆信源 记忆长度无限长 离散平稳信源 平稳信源 离散有记忆信源 随机序列 记忆长度有限(马尔可夫信源) 连续平稳信源 非平稳信源 随机过程：波形信源
第三章：信源及信源熵
信源分类
单符号信源 多符号信源
连续信源
连续 连续
连续信源 波形信源 （模拟信源） 语音、音乐 、热噪声、 图形、图象 不常见
连续随机变量序列
P ( X) P ( X 1 X 2 X N )
随机过程
X (e, t )
连续
离散
第三章：信源及信源熵
信源分类
单符号信源 多符号信源
连续信源
信源的分类及其数学模型
根据信源发出的消息序列中的消息，统计特性是否 保持不变，信源可分为平稳信源/非平稳信源。
例2：如果把每三个二进制数字组成一组，这样长度为3 的二进制序列就有8种不同的符号，可等效成一个具有8 个符号的信源，把它称为二进制无记忆信源的三次扩展 信源。
第三章：信源及信源熵
信息论基础教程8
H r (S ) L
QQ：316566035
例子
s2 S s1 P 3 4 1 4
信源熵H S 0.811
对信源熵S的二次扩展信源S 2进行编码, 得到即时码
信源 概率
9/16
3/16 3/16 1/16
l l l1 l l l1
r q
l l2
r q
l lq 1
l lq 1 l
个节点,
lq
r q
l l2
r q
r qr
1
必要性：类似
QQ：316566035
McMillan不等式
定理5.4
li r 1 i 1
q
li 为码字长度，q为信源符号个数。 r为码符号个数，
N
log 2 r
则不可能实现几乎无失真编码，即当N足够大时，译码错误概率 趋近于1。
QQ：316566035
编码速率 定义5.6 设熵为H(S)的离散无记忆信源，若对信源的长为N的
符号序列进行定长编码，码符号集中码符号个数为r，设码字长为 l，定义 l R log 2 r N 比特/信源符号为编码速率，它表示平均每个信源符号编码后能载
i 1 i 1 q q
并且根据 p si r li 1得到
QQ：316566035
定理证明
并且根据 p si r li 1得到
p s log p s p s log
i 1 i 2 i i 1 i
编码效率
H (S ) , 0 。 H (S ) 在已知方差和信源熵的条件下，信源符号序列长度N与最佳编码 效率η和允许错误概率 P 的关系为： E
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信息论基础1~8
信息论基础1~81 绪论与概览2 熵相对熵与互信息2.1 熵H(X)=−∑x∈X p(x)logp(x)H(X)=−∑x∈Xp(x)logp(x)2.2 联合熵H(X,Y)=−∑x∈X∑y∈Y p(x,y)logp(x,y)H(X,Y)=−∑x∈X∑y∈Yp(x,y)logp(x,y)H(Y|X)=∑x∈X p(x)H(Y|X=x)H(Y|X)=∑x∈Xp(x)H(Y|X=x)定理2.2.1(链式法则): H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y|X) 2.3 相对熵与互信息相对熵(relative entropy): D(p||q)=∑x∈X p(x)logp(x)q(x)=Eplogp(x)q(x)D(p||q)=∑x∈Xp(x)lo gp(x)q(x)=Eplogp(x)q(x)互信息(mutual information): I(X;Y)=∑x∈X∑y∈Y p(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))I(X;Y) =∑x∈X∑y∈Yp(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))2.4 熵与互信息的关系I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)2.5 熵,相对熵与互信息的链式法则定理 2.5.1(熵的链式法则): H(X1,X2,...,X n)=∑ni=1H(Xi|X i−1,...,X1)H(X1,X2,...,Xn)=∑i=1nH(Xi| Xi−1, (X1)定理 2.5.2(互信息的链式法则): I(X1,X2,...,X n;Y)=∑ni=1I(Xi;Y|X i−1,...,X1)I(X1,X2,...,Xn;Y)=∑i=1nI(Xi ;Y|Xi−1, (X1)条件相对熵: D(p(y|x)||q(y|x))=∑x p(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp(Y|X)q( Y|X)D(p(y|x)||q(y|x))=∑xp(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp (Y|X)q(Y|X)定理 2.5.3(相对熵的链式法则): D(p(x,y)||q(x,y))=D(p(x)||q(x))+D(p(y|x)||q(y|x))D(p(x,y)||q(x,y))=D( p(x)||q(x))+D(p(y|x)||q(y|x))2.6 Jensen不等式及其结果定理2.6.2(Jensen不等式): 若给定凸函数f和一个随机变量X,则Ef(X)≥f(EX)Ef(X)≥f(EX)定理2.6.3(信息不等式): D(p||q)≥0D(p||q)≥0推论(互信息的非负性): I(X;Y)≥0I(X;Y)≥0定理2.6.4: H(X)≤log|X|H(X)≤log|X|定理2.6.5(条件作用使熵减小): H(X|Y)≤H(X)H(X|Y)≤H(X)从直观上讲,此定理说明知道另一随机变量Y的信息只会降低X的不确定度. 注意这仅对平均意义成立. 具体来说, H(X|Y=y)H(X|Y=y) 可能比H(X)H(X)大或者小,或者两者相等.定理 2.6.6(熵的独立界): H(X1,X2,…,X n)≤∑ni=1H(Xi)H(X1,X2,…,Xn)≤∑i=1nH(Xi)2.7 对数和不等式及其应用定理 2.7.1(对数和不等式): ∑ni=1ailogaibi≥(∑ni=1ai)log∑ni=1ai∑ni=1bi∑i=1nailogaibi≥(∑i =1nai)log∑i=1nai∑i=1nbi定理2.7.2(相对熵的凸性): D(p||q)D(p||q) 关于对(p,q)是凸的定理2.7.3(熵的凹性): H(p)是关于p的凹函数2.8 数据处理不等式2.9 充分统计量这节很有意思,利用统计量代替原有抽样,并且不损失信息.2.10 费诺不等式定理2.10.1(费诺不等式): 对任何满足X→Y→X^,X→Y→X^, 设Pe=Pr{X≠X^},Pe=Pr{X≠X^}, 有H(Pe)+Pe log|X|≥H(X|X^)≥H(X|Y)H(Pe)+Pelog|X|≥H(X|X^)≥H(X|Y)上述不等式可以减弱为1+Pe log|X|≥H(X|Y)1+Pelog|X|≥H(X|Y)或Pe≥H(X|Y)−1log|X|Pe≥H(X|Y)−1log|X|引理 2.10.1: 如果X和X’独立同分布,具有熵H(X),则Pr(X=X′)≥2−H(X)Pr(X=X′)≥2−H(X)3 渐进均分性4 随机过程的熵率4.1 马尔科夫链4.2 熵率4.3 例子:加权图上随机游动的熵率4.4 热力学第二定律4.5 马尔科夫链的函数H(Yn|Y n−1,…,Y1,X1)≤H(Y)≤H(Y n|Y n−1,…,Y1)H(Yn|Yn−1,…,Y1,X1)≤H(Y)≤H(Yn|Yn−1,…,Y1)5 数据压缩5.1 有关编码的几个例子5.2 Kraft不等式定理5.2.1(Kraft不等式): 对于D元字母表上的即时码,码字长度l1,l2,…,l m l1,l2,…,lm必定满足不等式∑iD−li≤1∑iD−li≤15.3 最优码l∗i=−log Dpili∗=−logDpi5.4 最优码长的界5.5 唯一可译码的Kraft不等式5.6 赫夫曼码5.7 有关赫夫曼码的评论5.8 赫夫曼码的最优性5.9 Shannon-Fano-Elias编码5.10 香农码的竞争最优性5.11由均匀硬币投掷生成离散分布6 博弈与数据压缩6.1 赛马6.2 博弈与边信息6.3 相依的赛马及其熵率6.4 英文的熵6.5 数据压缩与博弈6.6 英语的熵的博弈估计7 信道容量离散信道: C=maxp(x)I(X;Y)C=maxp(x)I(X;Y)7.1 信道容量的几个例子7.2 对称信道如果信道转移矩阵p(y|x)p(y|x) 的任何两行相互置换,任何两列也相互置换,那么称该信道是对称的.7.3 信道容量的性质7.4 信道编码定理预览7.5 定义7.6 联合典型序列7.7 信道编码定理7.8 零误差码7.9 费诺不等式与编码定理的逆定理7.10 信道编码定理的逆定理中的等式7.11 汉明码7.12 反馈容量7.13 信源信道分离定理8 微分熵8.1 定义h(X)=−∫Sf(x)logf(x)dxh(X)=−∫Sf(x)logf(x)dx均匀分布 h(X)=logah(X)=loga正态分布h(X)=1/2log2πeδ2h(X)=1/2log2πeδ2 8.2 连续随机变量的AEP8.3 微分熵与离散熵的关系8.4 联合微分熵与条件微分熵8.5 相对熵与互信息8.6 微分熵, 相对熵以及互信息的性质。
信息论基础教程(一)
信息论基础教程(一)
信息论基础教程
一、引言
1.什么是信息论？
2.由来和应用领域
二、信息的定义
1.信息的测量单位
2.信息的数学表示
三、信息的熵
1.熵的概念
2.熵的计算公式
3.熵的性质
四、信息的压缩与编码
1.无损压缩与编码
2.哈夫曼编码
3.香农编码
五、信道容量
1.信道模型
2.信道容量的计算
3.极限定理
六、误差检测和纠正
1.奇偶校验
2.海明码
七、信息论在通信领域的应用
1.数据压缩
2.信道编码
3.无线传输
八、信息论的未来发展
1.量子信息论
2.生物信息学
以上是详细的信息论基础教程大纲，通过Markdown格式的标题副标题形式来展现。
文章采用列点的方式生成，遵守规则的前提下准确
描述了信息论的基础知识，包括信息的定义和测量、熵的概念和计算、
信息的压缩与编码、信道容量、误差检测和纠正等内容。
同时，还介绍了信息论在通信领域的应用以及未来的发展方向。
信息论基础教程
信息论基础教程信息论基础教程1. 什么是信息论•信息论是一门研究信息传输与处理的数学理论。
•信息论的概念由克劳德·香农于1948年提出。
2. 信息的定义与表示•信息是用来消除不确定性的东西。
•信息可以用概率来表示。
信息的定义•定义：信息是用来消除不确定性的核心内容。
•信息量的多少与不确定性的减少程度成正比。
信息的表示•使用比特（bit）作为计量单位。
•一个比特可以表示一个二进制信息（0或1）。
•信息量的大小与比特数目成正比。
•信息熵是衡量信息量的概念。
•能量守恒定律：信息熵不会减少，只会增加。
信息熵的计算公式•信息熵的计算公式为：H(X) = -Σp(x)log2p(x)，其中p(x)为事件x发生的概率。
信息熵的含义•信息熵越大，信息量越多，不确定性越高。
•信息熵越小，信息量越少，不确定性越低。
4. 信道容量•信道容量是信息传输的极限。
•信道容量的计算需要考虑信道的带宽和信噪比。
信道容量的计算公式•信道容量的计算公式为：C = Blog2(1 + SNR)，其中B为信道带宽，SNR为信噪比。
信道容量的含义•信道容量表示一个信道能够传输的最大信息量。
•信噪比越高，信道容量越大。
•香农定理是信息论的核心定理。
•香农定理给出了可靠传输信息的极限。
香农定理的表达式•香农定理的表达式为：C = Blog2(1 + SNR)。
香农定理的应用•香农定理可以用来优化通信系统的设计。
•香农定理可以用来判断信息传输的可靠性。
以上为信息论基础教程的概要，希望对你的学习有所帮助。
信息论基础教学教案-信息论知识总结
送端发送 ai 的概率，称为后验概率。收信者获得的信息量定义为互信息， 即收信者在收到消息（符号）b j 后，已经消除的关于 ai 的不确定性。因此， 互信息就是先验的不确定性减去尚存在的不确定性，其定义为
I
(ai
;bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
3
《信息论基础》教案
本节小结
1. 消息和信息的概念以及信息、消息和信号之间的关系
2. 香农信息的含义和度量
自信息
I (ai
)
log
1 P(ai
)
log
P(ai
)
互信息
I
(ai
;
bj
)
log
1 P(ai
)
log
1 P(ai
bj
)
教学方法 时 和手段 间
利用多媒 体演示， 分条目进 10 行总结
4
《信息论基础》教案
教学章节 教学目的
教学内容 教学重点 教学难点
教学方式
授课时间
第一章绪论 1. 理解信息论的研究对象、目的和内容 2. 了解信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 2. 信息论的发展简史与现状 1. 信息论的研究对象、目的和内容 1. 信息论的研究对象、目的和内容 以多媒体电子教案为主讲解主要内容，以板书为辅将知识点和方法明确化； 采取结合例子 讲授、逐 步深入、分 析的方法 进行讲解， 并着重强 调各种概 念的物理意义。 1 学时
状态（是否正确和可靠），因此，消息是千变万化的、不规则的以及 学生，讲解
随机的。
信息和消息
2、信息
概念，以及
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章
1.1 1.2绪论Fra bibliotek信息的概念 信息论研究的对象、目的和内容
BUPT Press
1.1
信息的概念
信息论是通信的数学基础，它是随着通信技术的发展而形成和发 展起来的一门新兴的横断学科。信息论创立的标志是1948年 Claude Shannon （香农）发表的论文 “A Mathematical Theory of Communication”。在这篇文章中香农创造 性的采用概率论的方法来研究通信中的问题， 并且对信息给予了科学的定量描述，第一次 提出了信息熵的概念。 1928年，哈特莱(Hartley)首先提出了 用对数度量信息的概念。一个消息所含有的 信息量用它的可能值的个数的对数来表示。
BUPT Press
2.2
平均自信息
2.2.1 平均自信息（信息熵）的概念
自信息量是信源发出某一具体消息所含有的信息量，发出的消息 不同所含有的信息量不同。因此自信息量不能用来表征整个信源 的不确定度。我们定义平均自信息量来表征整个信源的不确定度。 平均自信息量又称为信息熵、信源熵，简称熵。 因为信源具有不确定性，所以我们把信源用随机变量来表示，用 随机变量的概率分布来描述信源的不确定性。通常把一个随机变 量的所有可能的取值和这些取值对应的概率 X , P X 称为它的概 率空间。
信息论基础教程
李亦农 李梅 编著
北京邮电大学出版社
Beijing University of Posts and Telecommunications Press
目录
第一章 第二章 第三章 第四章 第五章 第六章 第七章 绪论 信息的度量 信源及信息熵 信道及信道容量 无失真信源编码 有噪信道编码 限失真信源编码
BUPT Press
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I ( xi ) 是该事件发生概率 p( xi ) 的函数，并且 应该满足以下公理化条件： I ( x1 ) I ( x2 ) ， 1. I ( xi )是 p( xi ) 的严格递减函数。当 p( x1 ) p( x2 ) 时， 概率越小，事件发生的不确定性越大，事件发生以后所包含的自 信息量越大。 I ( xi ) =0。 2． 极限情况下当 p( xi ) =0时，I ( xi ) ；当 p( xi )=1时， 3． 另外，从直观概念上讲，由两个相对独立的不同的消息所提 供的信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
BUPT Press
信息论研究的是关于这个通信系统的最根本、最本质的问题。例如： ①什么是信息？如何度量信息？ ②怎样确定信源中含有多少信息量？ ③对于一个信道，它传输信息量的最高极限（信道容量）是多少？ ④为了能够无失真的传输信源信息，对信源编码时所需的最少的码 符号数是多少？（无失真信源编码即香农第一定理） ⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息 而错误概率几乎为零？（有噪信道编码即香农第二定理） ⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又 是多少？（限失真信源编码即香农第三定理）
性说明熵函数仅与信源的总体统计特性有关。
BUPT Press
2. 确定性：
H (1, 0) H (1, 0, 0) H (1, 0, 0, 0) H (1, 0,,0) 0
在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) H ( p1, p2 ,, pq ) 0 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 H q 1 ( p1 , p2 , , pq ， ) H q ( p1 , p2 , , pq ) 4. 扩展性： lim 0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 H ( p1 , p2 , , pq 1 ， pq ) H ( p1 , p2 , , pq ) 5. 连续性： lim 0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
定义2.3 随机变量X的每一个可能取值的自信息 I ( xi ) 的统计平均
值定义为随机变量X的平均自信息量:
H ( X ) E I ( xi ) p( xi ) log p( xi )
i 1
q
这里q为的所有X可能取值的个数。 熵的单位也是与所取的对数底有关，根据所取的对数底不同，可 以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。 通常用比特/符号为单位。 一般情况下，信息熵并不等于收信者平均获得的信息量，收信者 不能全部消除信源的平均不确定性，获得的信息量将小于信息熵。
BUPT Press
6．递增性
q1 q2 qm H ( p1 , p2 ,, pn1 , q1 , q2 ,, qm ) H ( p1 , p2 ,, pn ) pn H , ,, p p pn n n 这性质表明，假如有一信源的n个元素的概率分布 为 ( p1 , p2 ,, pn ) ，其中某个元素 xn 又被划分成m个元素，这m个元 素的概率之和等于元素 xn 的概率，这样得到的新信源的熵增加， 熵增加了一项是由于划分产生的不确定性。 7. 极值性： H ( p , p ,, p ) H 1 , 1 ,, 1 log n 1 2 n n n n 式中n是随机变量X的可能取值的个数。 极值性表明离散信源中各消息等概率出现时熵最大，这就是最大 离散熵定理。连续信源的最大熵则与约束条件有关。
BUPT Press
2.2.2
熵函数的性质
信息熵 H ( X )是随机变量X的概率分布的函数，所以又称为熵函数。 ， 2， ，q，记为 p1 , p2 ,, pq ，则熵函 如果把概率分布 p( xi ), i 1 数又可以写成概率矢量 p ( p1 , p2 ,, pq ) 的函数的形式，记 为 H (p )。
BUPT Press
2.1.2
互信息
互信息，用I ( xi ; y j ) 表示。
def
定义2.2 一个事件 y j 所给出关于另一个事件 x i 的信息定义为
I ( xi ;y j ) I ( xi ) I ( xi |y j ) log p( xi |y j ) p( xi )
互信息 I ( xi ; y j )是已知事件 y j 后所消除的关于事件 x i 的不确定性， 它等于事件 x i 本身的不确定性 I ( xi ) 减去已知事件 y j 后对 x i 仍然 存在的不确定性 I ( xi | y j ) 。 互信息的引出，使信息得到了定量的表示，是信息论发展的一个 重要的里程碑。
H ( X ) pi log pi H ( p1 , p2 ,, pq ) H (p)
i 1
q
熵函数 H (p ) 具有以下性质： 1.对称性：
H ( p1, p2 ,, pq ) H ( p2 , p1,, pq )= = H ( pq , p1,, pq1 )
图2.1 自信息量
BUPT Press
自信息量的单位与所用对数的底有关。 （1）常取对数的底为2，信息量的单位为比特（bit，binary unit）。 当 p( xi )=1/2时，I ( xi ) =1比特，即概率等于1/2的事件具有1比特的 自信息量。 （2）若取自然对数（对数以e为底），自信息量的单位为奈特（nat， natural unit）。 1奈特= log2 e比特=1.443比特 （3）工程上用以10为底较方便。若以10为对数底，则自信息量的单 位为哈特莱（Hartley）。1哈特莱= log2 10 比特=3.322比特 （4）如果取以r为底的对数（r>1），则 I ( xi ) = logr p( xi ) r进制单 位 1r进制单位= log2 r 比特
BUPT Press
第二章
信息的度量
2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息
BUPT Press
关于信息的度量有几个重要的概念： （1）自信息：一个事件（消息）本身所包含的信息量，它是由事件 的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所 包含的信息量。 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天 下雨所给出关于明天下雨的信息量。 （3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的 平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的 试验所包含的信息量。 （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息 量，比如今天的天气所给出关于明天的天气的信息量。
BUPT Press
1.2 信息论的研究对象、目的和内容
信息论的研究对象是广义的通信系统，它把所有的信息流通系统 都抽象成以下的模型：
图1.1 通信系统模型
BUPT Press
这个通信系统主要分成五个部分： （1）信源。顾名思义，信源是产生消息和消息序列的源。 （2）编码器。编码就是把消息变成适合在信道传输的物理量，这种 物理量称为信号。编码器可分为信源编码器、信道编码器。 信源编码的目的为了提高通信系统的有效性和提高信息传输的可 靠性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。 （3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收 端的媒介或通道，是包括收发设备在内的物理设施。 （4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行 反变换，变成信宿能够接受的消息。译码器也可分成信源译码器 和信道译码器。 （5）信宿。信宿是消息传送的对象，即接受消息的人或机器。
BUPT Press
信源所含有的信息量定义为信源发出的所有可能消息的平均不确 定性，香农把信源所含有的信息量称为信息熵。自信息的统计平 均定义为信源熵，即