信息论基础-中国科学技术大学
信息论基础-中国科学技术大学
熵（Entropy）
定义
一个离散随机变量
的熵
定义为 熵的量纲根据对数 的底来定义
对数取2为底，对应的熵的单位是比特(bit)； 取e为底（自然对数），熵的单位为奈特(nat)； 取10为底（常用对数），熵的单位为哈特(hart)
各单位间的换算：
中国科学技术大学 刘斌 《信息论基础》 17
解：“e”的自信息量 “d”的自信息量 “y”的自信息量
15
中国科学技术大学 刘斌
ቤተ መጻሕፍቲ ባይዱ
《信息论基础》
自信息量的性质
自信息量是非负的 确定事件的信息量为 零 自信息量是概率的单 调递减函数 I(x)基于随机变量X 的特定取值x，不能 作为整个随机变量X 的信息测度。
中国科学技术大学 刘斌 《信息论基础》 16
中国科学技术大学 刘斌
《信息论基础》
26
链式法则
定理 对于服从联合分布为p(x,y)的一对离 散随机变量(X,Y)，
推论 对于服从联合分布为p(x,y,z)的三个 随机变量(X,Y,Z)，
27
中国科学技术大学 刘斌
《信息论基础》
链式法则的文氏图表示
H(X|Y)
H(Y)
H(X)
H(Y|X)
中国科学技术大学 刘斌 《信息论基础》 13
自信息量单位的转换
对数的换底公式
一般情况下，我们在课程中使用2为底的对 数，信息量的单位是比特。
中国科学技术大学 刘斌 《信息论基础》 14
自信息量的例子
例
英文字母中“e”出现的概率为0.105，“d” 出现的概率为0.035，“y”出现的概率为 0.012。分别计算它们的自信息量。
高斯信道
信道容量和带宽的关系
1.5
1
C
0.5
0
0
5
10
15 W
20
25
30
中国科学技术大学 刘斌
《信息论基础》
12
带宽有限信道的信道容量
香农公式的物理意义为：当信道容量一定 时，增大信道的带宽，可以降低对信噪功 率比的要求；反之，当信道频带较窄时， 可以通过提高信噪功率比来补偿。香农公 式是在噪声信道中进行可靠通信的信息传 输率的上限值。
定义
6
中国科学技术大学 刘斌
《信息论基础》
高斯信道信道编码定理的证明
中国科学技术大学 刘斌
《信息论基础》
7
高斯信道信道编码定理的证明
1. 码簿的生成：令 为i.i.d. ~ ，形成码 字 2. 编码：码簿生成之后，将其告知发送者和接收者。对消 息下标w，发送器发送 3. 译码：联合典型译码
是联合典型的 不存在其他的下标 满足
1. 下标集 2. 编码函数 a。 生成码字 ，且满足功率限制P，
3. 译码函数 4. 平均误差概率：
中国科学技术大学 刘斌 《信息论基础》 5
高斯信道的信道编码定理
对于一个功率限制为P的高斯信 道，如果存在满足功率限制的一个 码序列，使得最大误差 ，则称码 率R关于该功率限制为P的高斯信道是可 达的。 高斯信道的信道容量即是所有可达码率的 上确界。
转化成离散二元对称信道 离散信道的特点：可纠错，但有量化损失
中国科学技术大学 刘斌 《信息论基础》 3
高斯信道的信道容量
功率限制为P的高斯信道的信道 容量定义为：
定义
高斯信道的信道容量为：
最大值在
中国科学技术大学 刘斌 《信息论基础》
第8章微分熵-中国科学技术大学
第8章微分熵设X是一个随机变量，其累积分布定义函数为。
如果F(x)是连续的，则称该随机变量是连续的。
当F(x)的导数存在时，令f(x)F(x)。
若，则称f(x)是X的概f(x)=F’(x)率密度函数。
另外，使f(x)>0的所有x构成的集合称为X的支撑集。
一个以f(x)为密度函数的连续随机定义变量X的微分熵（differential entropy）定义为《信息论基础》中国科学技术大学刘斌1第8章微分熵设X是一个随机变量，其累积分布定义函数为。
如果F(x)是连续的，则称该随机变量是连续的。
当F(x)的导数存在时，令f(x)F(x)。
若，则称f(x)是X的概f(x)=F’(x)率密度函数。
另外，使f(x)>0的所有x构成的集合称为X的支撑集。
一个以f(x)为密度函数的连续随机定义变量X的微分熵（differential entropy）定义为《信息论基础》中国科学技术大学刘斌2微分熵的例子[0,a]上的均匀分布：例✓a<1时，h(X)<01时h(X)0正态分布：例《信息论基础》中国科学技术大学刘斌3连续随机变量的AEPAEP ：对于一个独立同分布的随机变量序列来说， 设是一个服从密度函数f(x)的独立同分布的随机变量序列，则定理定义 对及任意的n ，定义f(x)的典型集如下定义其中中国科学技术大学刘斌4《信息论基础》连续随机变量的典型集性质集合的体积Vol(A)定义为定义连续随机变量的典型集有如下的性质连续随机变量的典型集有如下的性质：1.对于充分大的n ，定理2.对于所有的n ，33.对于充分大的n ，中国科学技术大学刘斌5《信息论基础》微分熵和离散熵的区别如果随机变量X的密度函数f(x)是黎曼定理可积的，那么《信息论基础》中国科学技术大学刘斌6微分熵和离散熵的区别H(X)是离散意义的熵，是信息熵，无限大h(X)是连续意义的熵，是微分熵h()是连续意义的熵是微分熵微分熵h(X)不代表信源X的平均不确定度，也不代表X每取一个数值所提供的平均信息量，不含有信息度量的内涵《信息论基础》中国科学技术大学刘斌7微分熵和离散熵的区别连续随机变量X经过精确到小数点后n比特位的量化处理后，熵的值大约是h(X)+n般情况下，在精确到位的意义下，()一般情况下，在精确到n h(X)+n 是为了描述X所需的平均比特数。
信息论基础1~8
信息论基础1~81 绪论与概览2 熵相对熵与互信息2.1 熵H(X)=−∑x∈X p(x)logp(x)H(X)=−∑x∈Xp(x)logp(x)2.2 联合熵H(X,Y)=−∑x∈X∑y∈Y p(x,y)logp(x,y)H(X,Y)=−∑x∈X∑y∈Yp(x,y)logp(x,y)H(Y|X)=∑x∈X p(x)H(Y|X=x)H(Y|X)=∑x∈Xp(x)H(Y|X=x)定理2.2.1(链式法则): H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y|X) 2.3 相对熵与互信息相对熵(relative entropy): D(p||q)=∑x∈X p(x)logp(x)q(x)=Eplogp(x)q(x)D(p||q)=∑x∈Xp(x)lo gp(x)q(x)=Eplogp(x)q(x)互信息(mutual information): I(X;Y)=∑x∈X∑y∈Y p(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))I(X;Y) =∑x∈X∑y∈Yp(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))2.4 熵与互信息的关系I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)2.5 熵,相对熵与互信息的链式法则定理 2.5.1(熵的链式法则): H(X1,X2,...,X n)=∑ni=1H(Xi|X i−1,...,X1)H(X1,X2,...,Xn)=∑i=1nH(Xi| Xi−1, (X1)定理 2.5.2(互信息的链式法则): I(X1,X2,...,X n;Y)=∑ni=1I(Xi;Y|X i−1,...,X1)I(X1,X2,...,Xn;Y)=∑i=1nI(Xi ;Y|Xi−1, (X1)条件相对熵: D(p(y|x)||q(y|x))=∑x p(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp(Y|X)q( Y|X)D(p(y|x)||q(y|x))=∑xp(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp (Y|X)q(Y|X)定理 2.5.3(相对熵的链式法则): D(p(x,y)||q(x,y))=D(p(x)||q(x))+D(p(y|x)||q(y|x))D(p(x,y)||q(x,y))=D( p(x)||q(x))+D(p(y|x)||q(y|x))2.6 Jensen不等式及其结果定理2.6.2(Jensen不等式): 若给定凸函数f和一个随机变量X,则Ef(X)≥f(EX)Ef(X)≥f(EX)定理2.6.3(信息不等式): D(p||q)≥0D(p||q)≥0推论(互信息的非负性): I(X;Y)≥0I(X;Y)≥0定理2.6.4: H(X)≤log|X|H(X)≤log|X|定理2.6.5(条件作用使熵减小): H(X|Y)≤H(X)H(X|Y)≤H(X)从直观上讲,此定理说明知道另一随机变量Y的信息只会降低X的不确定度. 注意这仅对平均意义成立. 具体来说, H(X|Y=y)H(X|Y=y) 可能比H(X)H(X)大或者小,或者两者相等.定理 2.6.6(熵的独立界): H(X1,X2,…,X n)≤∑ni=1H(Xi)H(X1,X2,…,Xn)≤∑i=1nH(Xi)2.7 对数和不等式及其应用定理 2.7.1(对数和不等式): ∑ni=1ailogaibi≥(∑ni=1ai)log∑ni=1ai∑ni=1bi∑i=1nailogaibi≥(∑i =1nai)log∑i=1nai∑i=1nbi定理2.7.2(相对熵的凸性): D(p||q)D(p||q) 关于对(p,q)是凸的定理2.7.3(熵的凹性): H(p)是关于p的凹函数2.8 数据处理不等式2.9 充分统计量这节很有意思,利用统计量代替原有抽样,并且不损失信息.2.10 费诺不等式定理2.10.1(费诺不等式): 对任何满足X→Y→X^,X→Y→X^, 设Pe=Pr{X≠X^},Pe=Pr{X≠X^}, 有H(Pe)+Pe log|X|≥H(X|X^)≥H(X|Y)H(Pe)+Pelog|X|≥H(X|X^)≥H(X|Y)上述不等式可以减弱为1+Pe log|X|≥H(X|Y)1+Pelog|X|≥H(X|Y)或Pe≥H(X|Y)−1log|X|Pe≥H(X|Y)−1log|X|引理 2.10.1: 如果X和X’独立同分布,具有熵H(X),则Pr(X=X′)≥2−H(X)Pr(X=X′)≥2−H(X)3 渐进均分性4 随机过程的熵率4.1 马尔科夫链4.2 熵率4.3 例子:加权图上随机游动的熵率4.4 热力学第二定律4.5 马尔科夫链的函数H(Yn|Y n−1,…,Y1,X1)≤H(Y)≤H(Y n|Y n−1,…,Y1)H(Yn|Yn−1,…,Y1,X1)≤H(Y)≤H(Yn|Yn−1,…,Y1)5 数据压缩5.1 有关编码的几个例子5.2 Kraft不等式定理5.2.1(Kraft不等式): 对于D元字母表上的即时码,码字长度l1,l2,…,l m l1,l2,…,lm必定满足不等式∑iD−li≤1∑iD−li≤15.3 最优码l∗i=−log Dpili∗=−logDpi5.4 最优码长的界5.5 唯一可译码的Kraft不等式5.6 赫夫曼码5.7 有关赫夫曼码的评论5.8 赫夫曼码的最优性5.9 Shannon-Fano-Elias编码5.10 香农码的竞争最优性5.11由均匀硬币投掷生成离散分布6 博弈与数据压缩6.1 赛马6.2 博弈与边信息6.3 相依的赛马及其熵率6.4 英文的熵6.5 数据压缩与博弈6.6 英语的熵的博弈估计7 信道容量离散信道: C=maxp(x)I(X;Y)C=maxp(x)I(X;Y)7.1 信道容量的几个例子7.2 对称信道如果信道转移矩阵p(y|x)p(y|x) 的任何两行相互置换,任何两列也相互置换,那么称该信道是对称的.7.3 信道容量的性质7.4 信道编码定理预览7.5 定义7.6 联合典型序列7.7 信道编码定理7.8 零误差码7.9 费诺不等式与编码定理的逆定理7.10 信道编码定理的逆定理中的等式7.11 汉明码7.12 反馈容量7.13 信源信道分离定理8 微分熵8.1 定义h(X)=−∫Sf(x)logf(x)dxh(X)=−∫Sf(x)logf(x)dx均匀分布 h(X)=logah(X)=loga正态分布h(X)=1/2log2πeδ2h(X)=1/2log2πeδ2 8.2 连续随机变量的AEP8.3 微分熵与离散熵的关系8.4 联合微分熵与条件微分熵8.5 相对熵与互信息8.6 微分熵, 相对熵以及互信息的性质。
中国科学技术大学数学系课程简介
课 号：MA02006 课程名称（中文）：线性代数（2） 课程名称（英文）：Linear Algebra (II) 学 时：80 学 分：4 开课学期：秋 预修课程：整数与多项式、MA03003 解析几何 适用对象和学科方向：数学 主要内容：本课程讲授线性空间关于线性变换的空间分解理论和矩阵的 Jordan 标准型理论；讲授 Euclid
28
பைடு நூலகம்
热传导方程与调和方程的定解问题，解的存在性、唯一性和稳定性。适当地介绍方程线的 相应问题及柯西-柯娃列夫斯卡娅定理，对特征理论、算子理论、广义函数理论也做了适量 的讨论。通过内容的论述介绍了偏微分方程中常用的广义解及处理手段并适当地引入一些 现代化的处理方法
的微分学和积分学的基本内容以及基本的运算技巧和方法。
课 号：MA02001 课程名称（中文）：数学分析（2） 课程名称（英文）：Mathematical Analysis(2) 学 时：100 学 分：5 开课学期：春 预修课程：MA02000 数学分析（1） 适用对象和学科方向：数学 主要内容：本课程主要讲授数项级数，函数列与函数项级数，Fourier级数与Fourier积分；Rn的拓扑及
多变量连续函数的性质。
课 号：MA02002 课程名称（中文）：数学分析（3） 课程名称（英文）：Mathematical Analysis(3) 学 时：80 学 分：4 开课学期：秋 预修课程：MA02001 数学分析（2） 适用对象和学科方向：数学 主要内容：本课程讲授多变量函数的微分学和积分学，表达重积分和线面积分之间关系的 Green 公式，
Gauss 公式和 Stokes 公式；介绍数量场和向量场中几个重要的量以及它们之间的关系；讲 授用参变量积分表示的函数的性质。
信息论基础
信息论基础
信息论是一门研究信息传输和处理的科学。
它的基础理论主要有以下几个方面：
1. 信息的定义：在信息论中，信息被定义为能够消除不确定性的东西。
当我们获得一条消息时，我们之前关于该消息的不确定性会被消除或减少。
信息的量可以通过其发生的概率来表示，概率越小，信息量越大。
2. 熵：熵是一个表示不确定性的量。
在信息论中，熵被用来衡量一个随机变量的不确定性，即随机变量的平均信息量。
熵越大，表示随机变量的不确定性越高。
3. 信息的传输和编码：信息在传输过程中需要进行编码和解码。
编码是将消息转换为一种合适的信号形式，使其能够通过传输渠道传输。
解码则是将接收到的信号转换回原始消息。
4. 信道容量：信道容量是指一个信道能够传输的最大信息量。
它与信道的带宽、噪声水平等因素相关。
信道容量的
计算可以通过香浓定理来进行。
5. 信息压缩：信息压缩是指将信息表示为更为紧凑的形式，以减少存储或传输空间的使用。
信息压缩的目标是在保持
信息内容的同时，尽可能减少其表示所需的比特数。
信息论还有其他一些重要的概念和理论，如互信息、信道
编码定理等，这些都是信息论的基础。
信息论的研究不仅
在信息科学领域具有重要应用，还在通信、计算机科学、
统计学等领域发挥着重要作用。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论基础
教师：吴旭 手机：18236888638 Email：wuxu@
1
信息论与编码原理
教பைடு நூலகம்： 曹雪虹,张宗橙．信息论与编码(第二版)． 9 2009 北京：清华大学出版社，200
2
参考书：
1.叶中行．信息论基础．北京：高等教育出版社， 2.孙丽华，陈荣伶 ．信息论与编码．江西：科学技 术出版社，2002 3.田丽华．编码理论．西安：西安电子科技大学 出版社，2003 4.张鸣瑞，邹世开．编码理论．北京：北京航天航空 出版社，1990 5. 姜丹．信息论与编码．北京：中国科学技术大学 出版社， 2004 6. 曹雪虹，张宗橙．信息论与编码．北京：北京邮 电大学出版社， 2001 7. 傅祖芸．信息理论与编码学习辅导及精选题 解．北京：电子工业出版社，2004
1.2 通信系统的模型
�
�
通信系统的模型是什么？各部件的功能 作用是什么？ 通信系统的性能指标有哪些？
28
信息论基础的重要性
�
�
�
信息论是信息科学和技术的基本理论，信息科 学大厦的地基； 没有信息论的基础，从事通信与信息领域的研 究和创新是不可能的事情； 总之，信息论是高层次信息技术人才必不可少 的基础知识。
� 信息的基本概念在于它的不确定性，任 何已经确定的事物都不含有信息。 例.如果你问你的同学“明天是星期几”，则 答案中含有多少信息量？ 情况一.你不知道今天是星期几 情况二.你知道今天是星期一 � 通信过程是一种消除不确定性的过程, 不确定性的消除,就获得了信息。 例.同学对你说”你编码原理考试通过了”, 你得到了消息,获得了信息吗?
�
信息：是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信 息。信息是抽象的意识或知识，它是看不见、摸不 到的。人脑的思维活动产生的一种想法，当它仍储 存在脑子中的时候就是一种信息。信息是信号与消 息的更高表达层次。三个层次中，信号最具体，信 息最抽象。它们三者之间的关系是哲学上的内涵与 外延的关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
熵（Entropy）
定义
一个离散随机变量
的熵
定义为 熵的量纲根据对数 的底来定义
对数取2为底，对应的熵的单位是比特(bit)； 取e为底（自然对数），熵的单位为奈特(nat)； 取10为底（常用对数），熵的单位为哈特(hart)
各单位间的换算：
中国科学技术大学 刘斌 《信息论基础》 17
例 布袋中装有手感觉完全一样的球，但颜色和数量不同， 问下面三种情况下随意拿出一个球的不确定程度的大小。 （1）99个红球和1个白球（2）50个红球和50个白球 （3）红球、白球、黑球、黄球各25个
中国科学技术大学 刘斌 《信息论基础》 11
自信息量需满足的条件
自信息量是事件发生概率的函数 自信息量函数必须满足以下条件：
解：“e”的自信息量 “d”的自信息量 “y”的自信息量
15
中国科学技术大学 刘斌
《信息论基础》
自信息量的性质
自信息量是非负的 确定事件的信息量为 零 自信息量是概率的单 调递减函数 I(x)基于随机变量X 的特定取值x，不能 作为整个随机变量X 的信息测度。
中国科学技术大学 刘斌 《信息论基础》 16
第二章
熵、相对熵和互信息
离散随机变量： 字母表（取值空间）： 概率密度函数：
注意：大写字母X代表随机变量，小写字母x代 表随机变量的一个取值（事件，消息，符号）。
中国科学技术大学 刘斌 《信息论基础》 10
自信息量的物理含义
自信息量表示事件发生后，事件给予观察者的 信息量。 自信息量的大小取决于事件发生的概率。事件 发生的可能性越大，它所包含的信息量就越小。 反之，事件发生的概率越小，它能给与观察者 的信息量就越大。
中国科学技术大学 刘斌
《信息论基础》
2
课程安排
授课时间：40学时
32学时上课，6学时复习和答疑，2学时考试
课后作业
每周一交给助教，周三发回
评分标准
期末考试：60分 课后作业：32分，共8次作业，每次满分4分
抄作业，该次作业按0分算 迟交作业，该次作业满分按2分记
若 ，则 若 ，则 若 ，则 对于两个统计独立事件，
中国科学技术大学 刘斌
《信息论基础》
12
自信息量的数学表达式
定义
事件x的自信息量为
I(x)实质上是无量纲的 为研究问题方便， I(x)的量纲根据对数的 底来定义
对数取2为底，自信息量的单位是比特(bit)； 取e为底（自然对数），单位为奈特(nat)； 取10为底（常用对数），单位为哈特(hart)
熵与信息的关系
消息是信息的载体。信息是抽象的，消息是 具体的。 一个人获得消息→消除不确定性→获得信息。 信息的度量（信息量）和不确定性消除的程 度有关，消除的不确定性＝获得的信息量； 熵是随机变量平均不确定度的度量，同时它 也代表了消除随机变量不确定度所需获得的 信息量。
平时介
信息论是在对通信理论的研究中发展起来的
1. 信源编码：临界数据压缩的值（熵 H） 2. 信道编码：临界通信传输速率的值（信道容量 C）
信息论涉及许多学科：统计物理，计算机科 学，概率与统计等 信息的理论安全性和实际安全性 本课程主要讲授香农（Shannon）信息论 的基本理论
不确定性：信息就是用来消除不确定性的东西
中国科学技术大学 刘斌 《信息论基础》 8
信息的度量
信息的度量和不确定性消除的程度有关 不确定性的程度与事件发生的概率有关 信息量与概率的关系
信息量是概率的单调递减函数 概率小，信息量大 概率大，信息量小
中国科学技术大学 刘斌 《信息论基础》 9
第一章 绪论与概览
什么是信息？
当今社会是信息社会 信息的含义模糊和难于捉摸
如何准确的度量信息？
一般来说，可以判断是否获得信息，但无法准 确的度量信息 应用数学工具，通过数学的运算来度量信息
中国科学技术大学 刘斌 《信息论基础》 7
Shannon信息论的三个基本论点
1948 Shannon 《通信的数学原理》”A Mathematical Theory of Communication” Shannon信息论的三个论点
中国科学技术大学 刘斌
《信息论基础》
5
课程内容
第2章：熵、相对熵和互信息 第3章：渐进均分性 第4章：随机过程的熵率 第5章：数据压缩 第7章：信道容量 第8章：微分熵 第9章：高斯信道 第10章：率失真理论 信息论和信息安全
《信息论基础》 6
中国科学技术大学 刘斌
中国科学技术大学 刘斌 《信息论基础》 13
自信息量单位的转换
对数的换底公式
一般情况下，我们在课程中使用2为底的对 数，信息量的单位是比特。
中国科学技术大学 刘斌 《信息论基础》 14
自信息量的例子
例
英文字母中“e”出现的概率为0.105，“d” 出现的概率为0.035，“y”出现的概率为 0.012。分别计算它们的自信息量。
《信息论基础》
信息安全专业 2017-2018学年第一学期
中国科学技术大学 刘斌
Email: flowice@
办公室：科技实验楼西楼1711室
助教：赵坤 课程主页： /teach/InfoTheory/
自我介绍
江西南昌人 9400->SA9806->2001->2009 爱好：篮球，集邮 研究方向：计算机视觉及多媒体信息处理； 可穿戴设备组网、安全及信息处理；智能家 居；
中国科学技术大学 刘斌 《信息论基础》 4
课程教材及预修课程
教科书
《信息论基础》（美）Thomas M. Cover， Joy A. Thomas 著，阮吉寿 张华 译，机械工业出版 社
参考书
《信息论与编码》，姜丹 著，中国科技大学出版社
预修课程
多变量微积分、线性代数、概率论与数理统计
形式化假说：通信的任务只是在接收端把发送端发出的消
息从形式上复制出来，消息的语义、语用是接收者自己的事， 与传送消息的通信系统无关。只保留了数学可描述的内容。
非决定论：一切有通信意义的消息的发生都是随机的，消息
传递中遇到的噪声干扰也是随机的，通信系统的设计应采用概 率论、随机过程、数理统计等数学工具。