信息论基础课程讲义1
第10章信息论基础讲义
第10章信息论基础＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝运用概率论与数理统计方法研究信息的度量、传递、变换等规律基本概念：1) 熵——度量消息中的不确定性；2)互信息——度量传递信息的多少。
基本结论：1)通信的效率可以借助信源压缩编码来提高——压缩信源的极限是信源的熵；2)噪声信道中可以借助信道编码来实现无差错的通信——无差错通信的速率上限是信道的容量。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝本章目录：10.1 熵与互信息10.2 离散信道与信道容量10.3 相对熵与高斯信道容量10.4 离散信源编码与压缩算法10.5 *率失真函数与限失真编码定理＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝10.1熵与互信息＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝10.1.1 熵及其特性“无记忆”——各时刻的符号独立同分布离散无记忆信源（DMS ）——字符集为12,,,M a a a 取值概率12,,,M p p p 熵——X 所蕴含的不确定：1log Mi ii H Xp p 是自信息量log i i I p p 的平均值＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝熵的范围为20,log M ：1)最小值为0：消息完全确定（某个1i p ）2)最大值为2log M ：消息完全随机（取值等概）；采用log 原因：（1）只依赖于概率i p ，与取值i a 无关；（2）i p 的非负、连续函数，它的取值；（3）独立性对应可加性＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝例10.1二进制DMS ：X 的二种取值为0,1，概率分别为p 与1p 222,1log 1log 1()H X H p pH p p p p p bits ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝10.1.2 联合熵与条件熵随机变量,X Y ：取值为,i j x y ，概率为,i j p x y ，条件概率为|i jp x y 1）联合熵：,,log ,i j i ji j H X Yp x y p x y X 与Y 共同蕴含的不确定性，因此，,H X Y H X H YX 与Y 独立时，取等号＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝2）条件熵：|,log |i j i ji j H X Yp x y p x y 给定Y 总是减少X 的不确定性：|H X YH X 基本性质：（1）|(|)j H X YE H X Y y （2）X Y 时，|0H X Y ；（3）X 与Y 独立时，|H X Y H X ；。
《信息论基础》课件
2
信息论与数学中的概率论、统计学、组合数学等 学科密切相关，这些学科为信息论提供了重要的 数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也 有密切的联系，这些学科为信息论提供了更深层 次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信 息论和网络信息论等领域，探 索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技 术的快速发展，信息论将在 数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全 、隐私保护等问题，为构建安 全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）： 一种能够纠正一位错误的线性 纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛 应用于数据存储和通信领域的 强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性 编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见 的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信息论基础1~8
信息论基础1~81 绪论与概览2 熵相对熵与互信息2.1 熵H(X)=−∑x∈X p(x)logp(x)H(X)=−∑x∈Xp(x)logp(x)2.2 联合熵H(X,Y)=−∑x∈X∑y∈Y p(x,y)logp(x,y)H(X,Y)=−∑x∈X∑y∈Yp(x,y)logp(x,y)H(Y|X)=∑x∈X p(x)H(Y|X=x)H(Y|X)=∑x∈Xp(x)H(Y|X=x)定理2.2.1(链式法则): H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y|X) 2.3 相对熵与互信息相对熵(relative entropy): D(p||q)=∑x∈X p(x)logp(x)q(x)=Eplogp(x)q(x)D(p||q)=∑x∈Xp(x)lo gp(x)q(x)=Eplogp(x)q(x)互信息(mutual information): I(X;Y)=∑x∈X∑y∈Y p(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))I(X;Y) =∑x∈X∑y∈Yp(x,y)logp(x,y)p(x)p(y)=D(p(x,y)||p(x)p(y))2.4 熵与互信息的关系I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)2.5 熵,相对熵与互信息的链式法则定理 2.5.1(熵的链式法则): H(X1,X2,...,X n)=∑ni=1H(Xi|X i−1,...,X1)H(X1,X2,...,Xn)=∑i=1nH(Xi| Xi−1, (X1)定理 2.5.2(互信息的链式法则): I(X1,X2,...,X n;Y)=∑ni=1I(Xi;Y|X i−1,...,X1)I(X1,X2,...,Xn;Y)=∑i=1nI(Xi ;Y|Xi−1, (X1)条件相对熵: D(p(y|x)||q(y|x))=∑x p(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp(Y|X)q( Y|X)D(p(y|x)||q(y|x))=∑xp(x)∑yp(y|x)logp(y|x)q(y|x)=Ep(x,y)logp (Y|X)q(Y|X)定理 2.5.3(相对熵的链式法则): D(p(x,y)||q(x,y))=D(p(x)||q(x))+D(p(y|x)||q(y|x))D(p(x,y)||q(x,y))=D( p(x)||q(x))+D(p(y|x)||q(y|x))2.6 Jensen不等式及其结果定理2.6.2(Jensen不等式): 若给定凸函数f和一个随机变量X,则Ef(X)≥f(EX)Ef(X)≥f(EX)定理2.6.3(信息不等式): D(p||q)≥0D(p||q)≥0推论(互信息的非负性): I(X;Y)≥0I(X;Y)≥0定理2.6.4: H(X)≤log|X|H(X)≤log|X|定理2.6.5(条件作用使熵减小): H(X|Y)≤H(X)H(X|Y)≤H(X)从直观上讲,此定理说明知道另一随机变量Y的信息只会降低X的不确定度. 注意这仅对平均意义成立. 具体来说, H(X|Y=y)H(X|Y=y) 可能比H(X)H(X)大或者小,或者两者相等.定理 2.6.6(熵的独立界): H(X1,X2,…,X n)≤∑ni=1H(Xi)H(X1,X2,…,Xn)≤∑i=1nH(Xi)2.7 对数和不等式及其应用定理 2.7.1(对数和不等式): ∑ni=1ailogaibi≥(∑ni=1ai)log∑ni=1ai∑ni=1bi∑i=1nailogaibi≥(∑i =1nai)log∑i=1nai∑i=1nbi定理2.7.2(相对熵的凸性): D(p||q)D(p||q) 关于对(p,q)是凸的定理2.7.3(熵的凹性): H(p)是关于p的凹函数2.8 数据处理不等式2.9 充分统计量这节很有意思,利用统计量代替原有抽样,并且不损失信息.2.10 费诺不等式定理2.10.1(费诺不等式): 对任何满足X→Y→X^,X→Y→X^, 设Pe=Pr{X≠X^},Pe=Pr{X≠X^}, 有H(Pe)+Pe log|X|≥H(X|X^)≥H(X|Y)H(Pe)+Pelog|X|≥H(X|X^)≥H(X|Y)上述不等式可以减弱为1+Pe log|X|≥H(X|Y)1+Pelog|X|≥H(X|Y)或Pe≥H(X|Y)−1log|X|Pe≥H(X|Y)−1log|X|引理 2.10.1: 如果X和X’独立同分布,具有熵H(X),则Pr(X=X′)≥2−H(X)Pr(X=X′)≥2−H(X)3 渐进均分性4 随机过程的熵率4.1 马尔科夫链4.2 熵率4.3 例子:加权图上随机游动的熵率4.4 热力学第二定律4.5 马尔科夫链的函数H(Yn|Y n−1,…,Y1,X1)≤H(Y)≤H(Y n|Y n−1,…,Y1)H(Yn|Yn−1,…,Y1,X1)≤H(Y)≤H(Yn|Yn−1,…,Y1)5 数据压缩5.1 有关编码的几个例子5.2 Kraft不等式定理5.2.1(Kraft不等式): 对于D元字母表上的即时码,码字长度l1,l2,…,l m l1,l2,…,lm必定满足不等式∑iD−li≤1∑iD−li≤15.3 最优码l∗i=−log Dpili∗=−logDpi5.4 最优码长的界5.5 唯一可译码的Kraft不等式5.6 赫夫曼码5.7 有关赫夫曼码的评论5.8 赫夫曼码的最优性5.9 Shannon-Fano-Elias编码5.10 香农码的竞争最优性5.11由均匀硬币投掷生成离散分布6 博弈与数据压缩6.1 赛马6.2 博弈与边信息6.3 相依的赛马及其熵率6.4 英文的熵6.5 数据压缩与博弈6.6 英语的熵的博弈估计7 信道容量离散信道: C=maxp(x)I(X;Y)C=maxp(x)I(X;Y)7.1 信道容量的几个例子7.2 对称信道如果信道转移矩阵p(y|x)p(y|x) 的任何两行相互置换,任何两列也相互置换,那么称该信道是对称的.7.3 信道容量的性质7.4 信道编码定理预览7.5 定义7.6 联合典型序列7.7 信道编码定理7.8 零误差码7.9 费诺不等式与编码定理的逆定理7.10 信道编码定理的逆定理中的等式7.11 汉明码7.12 反馈容量7.13 信源信道分离定理8 微分熵8.1 定义h(X)=−∫Sf(x)logf(x)dxh(X)=−∫Sf(x)logf(x)dx均匀分布 h(X)=logah(X)=loga正态分布h(X)=1/2log2πeδ2h(X)=1/2log2πeδ2 8.2 连续随机变量的AEP8.3 微分熵与离散熵的关系8.4 联合微分熵与条件微分熵8.5 相对熵与互信息8.6 微分熵, 相对熵以及互信息的性质。
信息论基础教程(一)
信息论基础教程(一)
信息论基础教程
一、引言
1.什么是信息论？
2.由来和应用领域
二、信息的定义
1.信息的测量单位
2.信息的数学表示
三、信息的熵
1.熵的概念
2.熵的计算公式
3.熵的性质
四、信息的压缩与编码
1.无损压缩与编码
2.哈夫曼编码
3.香农编码
五、信道容量
1.信道模型
2.信道容量的计算
3.极限定理
六、误差检测和纠正
1.奇偶校验
2.海明码
七、信息论在通信领域的应用
1.数据压缩
2.信道编码
3.无线传输
八、信息论的未来发展
1.量子信息论
2.生物信息学
以上是详细的信息论基础教程大纲，通过Markdown格式的标题副标题形式来展现。
文章采用列点的方式生成，遵守规则的前提下准确
描述了信息论的基础知识，包括信息的定义和测量、熵的概念和计算、
信息的压缩与编码、信道容量、误差检测和纠正等内容。
同时，还介绍了信息论在通信领域的应用以及未来的发展方向。
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
信息论基础讲义
（7，4）汉明码的译码算法
1. 计算伴随式 s Hy ； ˆ 0 ；到4步。 2. 如果s = 0，设置 z 3. 寻找H中唯一与s相同的列，称它为第i 列，并设置 z ˆ 的第i位等于1，其余位 都为0。 ˆ yz ˆ 。（这是接收者对传输 4. 设置 x 码字的估计。） ˆ0 , x ˆ1 , x ˆ2 , x ˆ3）。 5. 输出 x ˆ 的前四个分量（ x （这是解码器对原始信源比特的估 计。）
图0.1 对应BSC(p=0.1)的一些可达到的(R，Pe)点
如果存在一个（n,k)码满足
k/n x, Pe y, 就称图0.1中
的点(x,y)是“可达到”的。
（n,k）码
u y
x
信源 u1 , u2 , , uk 编道
0 1 0 1 111 0 0 1 1 0 110 1 0 1 1 1 010 0 1 0 0 1
101
z可能的16种候选值： 0100000 0010011 1100011 0001010 0000101 0111001 0110110 1010000 0101111 1001001 1000110 1111010 1110101 0011100 1101100 1011111 重量最小的错误图案(0100000)只有一个， 这里重量代表错误图案中1的个数。 传输码字的估计是x＝y＋z＝（0011001）； 而最终对四个信源比特的估计是（0011）。
误比特率
1 3 P (1 p ) p e 4 4 1 p/2 4
注意到，R=3时，前一种“抛硬币”方法的结果为
1/3+p/3, 因此现在的结果要更小些。
信息论基础教学课件ppt信息论基础概述信息论基础概论
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础
3) 归一性：
H
s
1 2
,
1 2
1
信息论基础
4) 可扩展性：
H s ( p1 , pN ) H s (0, p1 ,, pN ) H s ( p1 ,, pi ,0, pi1 , pN ) H s ( p1,, pN ,0), i 1,, N 1
信息论基础
5) 确定性：
不是信息本身。
信息论基础
信息如何度量：
事物特性五花八门， 物质有一个量——质量 m 信息可否有一个量：信息量？
信息论基础
事物特性一个最普遍的特征： 组织程度——结构化——有序性
如果能找到一个组织程度的衡量也好。
很难。
反过来：找一个混乱程度的度量，一个 无序性的度量——有先例——热力学 热运动是一种无序运动。
11.信息是数据或消息中所蕴含的定义，它与 信息载体无关。（人工智能词典）
12.信息是客观世界在万物和人类彼此之间相 互感受和认识的再现，它反映了被感受对 象和所考察事物的状态、特性和变化。
信息论基础
1. 客观性。 2. 主体的引入。 3. 形式与实际内涵。
深入其内涵 4. 不确定性是信息的一种度量，但并
0 q jk 1,
k 1,, N,
j
1,,
M
,
N
q jk 1
k 1
信息论基础
7) 极值性：
H
s
(
p1 ,,
pN
)
Hs
1 N
,,
1 N
log
N
信息论基础
8) 条件熵不大于无条件熵:
M
p j H s (q j1,, q jN
)
H s
M
M
p j q j1,,
p j q jN
信息论基础
③ 可加性： 随机变量的取值通过若干次试验才最后 得到时，随即变量在多次试验中的不确 定性程度应可加，且其和与通过一次试 验所取得结果的不确定性程度相同：
信息论基础
例：
H
s
1 2
,
1 3
,
1 6
H
s
1 2
,
1 2
1 2
H
s
2 3
,
1 3
1 2
x1
1
3 x2
1 6
x3
1 P1 2
N
Pn 1 1
信息论基础
用密度矩阵描述
P()
a1
P1
aN PN
信息论基础
例：
P()
a1 0.01
a2 0.99
P()
b1 0.4
b2 0.6
P()
c1 0.5
c2 0.5
信息论基础
从概念可知， 若 P(a1) 0 ，P(a2 ) 1，不确定性为0。 故不确定性最大为： P(a1) 0.5 ，P(a2 ) 0.5，等概率。
信息论基础
无序性与热熵的关系：
物理学家R. Clausius提出熵的定义：
S
dQ T
Q —— 热量 T —— 绝对温度 描述热力学系统状况的一个函数
信息论基础
玻耳兹曼给出熵与物理系统微观 状态数 的关系：
S ln
信息论基础
1900年普朗克引进玻耳兹曼常数K， 得：
S K ln
越大，表示系统可能的微观
熵与信息量
信息论基础
Shannon熵公式的重要性质： 1) 非负性：（不确定性最小为0）
log pk 0, 0 pk 1
H (x) 0
信息论基础
2) 对称性： H s ( p1 , p N ) H s ( pK (1) , pK (N ) )
其中 {k(1),, k(N)} 是 {1,, N} 的任意 变换。
5. 知识就是信息。（日本广辞苑） 6. 使事件出现不确定性减少的消息就
是信息。
信息论基础
7. 差异就是信息。 8. 消息是组织程度的度量。 9. 信息是客观事物在我们感受中的反
映。 （人死了还有信息吗？）客观性。
信息论基础
10.信息就是我们在适应外部世界和控制外部 世界过程中，同外部世界进行交换的内容 与名称。（物质与能量呢？）
信息论基础
信息论基础
什么是信息的12个问题：
1. 消息就是信息。(虚假消息也是信 息？有人称为负信息。)
2. 数据就是信息。 (形式与内容相同的。)
3. 新闻就是信息。
韦伯字典 牛津字典
信息论基础
4. 对消息接受者来说，预先不知道的 报道。 (辞海)
知道了就不是信息？没有信息？ 预先知道就没有信息。
状态数越多，即可能的变化越大， 可看为无序性越大。
信息论基础
热熵：系统无序性的一个度量， 或分子位置不确定性的一种度量。
从概率理论出发，对不确定性度 量的另一种考虑：
如何确定一个随机变量的不确定性程 度？
信息论基础
一个函数随机变量X，有N个可能取值： a1 aN ，各取值出现概率
P1 P(a1 ) ……
P2
1 3
P3
1 61x122 3x21q
2
1
x3
3
1 P1 2
P2
1 3
P3
1 6
信息论基础
仙农证明，同时满足三条件，形 式唯一：
N
f (P1 , P2 , PN ) C * pn * log pn n 1 C = 常数 > 0
信息论基础
形式上与热力学的熵相同。 叫什么名字呢？
仙农：叫“信息”？ Neuman：熵
显然，不确定性的大小与概率分布有关。
▪ 是什么关系呢？
信息论基础
仙农提出，应是概率分布的函数 f (P1, P2 ,PN ) 它满足：
① 连续性：是 Pn的连续函数。 ② 等概率时，是N的单调增函数。
若 f 1 , 1 , 1 g(N ) 是N的单调增函数，
N N N
▪ 等概率时，取值数越多，不确定性越大
H s (1,0) H s (0,1) 0
信息论基础
6) 可加性：
H s ( p1q11 ,, p1q1N ,, pM qM1 , pM qMN )
M
H s ( p1 ,, pM ) p j H s (q j1 ,, q jN ) s 1 M 0 p j 1, j 1,, M , p j 1 j 1
j 1
j1
j 1
0 p j 1, 0 q jk 1,
j 1,, M , k 1,, M ,
M
pj 1
j 1
M
q jk 1
k 1
j 1,, M
信息论基础
9) Shannon不等式:
N
N
pi log pi pi log qi
i 1
i 1
0 pi 1, 0 qi 1
i 1,, N; i 1,, N
M
pi 1
i 1
M
qi 1
i 1
信息论基础
10) H(p)是p的上凸函数:
对二元熵函数
x
p(x)
0
p
1
1
p
，有
p=0.5最大，p=0，1最小 H(p)随p偏离0.5而单调下降
信息论基础
H P
0
0.5
1.0 P