第二章教育信息熵
熵与信息,教育,经济,人口,社会的关系
信息论中的信息是上述各种信 息的抽象化和定量化，它同任 何意义无关，已不存在诸如有 意义或无意义、有无目的等概 念。对这种信息的度量，导致 了信息熵概念的建立。
1948年，申农把波尔兹曼熵的概念引入信息论中，把熵作为 一个随机事件的不确定性或信息量的量度，从而奠定了现代信 息论的科学理论基础，大大地促进了信息论的发展。 信息量 是信息论的中心概念。信息论量度信息的基本出发点，是把获 得的信息看作用以消除不确定的东西。因此信息数量的大小， 可以用被消除的不确定性的多少来表示，而随机事件的不确定 性的大小可以用几率分布函数来描述。
熵的概念意味着，随着社会的发展，能量消耗的增大， 我们的世界的熵正在不断增大，社会正走向无序，而现 在出现的能源问题、环境问题、人口爆炸性增长等问题 又恰好印证了熵增的原理。因此一些持有悲观的社会发 展观点的人认为，社会的发展随着经济财富的增多，能 量丧失得越多，熵也增加得越多。人类在以自己的劳动 创造商品的价值时，也在增大着地球的熵。总有一天， 当我们再无能源可用，称之为“热寂”时，那时一切自 然、生命将销声匿迹，世界再也没有温暖明媚的阳光、 清新扑面的微风、波涛起伏的海浪而处于一片混乱和无 序之中。人类社会的发展将是一个悲剧化的衰灭过程。
小组成员：布威 迪丽努尔 桂倩 陈哲威 胡琼霞 胡建芳
熵”理论最初是见于热力学的研究中，它与经济学的 交叉渗透在近30年发展起来。学者们普遍认为，熵的概念 和理论，对社会经济系统具有重要意义。因此，将熵的概 念和理论应用于社会经济系统，是经济研究的新方法之一， 并巳取得了一些令人信服的成果。 在经济系统中，熵流维持 着经济系统的运行，在维持 一定利润的前提下，还要保 证总熵值较小。这就要求我 们积极探索经济运行本身固 有的客观规律，构建市场、 政府、伦理三位一体、共同 协调作用的控制机制，以达 到资源的有效配置，信息的 有效处理，实现低熵经济系 统。
信息熵 标准
信息熵标准全文共四篇示例，供读者参考第一篇示例：信息熵是信息论中的一个重要概念，它是用来衡量信息的不确定程度的指标。
在信息论中，信息熵是一个非常重要的概念，它可以用来衡量信息的多少和质量。
通过信息熵，我们可以了解信息的不确定性程度，也可以用来优化信息传输和存储的效率。
信息熵的概念最早由克劳德·香农在1948年提出，通过信息熵的计算，可以得到信息的平均信息量。
信息熵的计算公式如下：H(X) = -Σp(x)log2p(x)H(X)表示随机变量X的信息熵，p(x)表示随机变量X的取值为x的概率。
信息熵的大小与信息的不确定性成正比，当信息熵越大时，信息的不确定性也就越大。
反之，信息熵越小，信息的不确定性越小。
信息熵的单位是比特（bit），表示一个事件的信息量平均需要多少比特来表示。
信息熵的概念在信息论中有着广泛的应用，尤其在通信领域中，信息熵可以帮助我们设计更有效的编码和解码技术，提高信息传输的效率。
通过信息熵的计算，我们可以了解信息的分布规律，优化传输过程中的数据压缩和纠错机制，提高信息传输的可靠性和稳定性。
在实际应用中，信息熵也被广泛应用于数据加密和解密的领域。
通过信息熵的计算，我们可以评估加密算法的安全性，了解信息的随机性和不确定性，帮助我们设计更加安全可靠的加密算法，保护数据的安全和隐私。
信息熵是信息论中的一个重要概念，它在各个领域都有着广泛的应用，可以帮助我们理解信息的不确定性和复杂性，优化信息传输和存储的效率，保护数据的安全和隐私，提高机器学习和数据挖掘的算法性能。
信息熵的标准是一种用来衡量信息量和信息质量的标准，通过信息熵的计算，我们可以得到信息的平均信息量，了解信息的不确定性程度，帮助我们设计更加高效和可靠的信息系统。
【这是我认为信息熵标准的相关内容，希望对您有所帮助。
】第二篇示例：信息熵是信息论中的一个重要概念，它是用来衡量信息的不确定性或者信息量的大小。
在信息论中，信息熵是一个非常重要的指标，它可以用来描述一个信息源的不确定性的大小，也可以用来衡量信息传输中的效率。
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息熵的定义和公式并描述公式
信息熵的定义和公式并描述公式信息熵这个概念听起来好像有点高大上，但其实它并没有那么难以理解。
咱们先来说说啥是信息熵。
想象一下，你在一个超级大的图书馆里找一本书，这个图书馆里的书摆放得毫无规律，有的类别混在一起，有的作者的书分散在各个角落。
这时候，你要找到你想要的那本书就特别费劲，因为不确定性太大了，对吧？这种不确定性，就可以用信息熵来衡量。
信息熵简单来说，就是描述一个系统中信息的混乱程度或者说不确定性的量。
比如说，一个抽奖活动，要是中奖的可能性都差不多，那这时候的信息熵就比较大，因为你很难确定到底谁能中奖。
但要是几乎可以肯定只有一个人能中奖，那信息熵就小多啦。
那信息熵的公式是啥呢？它的公式是这样的：H(X) = -∑p(x)log₂p(x) 。
这里的 X 代表一个随机变量，p(x) 是这个随机变量的概率。
咱们来仔细瞅瞅这个公式哈。
“∑”这个符号就是求和的意思，就是把后面的那些项都加起来。
那“p(x)log₂p(x)”又是啥呢？假设我们有个事件 A 发生的概率是 0.5，那 0.5 乘以 log₂0.5 就是这个事件的一项。
给您举个特别简单的例子来理解这个公式。
比如说有个盒子，里面有红、蓝、绿三种颜色的球，红球有3 个，蓝球有2 个，绿球有5 个。
那总共有 10 个球。
红球出现的概率就是 3/10，蓝球是 2/10，绿球是5/10 。
然后咱们来算信息熵。
按照公式，H(X) = - ( 3/10 * log₂(3/10) +2/10 * log₂(2/10) + 5/10 * log₂(5/10) ) 。
算出来这个值，就能知道这个盒子里球的颜色分布的不确定性有多大啦。
我还记得之前在给学生讲这个知识点的时候，有个学生一脸懵地问我：“老师，这信息熵到底有啥用啊？”我就跟他说：“你想想啊，咱们平时上网搜索东西，搜索引擎得判断哪些结果最有用、最相关，这就得用到信息熵的概念来衡量信息的不确定性和混乱程度，才能给咱们更准确的结果。
信息熵 标准
信息熵是衡量信息不确定性的一个重要指标，由克劳德·香农在1948年提出，是信息论的基础之一。
信息熵不仅在通信理论中有广泛应用，也对统计学、物理学、计算机科学等多个领域产生了深远影响。
一、信息熵的定义信息熵（Entropy），记作H(X)，是描述信息量的大小的一个度量。
它是随机变量不确定性的量化表示，其值越大，变量的不确定性就越高；反之，其值越小，变量的不确定性就越低。
对于一个离散随机变量X，其概率分布为P(X)，信息熵的数学表达式定义为：\[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_b p(x_i) \]其中，\(p(x_i)\)代表事件\(x_i\)发生的概率，\(n\)是随机变量可能取值的数量，\(\log_b\)是以b为底的对数函数，常见的底数有2（此时单位是比特或bits）、e（纳特或nats）和10。
二、信息熵的直观理解信息熵可以被理解为信息的“不确定性”或“混乱程度”。
当一个系统完全有序时，我们可以准确预测它的状态，此时信息熵最低；反之，如果系统完全无序，我们无法预测其任何状态，此时信息熵最高。
例如，在一个完全公平的硬币投掷实验中，正面和反面出现的概率都是0.5，这时信息熵达到最大值，因为每次投掷的结果最不确定。
三、信息熵的性质1. 非负性：信息熵的值总是非负的，即\(H(X) \geq 0\)。
这是因为概率值在0和1之间，而对数函数在(0,1)区间内是负的，所以信息熵的定义中包含了一个负号。
2. 确定性事件的信息熵为0：如果某个事件发生的概率为1，那么这个事件的信息熵为0，因为这种情况下不存在不确定性。
3. 极值性：对于给定数量的n个可能的事件，当所有事件发生的概率相等时，信息熵达到最大值。
这表示在所有可能性均等时，系统的不确定性最大。
4. 可加性：如果两个随机事件X和Y相互独立，则它们的联合熵等于各自熵的和，即\(H(X,Y) = H(X) + H(Y)\)。
第二章教育信息熵
在不知道结局为单双数时，掷一次骰子的结局 的不确定性为log6 ，在仅告诉你结局是单数或 者双数时是没有全部解除你对结局的疑惑，但 是它确实给了一些信息，这个信息（以I表示） 就用无条件熵与条件熵的差来计量。于是有
I=log6-log3=log6/3=log2
这里的无条件熵就是log6 ，而已经知道结局 是单数或者双数的条件熵可以根据前面的条件 熵公式计算。
➢ 肯定是单点（双点）时它是各个点的概率 ( 条件概率）
123456 单数 1/3 0 1/3 0 1/3 0 双数 0 1/3 0 1/3 0 1/3
公式中的p(yj)有两种情况，一个指单数的出 现概率，一个是双数的出现概率。它们显然 都是1/2 ，因此
通过A、B系统信息熵的计算，有
H(Pa)=1(bit) H(Pb)=2(bit) 由此判定系统B的不确定程度是系统A的两倍。
四、信息熵的基本性质
1．单峰性 设某一系统包含两个事件A、B，其产生 的概率分别为P和1-P。该系统的熵为：
当p为0时，H=0 当p为1时，H=0 当p为1/2时，H有极大值 若系统中每一事件产生的概率相同，均为 1／n，这种系统的H为最大值。
我们称之为信息熵，简称为熵（entropy）。
设某一系统具有四种状态A1、A2、A3、A4，其率 分别为：
p1=1/2, p2=1/4, p3=1/8, p4=1/8 该系统的平均信息量为：
4
H pilo g2pi i1
1 2
lo g2
1 2
1 4
lo g2
1 4
1 8
l
o
g2
1 8
信息熵的概念及其在信息论中的应用
信息熵的概念及其在信息论中的应用信息熵是信息论中的一个重要概念，用来衡量信息的不确定性和随机性。
在信息论的发展中，信息熵被广泛应用于数据压缩、密码学和通信领域等。
本文将详细介绍信息熵的概念和其在信息论中的应用。
一、信息熵的概念信息熵是由美国科学家克劳德·香农（Claude Shannon）在1948年提出的，它是用来衡量随机变量中所包含的信息量。
香农认为，一个事件的信息量和它的不确定性是成正比的。
如果一个事件是确定的，它所包含的信息量就很小；相反，如果一个事件是完全不确定的，那么它所包含的信息量就会很大。
信息熵的计算公式如下：H(X) = -ΣP(x)log(P(x))其中，H(X)代表随机变量X的信息熵，P(x)代表随机变量X取值为x的概率，log代表以2为底的对数运算。
信息熵的单位通常用比特（bit）来表示，表示一个系统所能提供的平均信息量。
比特值越大，代表信息的不确定性越高，信息量越大。
信息熵的概念与热力学中的熵有些相似，都是用来衡量混乱程度或者不确定性的指标。
而信息熵则更加关注于信息的有序性和随机性。
二、信息熵的应用1. 数据压缩信息熵在数据压缩中发挥着重要作用。
根据信息熵的原理，如果某段数据的信息熵较高，那么这段数据中存在较多的冗余信息。
通过将冗余信息删除或者使用更简洁的编码方式表示，可以实现对数据的压缩。
在实际应用中，常用的数据压缩算法如Huffman编码和Lempel-Ziv 编码等都是基于信息熵的原理设计的。
这些算法通过对数据进行分组和编码，去除数据中的冗余信息，从而实现高效的数据压缩。
2. 密码学信息熵在密码学中也有广泛的应用。
在设计密码算法时，我们希望生成的密钥具有高度的随机性和不可预测性，以保证密码的安全性。
信息熵可以被用来评估生成密钥的质量。
如果密钥的信息熵较高，说明密钥具有较高的随机性，对于攻击者来说更加难以猜测。
因此，在密码学中，信息熵可以作为评估密钥强度的一个重要指标。
教育信息处理课复习提纲201106
教育信息处理课复习提纲第一章：教育信息概述1 教学过程是一种信息的传递和信息处理过程。
在这一过程中有效地应用信息技术，有利于实现教学过程最优化。
教学设计是在信息收集、分析、加工、处理的基础上，实现创造信息的操作过程；教学实施是信息的呈现、传递、处理和控制的阶段；教学评价是收集、分析、处理信息的阶段。
2 教育信息的获取：可利用（网络）调查（量表、问卷）、（网络）考试、（网络）交流工具、文献检索（书、杂志、光盘、搜索引擎）、访谈、观察、实地考察、实验等。
教育信息的处理：可利用教材分析（图、ISM）、教学分析（逐语记录、分类、时序、S－T）、结构分析（S－P表、IRS图）、多元分析（回归、聚类）、生物信息分析等方法，可用Excel、SPSS及专门软件等。
教育信息的表达和传送：可利用word、Powerpoint、Authorware、Frontpage等软件，网络、传统媒体等途径。
3 信息论的奠基者香农（C.E.Shannon）将信息定义为熵的减少，即信息可以消除人们对事物认识的不确定性，并将消除不确定程度的多少作为信息量的量度。
信息的价值因人而异。
是否是信息，不是由传者，而是由受者所决定。
4 教育信息表现的结构形式：矩阵、时间序列、图5教育数据数量化的尺度有四种，分别是名义尺度(nominal scale)、序数尺度(ordinal scale) 、等距尺度(interval scale,equal unit scale)、比例尺度(ratio scale)。
第二章：教育信息熵1 信息量：以2为底的对数，单位为字位（bit）。
若对数是以e或10为底,H的单位为nat或dit。
2 信息熵，简称为熵(entropy)。
熵的意义：熵的大小可用于表示概率系统的不确定程度。
设概率系统中有n个事件，每一事件产生的概率为：p i（i=1~n）当事件I产生后，给予我们的信息量为对于n个事件构成的概率系统，每一事件产生的平均信息量为：H为信息熵信息熵的基本性质：单峰性、对称性、渐化性、展开性、确定性3 相对信息熵h信息熵的计算与系统中事件数的多少有关，它不利于我们对不同系统的熵进行比较。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实际使用的英语中，各种字符出现的频 度如表2．1所示。
由于每种字符出现的概率不同，使得实 际使用英语的熵H减少，即H<Hmax 为了表示这种减少的程度，我们以相对 信息熵h来表示。 h=H/Hmax (2-9)
系统的熵与事件的顺序无关。
H (P 1, P 2 , P n ) H ( P , P , P )
' 1 ' 2 ' n
3.渐化性
设概率为pn(=q+r)，的事件可分解为q和r
的两个事件，则有：
H ( p1 , p2 , , pn 1 , q, r ) H ( p1 , p2 , , pn 1 , q r ) q r (q r ) H ( , ) qr qr ( 2 6)
分别为：
p1=1/2, p2=1/4, p3=1/8, p4=1/8
该系统的平均信息量为：
H p ilog2p i
i 1 4
1 1 1 1 1 1 1 1 log2 log2 log2 log2 2 2 4 4 8 8 8 8 1. 75 (bit )
若系统为连续系统：其概率分布为p(x)， 则该系统的信息熵为：
0.0833 0.0833 0.0833 0.0833 0.0833 0.0833
对于随机变量x和y的联合概率分布p(x,y) 一般有表（8.6）。这个表对于两个变量是独立 或者不是独立的都适用。
表（8.6） 变量x，y的联合概率p(x,y)分布表
y1 x1 x2 … xi … xn p(n,1) p(n,2) p(n,j) p(n,m) p(i,1) p(i,2) p(i,j) p(i,m) p(1,1) p(2,2) y2 p(1,2) p(2,2) … yj p(1,j) p(2,j) … ym p(1,m) p(2,m)
二、条件熵
从某小学的学生中任选一人称他（她）的体重，
其体重就是个随机变量，它就有个概率分布函 数存在（不同的体重的出现概率不同）。
如果仅对身高为1.2—1.3米的学生抽样称其 体重，就得到另外一个概率分布函数。相对前
一种概率分布，后者就是条件概率分布。
如果以x表示学生体重，以y表示身高，以 p(xi∣yj) 表示身高为yj时的体重为xi 的出 现的概率，把熵公式用到这个特殊情况得到 是熵显然应当是：
二、信息熵
设概率系统中有n个事件，每个事件产生的概率是: pi( i=1~n) 当事件i产生后，给予我们的信息量是： Hi=-log pi 对于n个事件构成的概率系统，每一事件产生的平 均信息量为：
H p ilogpi
i 1
n
我们称之为信息熵，简称为熵（entropy）。
设某一系统具有四种状态A1、A2、A3、A4，其率
第二章 教育信息熵
本章在对信息熵与熵技术全面介绍的基础
上，讨论信息熵在教学中的应用。通过一
些信息熵在教学中应用实例的介绍，将对
如何利用熵技术处理教育信息、分析教育
过程有进一步的理解。
内容结构
第一节 熵的概述 第二节 相对熵和冗余度 第三节 熵函数的展开 第四节 测试问题的信息量 第五节 教学过程的信息量分析 第六节 教育中质的数据信息量分析 第七节 CAI课件中的信息量
另外根据概率论的乘法定理 p(x,y)=p(y)p(x∣y)
上面的公式也可以写成
根据对数的性质，还可以把上面的公式改为
如果求x已知时y的条件熵，显然也会得到类 似的公式，即还有
合并这两个公式有
这个公式把复合熵、条件熵以及熵联系到一起 了。它们也显示了熵的对称性。
三、举例
例：掷一次骰子，由于六种结局（点）的 出现概率相等，所以结局的不确定程度 （熵）为log6 ，如果告诉你掷骰子的结局 是单数或者双数，这显然是一个信息。这 个信息消除了我们的一些不确定性。
第一节 熵的概述
•熵是1865年作为热力学的一个概
念引入的。
•信息理论中的熵是从不同的观点引 入的，二者间虽有相同的数学形式， 但它们并没有什么直接的联系。
一、信息量的表示
现有A、B、C、D、E五名学生，
以他们作为候选人，需从中选出
一名学生作为学生代表。
这是一个五选一的问题。
教育中，类似的问题很多，如学 生对多重选择问题的回答，学生 对课程的选择等等。
信息传递过程中的冗余度使得信息传递的 效率降低，但这并非总是无意义的，他对 信息的预测、信息的纠错是十分有意义的。
利用信息中的冗余性，可对信息进行估计，
可修正信息传递中产生的误码。
第三节
一、联合熵
熵函数的展开
如果由两个（或者多个）随机变量复合而 成（对应于两个集合的笛卡尔积），就存在 一个联合概率分布。
概率
0.01623 0.01260 0.01179
0.00752
0.00344 0.00136
0.00108
0.00099 0.00063
对于中文中每个字符出现的概率我国也
有大量的统计数据出版。
中文有6000多常用字，分析显示每个 中文字的不确定程度高于8个比特。
三.熵的意义
熵的大小可用于表示概率系统的不确定程度。
于是条件熵H为log3 。
在不知道结局为单双数时，掷一次骰子的结局 的不确定性为log6 ，在仅告诉你结局是单数或 者双数时是没有全部解除你对结局的疑惑，但 是它确实给了一些信息，这个信息（以I表示） 就用无条件熵与条件熵的差来计量。于是有
I=log6-log3=log6/3=log2
如果对数的底是2，那么仅告诉你结局的单双数， 而不告诉你绝对值，它提供的信息量就是1比特。
信息熵是对客观事物进行从随机试验的角度分析了
结局的不确定性（信息熵）。 设某一概率系统中，每一事件发生的概率为： （1、0…….0） 它表示，该系统中某一事件发生的概率为1，其它事 件产生的概率为0，这是一个确定系统，不确定度为 0。即H=0。
设某一概率系统中，其概率分布是均匀的， 它表示系统中每一事件产生的概率相等。
H p( x) log 2 p( x)dx
x1 x0
对于掷骰子的实验，由于仅有6个不同的 结局（n=6），而且每个结局的出现概 率都是1/6。所以一次实验的结局的不 确定程度H为
H=-(1/6)log2(1/6)(1/6)log2(1/6)(1/6)log2(1/6)(1/6)log2(1/6)(1/6)log2(1/6)-(1/6)log2(1/6)
0.1817 0.1073 0.0856
0.0668
0.0654 0.0581
0.0559
0.0519 0.0499
字符 H D L F C M U G Y
概率
0.04305 0.03100 0.02775
0.02395
0.02260 0.02075
0.02010
.0.1633 0.01623
字符 P W B V K X J Q Z
它对应的熵称为复合熵，并且由下式计算
这里复合熵的符号H(x,y)仅表示这个熵是 对于变量x，y 的，H 是一个值，不是x，
y的函数。
对于掷一枚硬币并且掷一次骰子组成的复合随机实 验，其复合熵显然为
H=-12（0.0833log20.0833）=7.89比特
联合熵的公式还可以推广到连续变量和多个变量的 情况。
对于这样的系统，我们很难预测某一事件的 产生，这种系统的不确定性最大。
该系统的信息熵具有最大值(在相同事件数
的情况下)。
设概率系统A、B的分布为：
PA＝(0.5、0.5、0、0、0)
PB＝(0.5、0.125、0.125、0.125、
0.125) 试比较它们那一个系统的不确定程度大。 通过A、B系统信息熵的计算，有 H(Pa)=1(bit) H(Pb)=2(bit) 由此判定系统B的不确定程度是系统A的两倍。
四、信息熵的基本性质
1．单峰性 设某一系统包含两个事件A、B，其产生 的概率分别为P和1-P。该系统的熵为： 当p为0时，H=0 当p为1时，H=0 当p为1/2时，H有极大值 若系统中每一事件产生的概率相同，均为 1／n，这种系统的H为最大值。
2．对称性
系统中，事件的顺序虽不同，只要总的
概率分布相同，系统的熵是不变的，即
公式是针对y为一个特殊值yj时求得的熵。
考虑到y会出现各种可能值，如果问已知 学生身高时（不特指某一身高，而是泛指 身高已经知道）的体重的熵（不确定程 度），它应当是把前面的公式依各种y的 出现概率做加权平均。即
这就是条件熵的一般计算公式。
上面的第二个公式是针对连续变量的，其 中的f是概率密度分布函数。
若是n选一的系统，显然，n越大，选拔前 的不确定性就越大，选拔结果公布后，它 给予人们的信息量就越多 。以
H=log2 n
来定义信息量。这是一种以2为底的对数， 其单位为字位(bit)。 以上的讨论中，我们是以得到消息后，在 多大程度上丰富了我们的知识，消除了认 识上的不确定性来定义信息量的 。
这个例子说明y提供的关于x的信息Iy(x) 可 以用不确定性的差计算，即 信息量Iy(x)=(x的不确定性)- (得到了消息 y以后x的不确定性)
第四节
熵模型（自学）
第五节 测试问题的信息量
教学过程中，测试问题具有十分重要位 置，它可用作学习的内容，用于各种评 价，还可用于各种调查、研究，进行数 据的收集。 一、测试问题信息熵 多重选择问题是各种测试中使用最为广 泛的一种。它客观性强、易于操作，数 据的处理也十分方便，在教学实践中大 量地使用。