第二章 教育信息熵

当p为0时，H=0。这是一种A产生的概率为0，B产 生的概率为1的确定系统。同样，若p为1，H=0。 这是一种A产生的概率为1，B产生的概率为0的确 定系统。 若 ,则 它表示A、B事件产生的概率相同， H具有极大值，这是一种不可预测的不确定系统。 对这样的系统予以扩张，设系统中具有n个事件， 其中某一事件产生的概率为1，其他事件产生的概 率为0，该系统的熵H=0。若系统中每一事件产生 的概率相同，均为1/n，这种系统的H为最大值。
二、等价预选项数
等价预选项数是指将实测的应答 分布，换算成与之具有等熵的均匀分布的 预选项数。
现有三个多重选择问题，每一个问题都有五 个预选项，经测试，学习者对每一预选项选择应 答的频度分布如图所示。图中，横轴表示预选项， 纵轴表示频度。
图 (a)的概率分布为（0.5，0.5，0，0，0），它 表示学习者的应答集中在两个预选项，且各为50%。 这样的问题，虽有五个预选项，实际上可认为等 价于两个预选项。同样，对于图 (b)、(c)的概率 分布(0.5,0.125,0.125,0.125,0.125)、 (0.4,0.3,0.2,0.1,0.0)也可引入等价预选项的概 念对预选项的有效性进行评价。
例2 设某一概率系统中，其概率分布是均匀的， 它表示系统中每一事件产生的概率相等。对于这 样的系统，我们很难预测某一事件的产生，这种 系统的不确定性最大。该系统的信息熵具有最大 值（在相同事件数的情况下）。 以上讨论的是两种极端的情况，我们来考察两 个中间状态。 例：两个中间状态 设概率系统A、B得分布为： P(A)=(0.5 ,0.5 ,0 ,0 ,0 )
• 举例：在掷骰子试验中， • “掷出点数小于7”是必然事件; • “掷出点数8”则是不可能事件。
• 3.样本空间 • 把随机试验的每个基本结果称为样本点，记 作e 或ω。全体样本点的集合称为样本空间。 样本空间用S或Ω表示。
S
.
样本点e
如果试验是将一枚硬币抛掷两次，则样本空 间由如下四个样本点组成：
三、对不确定程度的判断 • 信息熵表示了像多重选择问题这类测试问题学习 者应答的不确定程度。 • 给定的问题是：从外观上看，12个小球完全相同， 在这12各小球中，仅有一个小球的重量与其他小 球不一样。请使用天平，能否在三次以内找出这 个重量不同的小球，并且指明该小球比其他小球 是重还是轻。
四、教学过程的信息量分析 1.分类系统 教学过程是一种教师与学生间以语言进行信息传 递的过程，教学过程可以通过教师与学生语言 序 列的记录来表述。当我们对教学过程中，教师与 学生的语言行为进行适当地分类，并以这种分类， 可对教学过程进行客观地表现。若这种分类、表 述着眼于分析的目的，我们称之为相互作用分析， 若这种分类，表述着眼于记述方法，我们称之为 分类分析。
教师、学生语言行为的分类有多种不同的 方法，至今已有一百多种，比较有影响的分类 系统有Flanders分类系统（1968年）和VICS （Verbal Interaction CategorySystem）等。
信息熵H=2.939bit
2.类别总数与熵
类别总数中，最大的为334，最小为28，平均 为131.9。由于分类系统是基于教师，学生的 语言行为分类的，所以第二组体育教学的平 均类别数少于其他各组的类别总数。 利用教学中测试的分类数据序列，经统计可 得到各种类别数据的频率分布，即教学过程 中各类行为产生频度分布，由此可计算出每 一节课的信息熵。
基本事件 事 件 （相对于观察目的不可再分解 的事件） 如在掷骰子试验中， 观察掷出的点数
事件 （柌 惊
事件 Ai ={掷出i点} i =1,2,3,4,5,6 基本事件 惊 惊 事件）
事件 B={掷出奇数点}
• 2.两个特殊的事件 • 必然事件
–即在试验中必定发生的事件。
• 不可能事件
–即在一次试验中不可能发生的事件。
S={(H,H), (H,T), (T,H), (T,T)}
其中 (H,H): (H,T)： (T,H): (T,T)： 第1次 第2次 样本空间在如下意 义上提供了一个理想试验的 模型： 在每次试验中必有 一个样本点出现且仅有一 个样本点出现。
H H T T
H T H T
如果试验是测试某灯泡的寿命： 则样本点是一非负数，由于不能确知 寿命的上界，所以可以认为任一非负实数 都是一个可能结果，故样本空间
•
例2 设某一系统中包含有n个事件，每一事件产 生的概率都是 ，此时的信息量为：
这是一种等概率事件的系统。对该式予以扩 展，设某一事件产生的概率为p，则信息量由下式 定义： (2-2) 式中的负号是由1/p所产生的，它使H的计算结果 为正数。
二、信息熵 • 例1 设概率系统中有n个事件，每一事件产生的概率 为： 当事件I产生后，给予我们的信息量为 对于n个事件构成的概率系统，每一事件产生 的平均信息量为： (2-3) H为信息熵。
“天有不测风云”和“天气可以预报”有矛盾吗?
“天有不测风云”指的是随机现象一次实现的偶然性. “天气可以预报”指的是研究者从大量的气象资料来 探索这些偶然现象的规律性.
• 3.研究随机事件统计规律的意义 • 了解发生意外人身事故的可能性大小,确定保 险金额。 • 了解来商场购物的顾客人数的各种可能性大小， 合理配置服务人员。 • 了解每年最大洪水超警戒线可能性大小，合理 确定堤坝高度。
S = {t ：t ≥0｝
引入样本空间后，事件便可以表示为 样本空间的子集。 例如，掷一颗骰子，观察出现的点数 样本空间：
S = { i ：i=1,2,3,4,5,6｝
事件B就是S的一个子集 B发生当且仅当B中的样本点1， 3，5中的某一个出现.
B = {1,3,5｝
二、事件的概率 在充分多次试验中，事件的频率总在一个定值附 近摆动，试验次数越多，一般来说摆动越小。这 个性质叫做频率的稳定性。 这个定值称为事件的概率,记为P(A)。 • 例如,在抛掷一枚硬币的实验中,出现正面的概率 P(A)=1/2。
医生的说法对吗？
• 什么是熵？没有什么问题在科学史的进程中曾 被更为频繁地讨论过。 ——普利高津 • 熵理论对于整个科学来说是第一法则。 ——爱因斯坦
一、信息量的表示
熵是1865年作为热力学的一个重要概 念引入的。信息理论中的熵是从不同的观 点引入的，两者间虽有相同的数学形式， 但它们并没有什么直接的联系。
对于应答情况⑴，学习者对预选答案1的选择 概率为1，对其他预选答案的选择概率为0，表示 学习者在选择应答时，一定是预选答案1，这是一 种完全确定的选择应答，表明该问题过于简单， 学习者可以毫不费劲地予以正确应答。 对于应答情况⑷，学习者的应答选择分布是 等概率的，它表明这种问题的应答选择是不确定 的。学习者在应答时，不能很容易地进行判断、 选择，这是一种较难的问题。
一、测试问题信息熵的计算 学习者对多重选择问题的应答概率分布可能有多 种不同的情况： （1）（0，0，0，0） 计算相应的应答信息熵H： （2）（0.5，0.125，0.125，0.125，0.125） 计算相应的应答信息熵：
（3）（0.5，0.5，0，0，0） 计算相应的应答信息熵：
（4）（0.2，0.2，0.2，0.2，0.2） 计算相应的应答信息熵：
例如，若我们希望知道某射手中靶的概率， 应对这个射手在同样条件下大量射击情况进行 观察记录. 若他射击n发，中靶
m发，当n很大时，可用 频率m/n作为他中靶概率
的估计.
医生在检查完病人的时候摇摇头“你的病很 重，在十个得这种病的人中只有一个能救 活. ”当病人被这个消息吓得够呛时，医生继 续说“但你是幸运的.因为你找到了我，我已 经看过九个病人了，他们都死于此病.”
•
若讨论的系统是n选一的系统，显然，n越大， 选拔前的不确定性就越大，选拔结果公布后，它 给予人们的知识量就越多，即人们从公布结果中 所得到的信息量就越大。这种信息量的多少与n的 大小成比例的增加。为此，我们以
来定义信息量。这是一种以2为底的对数，其单 位为字位（bit）。若对数是以e或10为底,H的单 位为nit或bit。
以相对信息熵h来表示熵减少的程度。
信息熵的计算与系统中事件数的多少有关，它不 利于我们对不同系统的熵进行比较。相对信息熵 的计算有利于我们对不同系统的信息熵进行比较。
六、冗余度 基于相对信息熵，我们称：
为冗余度。冗余度表示了由于每种字符出现的概率 不同而使信息熵减少的程度。显然，由于信息熵的 减少，为了表示相同的内容，相同的信息量，文章 的字符数要多一点，这就是文章的冗余性。
2.对称性
3.渐化性
4.展开性
5.确定性
五、相对熵 英语这样的自然语言中，包括空格在内，总共使 用了27种字符。若每个字符出现的概率相同，且都 是1/27，这样的英语系统具有最大熵，其熵值为： 实际系统中，字符的使用并非相互独立地、等 概率的随机排列的，字符的使用受着各种规则，条 件所制约。在这种英语系统中，每一种字符出现的 概率是不同的，某一些字符出现的频度高，例如空 格和E；某一些字符出现的平度低，例如Q和Z。
第一节 基础知识
第二节 熵的概述
第三节 信息熵的实际应用
一、随机事件的概念 • （一）随机现象 • 1.随机现象 • 带有随机性、偶然性的现象。 • 当人们在一定的条件下对它加以观察或进行试验 时，观察或试验的结果是多个可能结果中的某一 个. 而且在每次试验或观察前都无法确知其结果， 即呈现出偶然性. 或者说，出现哪个结果“凭机 系统具有四种状态A1、A2、A3、A4, 其产生的概率分别为： 1/2 、1/4 、1/8 、1/8 该系统中任一状态产生是所给予的平均信息量 为： 若概率系统为连续系统，其概率分布为p(x)， 该系统的熵由 （2-4）所表示。
三、熵的意义 熵的大小可用于表示概率系统的不确定程度。 例1 设某一概率系统中，每一事件产生的概率分布 为： （1， 0…，0） 它表示，该系统中某一事件产生的概率为1， 其他事件产生的概率为0，这是一个确定系统，不 确定度为0。计算该系统的信息熵，有H=0。