第六章机器学习

4） 基于解释的学习（Explanation-based learning） 从问题求解的一个具体过程中抽取出一般原理，并使其在类似情 况下也可利用。 通过解释过程，系统得到启发，建立一套求解类似问题的规范。
10
2. 综合多种因素的分类
1) 人工神经网络学习算法 连接主义学习
2) 遗传算法与分类器系统（Genetic Algorithm and Classifier System） 模拟生物繁殖的突变和达尔文自然选择过程 最优化问题求解 3) 加强学习（Reinforcement learning） 通过与环境的试探性交互来确定和优化动作的选择，以实现序列决策任务。
2. 对每个正例x 对h的每个属性约束ai 如果x满足ai，那么不做任何处理 否则将h中ai替换为x满足的另一个更一般约束
3. 输出假设h
28
Find-S算法在例子EnjoySport上的应用 1．h←<φ, φ, φ, φ, φ, φ> 2．h←<Sunny, Warm, Normal, Strong, Warm, Same> 3．h←<Sunny, Warm, ?, Strong, Warm, Same> 4．遇到反例，h不变 5．h←<Sunny, Warm, ?, Strong, ?, ?>
假设集H：每个假设h描述为6个属性的取值约束的合取
目标概念c：一个布尔函数，变量为实例
训练样例集D：目标函数（或目标概念）的正例和反例
求解
H中的一假设h，使对于X中任意x，h(x)=c(x)
27
6.2.2 Find-S：寻找极大特殊假设
从H中最特殊假设开始，然后在假设覆盖正例失败时将其一般化.
Find-S算法 1. 将h初始化为H中最特殊假设
增加选择（析取）
例学习人脸牌。 RANK(c1, J) ⇒FACE(C1) RANK(c1, K) ⇒FACE(C1)
RANK(c1, J) ∨RANK(c1, K) ⇒FACE(C1) RANK(c1, J) ∨RANK(c1, K) ∨ RANK(c1,Q) ⇒FACE(C1)
20
4. 规则空间
信息质量。正确无干扰的；适当选样例子合适的；（学习）次序合适。 信息质量对学习难度有明显影响。
12
2
知识库 知识表示形式。如特征向量、谓词演算式、产生式规则、过程、语义网络、框架等 内容：要有相当的初始知识 需要考虑：
可表达性。要能描述缺乏内在结构的事物。以一个特征集合或其它东西来描述事物。 推理难易性。常用的推理是比较两个描述是否等效 可修改性 可扩充性
假设的一般到特殊序关系
考虑两个假设 h1=<sunny, ?, ?, Strong, ?, ?> h2=<Sunny, ?, ?, ?, ?, ?>
任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般。
26
EnjoySport概念学习任务
已知 实例集X：每个实例x由6个属性描述，每个属性的取值范围已确定
22
6.2.2 学习单个概念
1．学习单个概念
概念：采用谓词逻辑的知识表示时，一个概念就是一个谓词公式 给系统一个概念的若干正例和反例，系统由此归纳出表示这个概念的谓词公式
过程： 给定：概念的表示语言；正例和反例 寻找：一条规则。覆盖全部正例，不覆盖全部反例。
23EnjoySport的训练样例
第六章 机器学习
参考书： 《Machine Learning》, Tom M. Mitchell, 1997,（机械出版社）
1
6.1 概述
6.1.1 什么是机器学习
Simon(1983): 学习就是系统在不断重复的工作中对本身能力的增强 或改进，使得系统下一次完成同样或类似任务时比上一次更有效。 从AI角度看：ML是一门研究使用计算机获取新的知识和技能，提高 现有计算机问题求解能力的科学。 Machine Learining：通过对人类学习过程的特点研究，建立学习理论 和方法，并应用于机器，以改进机器的行为和性能。
棋类学习：读懂棋盘当前状态，并决定下一步动作。 垃圾清理机器人：决定下一步动作，使垃圾收集量最大， 同时确保到达再次充电地前不断电。
3）最优决策学习 4）回归函数学习
7
6.1.3 机器学习的研究方法
1. 按推理策略分类 1）演绎学习（Deductive learning）：从一般到个别的推理 过程：从公理出发，经逻辑变换，推导出结论，从已有知识库基础上进行。 2）归纳学习（Inductive learning）：从个别到一般的推理 给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述， 使它适合于所有的正例且排除所有的反例 泛化：扩展一个假设的语义信息，以使其包含更多的正例，应用于更多的情况 特化：泛化的相反操作，用于限制概念描述的应用范围
例如：实例空间是成组纸牌， 学习“同花”概念 正例：{(2, c), (3, c), (5, c), (J, c), (A, c)} 反例：{(7, d), (8, c), (6, s), (3, c), (K, h)} 符号：SUIT(花色)，RANK（点数） 常量：A, 2, 3, …, 10. J, Q, K, clubs(草花), diamonds(方块), hearts（红桃）, spades(黑桃)
Sky Sunny Sunny Rainy Sunny
AirTemp Warm Warm Cold Warm
Humidity Normal
High High High
Wind Strong Strong Strong Strong
Water Warm Warm Warm Cool
Forecast Same Same Change Change
3. 从有无导师角度分类
有导师指导的，或从样本中学习 无导师指导的，或从环境中学习
11
6.1.4 机器学习的基本系统结构
不能完全代表所有的机器学习系统结构，如：GA，连接主义学习等。 1. 基本构成
环境
学习环节
知识库
执行环节
环境：可以是工作对象，外部环境 外部信息来源
信息水平。高水平，抽象，需具体化成为知识； 低水平，特殊（实例），需一般化成为知识。
？任意本属性可接受的值 明确指定的属性值 如：water，warm，cool φ 不接受任何值
25
<?, Cold, High, ?, ?, ?>
只在寒冷潮湿的日子进行水上运动（与其他属性无关）
<?, ?, ?, ?, ?, ?>
所有的样例都是正例
< φ, φ, φ, φ, φ, φ>
所有的样例都是反例
不管是去掉还是增加，都是扩大范围。把已有的知识总结归纳推广。 用归纳方法的过程就是搜索过程。找到包含在少数例子中的正确信息。 归纳出错就要回溯。经常检验，用新例子去否定归纳出的错误规则。 反复于例子空间和规则空间之间。
21
5.实例学习的分类
按任务复杂程度分类 学习单个概念：最基本的 学习多个概念：归纳出多个相互独立的概念 学习执行多步任务：一个操作序列去完成任务，即执行环节对任务要规划
规则：描述一手牌的全部谓词表达式的集合。 ∃(c1, c2,c3,c4,c5)(SUIT(c1, x)∧SUIT(c2, x)∧SUIT(c3, x)∧SUIT(c4, x)∧SUIT(c5, x))
17
2. 例子空间
示教例子的质量：不能有错，同时提供正例和反例， 逐步分批由选择地送入。
选择的条件：最有力地划分规则空间；证实肯定假设规则的集合； 否定假设规则的集合。
包括物理系统和行为的描述和建模，构造客观现实的表示 技能求精
通过实践逐渐改造机制和认知技能
5
3. 设计一个学习系统
基本设计方法和学习途径 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终设计
6
1
6.1.2 机器学习任务的类型
1）分类学习
语音信号处理、自动识别手写字符
2）动作序列学习 情景估计和动作选择
2
6.1.1 什么是机器学习
1. 机器学习 Machine Learining：通过对人类学习过程的特点研究，建立学习理论 和方法，并应用于机器，以改进机器的行为和性能。
要点：1）学习是一个过程（经验积累的过程）； 2）学习是对一个系统而言的（计算机或人机系统）； 3）学习能改变系统的性能
如果一个计算机针对某类任务T的用P衡量的性能，根据经验E来自我完善， 那么我们称这个计算机程序在从经验E中学习，针对某类任务T，它的 性能用P来衡量。
9
3）类比学习（Learning by analogy）: 从个别到个别的推理。
利用两个不同领域（目标域和源域）知识的相似性，
过程：
运用源对象的求解方法来解决目标对象的问题
1）回忆与联想：找出与之类似的已解决的问题，获得有关知识；
2）建立对应关系：建立相似的“问题知识”与“求解问题”间的对应关系；
3）验证与归纳：检验所获得知识的有效性。
19
4. 规则空间
去掉条件 SUIT(c1, C)∧ RANK(c1,3)∧ SUIT(c2, C)∧ RANK (c2, 5) ∧ SUIT(c3, C) ∧ RANK (c3, 7) ∧SUIT(c4, C) ∧ RANK (c4, 10) ∧SUIT(c5,C)∧RANK (c5, 2) ⇒FLUSH(C1, C2, C3, C4, C5)
3
如果一个计算机针对某类任务T的用P衡量的性能，根据经验E来自我完善， 那么我们称这个计算机程序在从经验E中学习，针对某类任务T，它的 性能用P来衡量。
西洋跳棋学习问题的解释 E，和自己下棋 T，参与比赛 P，比赛成绩（或赢棋能力，击败对手的百分比）