989423-人工智能基础-第六章

分析学习（analytic learning） 学习方法——从一个或少数几个实例出发，运用领域知识进行分析。 分析学习的目标是改善系统的性能，而不是新的概念描述。 主要特征： 推理策略主要是演绎，而非归纳； 使用过去的问题求解经验（实例）指导新的问题求解； 产生能更有效地运用领域知识的搜索控制规则。 基于解释的学习——实现分析学习的主要方式。
结果改变了系统的知识演绎闭包。 采用演绎策略的学习，所学的知识仍能被原有系统的知识库所蕴涵, 即所
学的知识未能改变系统的演绎闭包。
6.2 示例学习
归纳学习——从教师或环境提供的事例中抽象出结论（对于概念的泛化描 述）的知识获取过程。
归纳推理的理论——研究如何运用各种推理技术，在符号表示的空间中进 行启发式搜索。
基本方法——通过与环境的试探性（trial and error）交互来确定和优化动作的选 择。
分类总结
学习的基本策略（推理）分为归纳、类比和演绎三种。 最基本的学习策略只有归纳和演绎。 类比策略可看成是归纳和演绎策略的综合。 采用归纳策略所学习的知识超过原有系统知识库所能蕴涵的范围, 即所学
学生从观察的事例或经验数据中归纳出规律或定理； 难度最大，但也最具有创造性的一种学习形式； 经验发现——从经验数据中发现规律和定律，重新发现理想气体定律、
能量守恒定律、欧姆定律等。 知识发现——从已观察到的事例或已知数据中发现知识(一般是产生式
规则)。
2 基于所获取知识的表示形式分类
主要表示形式：
符号学习应用技术蓬勃发展： 分析学习（特别是解释学习）， 遗传算法的成功， 加强学习方法的广泛应用。
基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发： 将机器.1.3 机器学习分类
n
1 基于所用的基本学习策略分类
分类标准——学生实现信息转换所需的推理多少和难易程度，依从简单到 复杂，从少到多的次序分类。
神经元模型的研究未取得实质性进展，并在60年代末走入低谷：
明斯基（Minsky）等人以批评的观点编写的很有影响力的《感知机》一书。
机械学习的成功激励了研究者们继续进行机器学习的探索性研究：
死记式学习，一种最简单、最原始的学习方法； 通过记忆和评价外部环境提供的信息来达到学习的目的； 塞缪尔（A.L.Samuel）于50年代末设计的跳棋程序； 随着使用次数的增加，积累性记忆有价值的信息，很快达到大师级水平。
• 代数表达式参数
• 决策树
• 形式文法
• 产生式规则
• 形式逻辑表达式
• 图和网络
• 框架和模式
• 计算机程序和其它的过程编码
• 神经网络
多种表示形式的组合；
知识表示形式的精细程度：
泛化程度高的粗粒度符号表示——决策树、形式文法、产生式规则、形式逻辑 表达式、框架和模式等；
泛化程度低的精粒度亚符号(sub-symbolic)表示——代数表达式参数、图和网 络、神经网络等。
价； 根据评价值（适应度）对个体进行选择、交换、变异等遗传操作，得到新的群体。
联接学习
典型的联接模型——人工神经网络， 由称为神经元的一些简单计算单元以及单元间的加权联接组成。
加强学习（reinforcement learning）
学习目标——寻找一个合适的动作选择策略，使产生的动作序列可获得某种最优 的结果（如累计立即回报最大）。
以不断地增加。 学生把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机
地结合为一体； 学生有一定程度的推理能力。 FOO程序——玩一种称为“红心”（俗称赶猪牵羊）的扑克牌游戏： 接受打牌取胜的建议， 导出遵从这些建议的可执行过程。 3）演绎学习(Learning by deduction) 学生所用的推理形式为演译推理——从公理出发，经过逻辑变换推导出结 论。 学习方法——宏操作(macro-operation)学习、知识编辑和组块(Chunking) 技术。
第六章 机器学习
人工智能领域的研究核心之一：
学习能力是智能体应具有的基本特性， 机器学习作为提高机器智能的重要手段，
在认知科学、心理学、教育学、哲学以及其它相关领域中受到广泛注意。 在智能的网络信息服务和网络数据的挖掘中扮演重要的角色；
因特网的发展，网络中的信息急剧增长。
本章主要内容：
机器学习概论， 示例学习， 基于解释的学习， 遗传算法（略）， 加强学习（略）， 基于范例的学习（略）， 知识发现与数据挖掘。
6.1 机器学习概论
机器学习的基本概念、发展历史和分类 6.1.1 机器学习的基本概念 学习是人类智能的主要标志和获取知识的基本手段。 不同学派对机器学习的定义：
6.1.2 机器学习的发展历史
1 通用的学习系统研究（５０年代中叶开始） 主流方式——构造没有或者只有很少初始知识的通用系统， 主要技术——神经元模型以及基于该模型的决策论和控制论；
数值和统计方法的范畴。
以感知机为代表的早期神经网络（神经元模型）：
通过监督（有教师指导的）学习来实现神经元间连接权的自适应调整， 产生线性的模式分类和联想记忆能力。
4 综合考虑学习系统的知识表示、基本学 习策略和历史渊源等因素分类
类比学习 遗传算法（genetic algorithm）
模拟生物繁殖的突变、交换和达尔文的自然选择（在每一生态环境中适者生存）。 基本方法：
把问题可能的解编码为一个向量（称为个体），向量的每一个元素称为基因； 利用目标函数（相应于自然选择标准）对群体（个体的集合）中的每一个个体进行评
3 基于知识的各种学习系统研究
７０年代中期 不再局限于构造概念学习系统和获取上下文知识 结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。 工作特点：
基于知识的方法——强调应用面向任务的知识和指导学习过程的约束。 开发各种各样的学习方法——示例学习、示教学习、 观察和发现学习、
常用推理技术：
泛化(generalizing) 特化(specializing) 转换(transforming) 知识表示的修正和提炼(correcting & refining)
主要内容：
学生将已知事例分类，并为每一类建立一般性概念描述； 依据是否采用渐近方式而分为：
概念形成——学生将依次出现的事例分类，产生概念描述，并且 构造一个关于类的层次结构；
概念聚类——学生对一次性给出的事例分类，产生每一类的概念 描述；再用这些概念描述指导进一步分类，直到结果满意为止。
机器发现(machine discovery)
推算出节点n的得分。 死记式学习——让下棋程序死记住这样推出的得分，以备重用于后继
的下棋过程： 加速对于最深层节点的评价， 起到加大搜索深度的作用。
节点得分的积累性记忆和搜索深度的不断增大，使得下棋程序的水平能很 快提高。
1 基于所用的基本学习策略分类
2）示教学习(Learning from instruction或Learning by being told) 教师以某种形式（教导和建议）提出和组织知识，以使学生拥有的知识可
1 基于所用的基本学习策略分类
6)归纳学习(Learning from induction) 基本方法：
由教师或环境提供某概念的一些实例或反例， 学生通过归纳推理得出该概念的一般描述。 分类： 示例学习(learning from examples)
有教师指导的归纳学习，由教师明确划分正例和反例集； 只有正例，无反例：
6.1.1 机器学习的基本概念
准确、完整地给出机器学习的定义很困难： 现有定义——从不同的侧面来阐述学习，定义不完整； 完整的学习定义——应追求从内部到外部，从动机到效果的统一； 不必刻意追求形式化的定义。
迪特里奇（Dietterich）学习模型： 环境——向系统的学习部件 提供某些信息， 学习——利用这些信息修改 知识库，增进执行部件的效 能； 执行——根据知识库完成任 务，同时把获得的信息反馈 给学习部件。
系统性能改善——学习是使系统做一些适应性变化，从而系统在下一 次完成同样的或类似的任务时比前一次更有效； 西蒙（H.A.Simon）：认为学习就是行为的改变，只强调效果，忽 视动机。
知识获取——学习是知识的获取； 强调知识获取而忽视行为效果，学习是知识的增长。
知识表示改善——学习是构造或修改所经历事物的表示； 迈克尔斯基（R.S.Michalski）：强调学得的任何知识都必须以某种 形式来表示和存贮，而且系统性能的改善可视为这种表示的目的和 结果。
类比学习、基于解释的学习。 具有生成和选择学习任务的能力——应用启发式知识于学习任务的生
成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统 的注意力等。
4 联接学习和符号学习的深入研究
八十年代后期 联接学习和符号学习的深入研究导致机器学习领域的极大繁荣
神经网络的研究重新迅速崛起，并在声音识别、图象处理等诸多领域 得到很大成功。
1）机械学习(Rote learning) 学习者无需任何推理或其它的知识转换，直接吸取环境所提供的信息。 塞缪尔的跳棋程序
作有限深度（例如3层）的搜索， 静态评价函数——计算从节点n可到达的最深层（第3层）节点的得分
（棋势）， min-max搜索技术——搜索从节点n到第3层棋盘状态的最佳路径，并
3 基于学习系统的应用领域分类
主要的应用领域：——专家系统、认知模拟、规划和问题求解、数据挖掘、 网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等。
任务类型集中于两个范畴——分类和问题求解。
4 综合考虑学习系统的知识表示、基本学习策略
和历史渊源等因素分类
经验性归纳学习(empirical inductive learning)。 相当于基于学习策略分类中的归纳学习， 采用一些数据密集的经验方法对例子进行归纳学习， 例子和学习结果一般都采用属性、谓词、关系等符号表示。