第六章 机器学习(1)-_决策树学习

– 有演绎学习、归纳学习、类比学习、解释学习等。
• 综合多因素的分类：
– 有人工神经网络学习、进化学习、概念学习、分析学 习、基于范例的学习等等。 9
• 机器学习中解决的基本问题主要有：
– 分类、聚类、预测、联想、优化。
• 令S表示数据空间，Z表示目标空间。
– 机器学习就是在现有观察的基础上求得一个函数 L:S→Z， 实现从给定数据到目标空间的映射。
• 不同特征的学习函数实际上表示了不同的基 本问题。
10
C cn ● ● ● S ●
• 目标空间是已知有限离散值空间， 即， Z=C={c1,c2,…ci,…,cn} 待求函数就是分类函数（分类器/分类模型）。 • 分类问题所用的训练数据是<D,C>， D S 。 • 由于学习时目标类别已知，所以分类算法都是 有监督学习。 • 常用的方法：
学习系统的基本结构
• 环境向系统的学习部分提供某些信息， • 学习部分利用这些信息修改知识库，以增进系统执行部分 完成任务的效能， • 执行部分根据知识库完成任务，同时把获得的信息反馈给 学习部分。 • 在具体的应用中，环境，知识库和执行部分决定了具体的 工作内容，学习部分所需要解决的问题完全由上述3部分确7 定。
第六章 机器学习
• 6.1 概述
• 6.2 决策树学习
• 6.3 贝叶斯学习
• 6.4 统计学习
• 6.5 聚类
• 6.1.1 什么是机器学习？ 学习是人类具有的一种重要智能行为，但究竟什么 是学习，长期以来却众说纷纭。 • 关于“学习”这一概念的主要观点：
– 学习是系统改进其性能的过程。这是西蒙的观点。
知识获取和技能求精。
•
– –
例如，我们说某人学过物理。
我们的意思是，此人已经掌握了有关物理学的基本概念，并且理解 其含义，同时还懂得这些概念之间以及它们与物理世界之间的关系。 一般地，知识获取可看作学习新的符号信息，而这些符号信息是以 有效方式与应用这种信息的能力相适应的。
• •
–
第二类学习形式是通过实践逐步改进机制和认知技能。 例如骑自行车或弹钢琴等等。
18
• 从S中分割出训练数据和测试数据
– 假设S是已有数据集，并且训练数据和测试数据都遵从 同样的分布规律。
• 保留法（Holdout）
– 取S的一部分（通常为2/3）作为训练数据，剩下的部 分（通常为1/3）作为测试数据。 – 最后在测试数据集上验证学习结果。
• 特点
– 仅仅使用了部分（2/3）数据训练学习模型，没有充分 利用所有的已知数据。 – 保留法一般用于已知数据量非常巨大的时候。
– 一般情况下我们事先已知（或者选择了）曲线（面） 模型，需要学习的是模型中的参数。 – 例如已知多项式模型，但是要学习各项的系数。
• 常用的方法：
– 人工神经网络方法、线性回归、非线性回归、灰色 12 预测模型等。
X xk ● ● ● S ●
• 目标空间是未知有限离散值空间， 即，Z=X={x1,x2,…,xk} 待求函数就是聚类函数，也称为聚类模型。 • 聚类问题就是把已知数据集划分为不同子集 （类别），并且不同类别之间的差距越大越好， 同一类别内的数据差距越小越好。 • 聚类问题所用的训练数据是D（ D S ）。 • 聚类问题要用无监督学习 • 常用的方法：
19
• 交叉验证法（Cross Validation） – 也称为交叉纠错法 – 把S划分为k个不相交的子集，即 S={S1,S2,…,Sk}，(Si∩Sj=Φ,1≤i,j≤k) – 然后取其中一个子集作测试集，剩下数据作训练集。 • 取Si做测试集，则S-Si就做训练集。 • 重复k次，把每一个子集都做一次测试集。 • 于是会得到k个测试结果，最终的测试结果就是这k个测试结果 的平均值。 • 特点 – 交叉验证法还可以再重复多次，每次变换不同的k值或者不同的划分。 – 交叉验证法充分利用了所有已知数据，可以获得较好的学习结果， 但是显然需要更长的训练时间。 – 交叉验证法一般用于已知数据量不太大的时候。 20
17
• 模型适应性
– 是指对于不同数据，学习模型本身需要做多少人工 调整。 – 我们一般都希望模型本身需要人工指定参数越少越 好。 – 自适应模型并不意味着彻底不需要人工指定的参数。
• 模型描述的简洁性和可解释性。
– 根据奥坎姆剃刀（Occam’s Razor）原则，应该优 先选择更简单的假设。 – 模型描述愈简洁、愈容易理解，则愈受欢迎。
• 随机法
– 随机抽取S中的一部分数据作为测试数据，把剩下的数据作为训练 数据。 – 重复这一过程足够多次。 – 最终测试结果是所有测试结果的平均值。
• 特点
– 随机法可以重复无数次，每个数据都可能被充分地用于训练和测 试，可以把测试结果的置信区间减小到指定宽度。 – 随机法中不同的测试集不能看作是对已知数据的独立抽取。而交 叉验证法中不同的测试集是独立的，因为一个数据只在测试集中 出现一次。
• 复合指标
– 精度（Precision，或称为命中率，准确率） – 召回率（Recall，或称为覆盖率）
T d a
a：判定属于类且判定正确； b：判定属于类且判定错误；
c：判定不属于类且判定正确； d：判定不属于类且判定错误。 T=a+b+c+d
b c
|a| precision(T ) |ab|
学习的很多过程都是由改进所学的技能组成。这些技能包括意识的 或者机制的协调，而这种改进又是通过反复实践和从失败的行为中 纠正偏差来进行的。
•
知识获取的本质可能是一个自觉的过程，其结果产生新的 符号知识结构和智力模型。而技能求精则是下意识地借助 于反复实践来实现的。人类的学习一般表现尾这两种活动 3 的结合。
S
– 就是发现不同数据（属性）之间的相互依赖关系。 – 简单地说，就是可以从事物A推出事物B，即A→B
• 常用的方法：
– 反馈神经网络、关联规则、回归分析等等。
14
F(S) Max{d[F(S)]} ★
S
• 目标空间是数据空间上的某种函数（用F(S)表示），且 学习目标为使对函数F(S)的某种度量d[F(S)]达到极值。 • 解决优化问题，就是在给定数据范围内寻找使某值达到 最大（最小）的方法。 • 优化问题一般都有一些约束条件
|a| recall(T ) |ad |
|ac| Accuracy (T ) | abcd | 24
• Fβ度量（Fβ-Measure）
– Fβ度量是精度和召回率的调和平均数 （Harmonic Mean）
( 2 1) precision(T ) recall(T ) F (T ) 2 precision(T ) recall(T )
• 机器学习系统中学习环节的一般过程
确定学习模型
收集数据
清洗数据
提取特征
训练
获得知识
8
• 按照有无指导来分：
– 有监督学习（或有导师学习）、无监督学习（或无导 师学习）和强化学习（或增强学习）。
• 按学习方法来分：
– 有机械式学习、指导式学习、范例学习、类比学习、 解释学习。
• 按推理策略来分：
– 1980年,在美国召开了第一届国际机器学习研讨 会;1984年,《机器学习》杂志问世。我国于1987年召 开了第一届全国机器学习研讨会;1989年成立了以中国 科技大学蔡庆生教授为理事长的理事会。 – KDD一词是在1989年于美国底特律市召开的第一届 KDD国际学术会议上正式形成的。
• 1995年,在加拿大召开了第一届知识发现和数据挖 掘国际学术会议。由于数据库中的数据被形象地 6 喻为矿床,因此数据挖掘一词很快流传开来。
其中β是一个大于0的实数，表示精度相对于召 回率的权重。 – 最常用β=1，即F1度量
2 precision(T ) recall(T ) F1 (T ) precision(T ) recall(T )
25
• 多分类问题学习结果的评判
– 对于测试集T，目标类别共有k个
• 宏平均法（Macro Average）
– 例如时空资源的限制等等。 – 典型代表就是NP问题，这也是计算机科学中的一类经典问题。
• 解决优化问题对于提高系统效率，保证系统实用性有重 要意义。 • 常用的方法有：
– 遗传算法、Hopfield神经网络、线性规划方法%正确。 • 评估原则
– 学习结果的合理性和有效性
– 思路
• 先计算各个类别自身的精度和召回率， • 然后把各个类别的指标加在一起求算术平均值。
22
• 正确率（Accuracy）或错误率（Error Rate）
– 正确率是被正确处理的数据个数与所有被处理数据 个数的比值
| TError | Accuracy (T ) |T |
其中TError<ε表示被正确处理的数据，也就是误差足够 小的数据 – 错误率则是没有被正确处理的数据个数与所有被处 理数据个数的比值 | T | | TError | | TError | ErrorRate (T ) 1 1 Accuracy (T ) |T | |T | 23
– 划分聚类法、层次聚类法、基于密度的聚类、基于 13 网格的聚类、自组织特征映射网络等等。
...
x2 ● x1 ●●
S ● ⊙ ● ⊙ ● ⊙ ⊙ ● ⊙ ● ●● ● ● • 目标空间就是数据空间本身， 即， Z=S 待求函数就是求自身内部的一种映射。 • 联想问题，也称为相关性分析或者关联问题 ●
21
• 误差（Error）
– 测试数据集T上的误差是
Error(T ) Pi Ei Li
i 1 |T |
其中，Ei表示某个数据的理想结果，Li表示该数 据的机器学习结果。 – 常用的误差实际上就是方差