周志华 机器学习ppt Chap02模型评估与选择
(精品)机器学习第2章-模型评估与选择
• 假设测试样本是从真实分布中采样而得，避免因数据划分引入偏 差。
• 测试集应与训练集互斥。
测试方法
留出法 （hold-out）
数学表达
注意事项
优缺点
������ = ������ ∪ ������ ������ ∩ ������ = ∅
•
微查准率（micro−������）：micro−������
=
������������ ������������+������������
•
微查全率（micro−������）：micro−������
=
����������ห้องสมุดไป่ตู้� ������������+������������
• 微������1（micro−������1）
• P-R曲线
• 面积、平衡点（Break-Even-Point，BEP）
• ������1度量：������, ������的调和平均
• ������������度量： ������, ������的加权调和平均
多混淆矩阵
• 先分别计算查准率和查全率，再平均
•
宏查准率（macro−������）：macro−������
• 我们希望泛化误差小的学习器
过拟合
• 过拟合（overfitting）：训练过度使泛化能力下降 • 欠拟合（underfitting）：未能学好训练样本的普遍规律
• 过拟合是机器学习的关键障碍 且不可避免！ • 模型误差包含了数据误差， 或者说模型信息中包含了噪声。
学习器泛化评估——实验测试
• 测试集：测试误差（testing error）
南京大学周志华老师的一个讲普适机器学习的ppt【精品-ppt】
以Tom Mitchell的经典教科书（McGraw Hill出版社，1997）为例，很难看到基础 学科（例如数学、物理学）教科书中那种 贯穿始终的体系，也许会让人感到这不过 是不同方法和技术的堆砌
历史回顾(2)
主要范式的发展：
一方面可以促进和丰富ML本身的发展，另一方面可以促进 使用ML技术的学科领域本身的发展
作为“应用基础”，与“ML应用”有根本的区别： • 基础性：不是直接做应用，而是做“更广泛的应用” 或“更成功的应用”所需要的方法和技术
• 广泛性：重点不是去解决单一应用所面临的问题，而 是要解决众多应用领域所面临的共性问题
2004
例子2：不平衡数据
医疗：以乳腺癌诊断为例，“健康人”样本远远多于
“病人”样本
金融：以信用卡盗用检测为例，“正常使用”样本远远
多于“被盗用”样本
传统的ML技术基本上只考虑平衡数据 如何处理数据不平衡性？
在教科书中找不到现成的答案
例子3：可理解
医疗：以乳腺癌诊断为例，需要向病人解释“为什么做
医疗：以乳腺癌诊断为例，“将病人误诊为健康人的代
价”与“将健康人误诊为病人的代价”是不同的
金融：以信用卡盗用检测为例，“将盗用误认为正常使
用的代价”与“将正常使用误认为盗用的代价”是不同 的
传统的ML技术基本上只考虑同一代价
如何处理代价敏感性？
在教科书中找不到现成的答案，例如：
Tom Mitchell, Machine Learning, McGraw-Hill, 1997 Nils J. Nilsson, Introduction to Machine Learning, draft 1996 -
机器学习知识点总结周志华
机器学习知识点总结周志华一、引言随着计算机技术的不断发展，机器学习作为一种重要的人工智能技术，被广泛应用于各个领域。
机器学习旨在让计算机通过学习能够自动地从数据中识别模式、进行预测和决策，从而实现智能化的任务处理。
本文将对机器学习的相关知识点进行总结，包括基本概念、常见算法、应用领域以及发展趋势等内容。
二、机器学习基础知识1. 机器学习概念机器学习是一种通过数据和统计方法使计算机系统具有学习能力的技术。
它可以帮助计算机利用数据进行自动学习，从而提高计算机处理任务的智能化水平。
机器学习的应用范围非常广泛，包括自然语言处理、计算机视觉、数据挖掘、推荐系统等领域。
2. 机器学习的分类根据学习方式的不同，机器学习可以分为监督学习、无监督学习、半监督学习和强化学习等不同类型。
通过不同的学习方式，使得机器学习可以应用于各种不同类型的问题。
3. 监督学习监督学习是机器学习中最常用的一种学习方式，它通过已有的标记数据来进行学习，从而能够进行预测和分类等任务。
监督学习包括分类和回归两种类型，用于解决各种实际问题。
4. 无监督学习无监督学习是一种用于无标记数据的学习方式，它可以帮助计算机从数据中发现模式和结构，并进行聚类和降维等任务。
无监督学习的应用非常广泛，包括数据挖掘、图像处理等领域。
5. 强化学习强化学习是一种通过与环境进行交互学习，从而使智能体能够选择行动以最大化预期奖励的学习方式。
强化学习可以应用于自动控制、游戏策略等领域。
6. 机器学习的评估机器学习的评估是非常重要的一部分，它可以帮助我们评价模型的性能，并进行模型的选择和改进。
常用的评估指标包括准确率、精确率、召回率、F1值等。
三、常见机器学习算法1. 线性回归线性回归是一种用于建立输入特征和输出标记之间线性关系的算法，它可以帮助预测连续性变量的数值。
线性回归的模型包括简单线性回归和多元线性回归，可以通过最小二乘法等方法进行参数学习。
2. 逻辑回归逻辑回归是一种用于建立输入特征和输出标记之间的概率关系的算法，它可以进行二分类和多分类任务。
第七章模型选择和模型评估
模型选择和模型评估
为了进行模型选择，我们只需知道不同模型的测试误差的相对 值。渐近近似有时对比较不同模型的测试误差很有用。
通常对误差的真值没有很好的估计。当样本有限时，渐近近似通 常还不能得到足够好的估计。这种情况下我们可以采用重采样 (resampling )方法 。
当然如过我们对测试误差有一种很好的方法来直接估计，我们可 以用它来进行模型选择。
第七章模型选择和模 型评估
第1页，共39页。
MLE
3-1
上节课内容总结
后验的仿真模拟
贝叶斯推理与MLE
例
令 为 的极大似然估计，在合适的正则条件下， 后验均值为
贝叶斯推理的优点
可以方便的结合先验信息 数据和先验同等对待
由后验可以同时推出点估计和区间估计
第2页，共39页。
MLE
3-2
第七章：模型选择和模型评估
至少存在一个θ
则该估计 是不可接受的。 否则， 是可接受的。
第14页，共39页。
MLE 3-14
可接受性
可接受性是与其他表示估计好坏的方法有何关系？
在一些正则条件下，如果 为贝叶斯规则且有有限 风险，则它是可接受的。
如果 的风险为常数且是可接受的，则它是最小最 大估计。
第15页，共39页。
第26页，共39页。
MLE 3-26
训练误差的乐观性
训练误差的乐观性定义为
也就是说， 欠估计R(M)的量取决于 yi 影响其预 测的强度。我们越难拟合数据，乐观性越大。
第27页，共39页。
MLE 3-27
训练误差的乐观性
通常我们有
欠拟合程度 + 复杂性惩罚
因此，为了选择模型，我们可以
机器学习7周志华ppt课件.ppt
根据贝叶斯定理，有
Thomas Bayes (1701?-1761)
先验概率（prior ） 样本空间中各类样本所占的 比例，可通过各类样本出现 的频率估计（大数定律）
样本相对于类标记的 类条 件概率 (class-conditional probability) , 亦称 4似然
(likelihood)
2
? h* 称为 贝叶斯最优分类器(Bayes optimal classifier)，其总体风险称为 贝叶斯 风险 (Bayes risk)
? 反映了 学习性能的理论上限
2
判别式 vs. 生成式
在现实中通常难以直接获得
从这个角度来看，机器学习所要实现的是基于有限的训练样本 尽可能准确地估计出后验概率
条件概率表 ( CPT,
Conditional Probability Table )
贝叶斯网
结构
参数
1985年 J. Pearl 命名为贝叶斯网，
为了强调： ? 输入信息的主观本质 ? 对贝叶斯条件的依赖性 ? 因果与证据推理的区别
概率图模型 (Probabilistic graphical model )
13
? 训练样本非常充分 ? 性能可能提升
? 有限训练样本 ? 高阶联合概率估计困难
考虑属性间的高阶依赖，需要其他办法
13
贝叶斯网 （Bayesian network; Bayes network）
亦称“信念网” (brief network )
有向无环图( DAG,
Directed Acyclic Graph )
为属性数xi个属性上的取值对所有类别相同于是对离散属性令表示dc个属性上取值为xi的样本组成的集合则拉普拉斯修正laplaciancorrection若某个属性值在训练集中没有与某个类同时出现过则直接计算会出现问题因为概率连乘将抹去其他属性提供的信息例如若训练集中未出现敲声清脆的好瓜则模型在遇到敲声清脆的测试样本时中可能的类别数ni表示第个属性可能的取值数假设了属性值与类别的均匀分布这是额外引入的bias不进行任何训练收到预测请求时再估值懒惰学习lazylearning基于现有估值对新样本涉及的概率估值进行修正增量学习incrementallearning半朴素贝叶斯分类器朴素贝叶斯分类器的属性独立性假设在现实中往往难以成立半朴素贝叶斯分类器seminavebayesclassifier基本思路
人工智能开发技术中的模型评估和选择指南
人工智能开发技术中的模型评估和选择指南随着人工智能技术的发展，越来越多的人工智能模型被应用于各行各业。
然而，如何评估和选择一个适合的模型成为了许多从事人工智能开发的人的难题。
模型评估是人工智能开发过程中至关重要的一步。
通过评估模型的性能和准确度，我们可以判断模型是否能够满足我们的需求，并从中选择最合适的模型。
下面，我将介绍一些常用的模型评估指标。
首先，我们可以使用精确度（Accuracy）来评估一个分类模型的性能。
精确度是指模型给出的预测结果与实际结果相符的比例。
当我们需要处理二分类问题时，可以使用混淆矩阵（Confusion Matrix）来计算精确度。
混淆矩阵包括四个指标：真正例（True Positive）、真反例（True Negative）、假正例（False Positive）和假反例（False Negative）。
从这些指标中，我们可以计算出精确度、召回率（Recall）和F1值（F1-Score）。
精确度越高，模型的性能越好。
另一个重要的模型评估指标是AUC-ROC曲线。
AUC-ROC曲线是一种用于评估二分类模型性能的方法。
它涉及到真正例率（True Positive Rate）和假正例率（False Positive Rate）。
通过计算不同阈值下的真正例率和假正例率，我们可以绘制出AUC-ROC曲线。
AUC-ROC曲线的面积越大，说明模型的性能越好。
在模型选择方面，我们可以考虑使用交叉验证（Cross Validation）来评估模型的泛化能力。
交叉验证是一种将数据集划分为训练集和验证集的方法，通过多次划分和训练，我们可以得到模型在不同数据集上的性能表现。
在选择模型时，我们可以比较不同模型在交叉验证中的表现，选择性能最好的模型。
除了上述的评估指标和方法外，还有其他一些在模型评估和选择中常用的技术和方法，如分类器组合（Ensemble）和正则化（Regularization）等。
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程
《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程⼀、决策树模型 决策树(decision tree)是⼀种常⽤的机器学习⽅法，是⼀种描述对实例进⾏分类的树形结构。
决策树是⼀种常⽤的机器学习⽅法，以⼆分类为例，假设现在我们要对是否买西⽠进⾏判断和决策，我们会问⼀些问题，根据回答，我们决断是买还是不买，或者还拿补丁主意，这时会继续问问题，直到可以确定为⽌。
决策树基于“树”结构进⾏决策： （1）内部结点：属性 （2）分⽀：属性值 （3）p叶结点：分类结果 学习过程：通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性） 预测过程：将测试⽰例从根结点开始，沿着划分属性所构成的“判定测试序列”下⾏，直到叶结点 学习的过程就是通过划分属性构建决策树的过程，预测过程就是将测试样本从根节点开始，沿着划分属性构成的“判定序列”下⾏，直到叶结点。
结构举例： 从代码⾓度来看，决策树其实可以看成是⼀堆if-else语句的集合，例如引例中的决策树完全可以看成是如下代码：if isRed:if isCold:if hasSeed:print("buy")else:print("don't buy")else:if isCheap:print("buy")else:print("don't buy")else:print("don't buy") 由决策树的根结点(root node)到叶结点(leaf node)的每⼀条路径构建⼀条规则：路径上内部结点的特征对应着规则的条件，⽽叶结点的类对应着规则的结论。
决策树的路径或其对应的if-then规则集合具有⼀个重要的性质：互斥并且完备。
这就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或⼀条规则所覆盖。
人工智能PPT第6章模型评估与选择
recall_score(y_true, y_pred,average)
F1 score
F1分数（F1 Score）用于衡量二分类模型精确 度,是精确率和召回率的调和值，变化范围在01。F1计算公式如下所示： sklearn.metrics模块提供f1_score函数，形式如 下所示：
F1
2TP
r2_score(y_true, y_pred)
损失函数
损失函数（loss function）用来估量模型的预测值与真实值 的不一致程度，是一个非负实值函数。损失函数在统计学和机 器学习中被用于模型的参数估计，即通过最小化损失函数求解 和评估模型。 损失函数又称为代价函数（Cost Function），或成本函数。 成本函数和损失函数是同义词 并且可以互换使用，但稍有不同。 损失函数有时也称为误差函数(error function)，用于单个训 练样本。 代价函数，是整个训练数据集的所有样本误差的平均损失。
AUC面积
AUC（Area Under Curve）是指ROC曲线下的 面积，由于ROC曲线一般都处于y=x这条直线的上方 ，所以AUC的取值范围在0.5和1之间。AUC只能用于 评价二分类，直观的评价分类器的好坏，值越大越好 sklearn.metrics模块提供roc_auc_score函数，形式如 下所示： sklearn.metrics.roc_auc_score(y_true, y_score)
周志华 机器学习ppt Chap02模型评估与选择
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP 更常用的 F1 度量：
若对查准率/查全率有不同偏好：
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
机器学习导论 (2016 春季学期)
二、模型评估与选择
主讲教师：周志华
典型的机器学习过程
什么模型好？
泛化能力强！
能很好地适用于 unseen instance
例如，错误率低、精度高
然而，我们手上没有 unseen instance，……
泛化误差 vs. 经验误差
泛化误差：在“未来”样本上的误பைடு நூலகம் 经验误差：在训练集上的误差，亦称“训练误差”
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
机器学习笔记模型选择与评估(Modelselectionandevaluation)
机器学习笔记模型选择与评估（Modelselectionandevaluation）前言在机器学习中，我们需要用一些方法去衡量我们选择的模型效果的优劣。
这里我记录了一些比较常见的方法，以此来评估我们选择的模型在此场景下的优劣程度。
一、介绍我们将学习器预测输出与样本真实输出的差异称为误差。
预测正确的样本数占样本总数比例称为准确率（accuracy），相反错误样本数占样本总数的比例称为错误率（error rate）。
但是准确率并不能有效说明机器学习性能，实际上达到准确率100%的学习器在大多数情况都不好。
我们实际希望得到的是能够在新样本上表现很好的机器。
在新样本上的误差，我们称为泛化误差。
训练学习器的时候，学习器学习训练集“太好”，导致将训练集的一些特点当成所有样本的普遍规律，这样会导致泛化性能下降，这种现象在机器学习中被称为“过拟合”（overfitting）。
相反的学习器学习训练集太差，训练集一般的性质都没有学好，称为“欠拟合”（underfitting）。
二、评估方法现实任务中，我们需要选择合适的模型和合适的参数。
那么我们方案通常是，对候选的模型进行泛化误差评估，选取泛化误差最少的模型。
所以在我们模型训练之前对数据集进行划分，分成训练集和测试集。
我们会根据数据集的情况（数据量，分布是否均匀等）来选择合适的划分方式。
我们需要使用一个测试集来测试学习器对新样本的泛化能力。
测试样本也是从样本真实分布中独立同分布采样而得。
测试集和训练集尽可能互斥。
以下是常用的几种方式：2.1 留出法•把数据集分成互不相交的两部分，一部分是训练集，一部分是测试集。
•保持数据分布大致一致，类似分层抽样•训练集数据的数量应占2/3~4/5•为了保证随机性，将数据集多次随机划分为训练集和测试集，然后在对多次划分结果取平均。
•将数据集随机分为互斥的k个子集，为保证随机性，P次随机划分取平均。
•将k个子集随机分为k-1个一组剩下一个为另一组，有k种分法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP edman 检验图
横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小
若两个算法有交叠 (A 和 B)，则说明没有显著差别; 否则有显著差别 (A 和 C)，算法 A 显著优于算法 C
“误差”包含了哪些因素 ?
换言之，从机器学习的角度看， “误差”从何而来?
偏差-方差分解 (bias-variance decomposition)
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
(unequal cost)
代价敏感(cost-sensitive)错误率：
模型选择 (model selection)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
约有 36.8% 的样本不出现
训练集与原样本集同规模 数据分布有所改变
“包外估计”(out-of-bag estimation)
泛化误差越小越好 经验误差是否越小越好？
NO! 因为会出现“过拟合”(overfitting)
过拟合 (overfitting) vs. 欠拟合 (underfitting)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
宏xx vs. 微xx
若能得到多个混淆矩阵:
(例如多次训练/测试的结果，多分类的两两混淆矩阵)
宏(macro-)查准率、查全率、F1
微(micro-)查准率、查全率、F1
ROC, AUC
AUC: Area Under the ROC Curve
Area Under ROC Curve
ROC (Receiver Operating Characteristic) Curve [Green
机器学习导论 (2016 春季学期)
二、模型评估与选择
主讲教师：周志华
典型的机器学习过程
什么模型好？
泛化能力强！
能很好地适用于 unseen instance
例如，错误率低、精度高
然而，我们手上没有 unseen instance，……
泛化误差 vs. 经验误差
泛化误差：在“未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差”
机器学习
“概率近似正确”
机器学习的理论基础
计算学习理论
Computational learning theory
PAC (Probably Approximately Correct)
learning model
[Valiant, 1984]
Leslie Valiant
(莱斯利 维利昂特) (1949- )
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
比较检验
在某种度量下取得评估结果后，是否可以直接比较以评判优劣？
NO ! 因为： • 测试性能不等于泛化性能 • 测试性能随着测试集的变化而变化 • 很多机器学习算法本身有一定的随机性
“调参”与最终模型
算法的参数：一般由人工设定，亦称“超参数” 模型的参数：一般由学习确定
调参过程相似：先产生若干模型，然后基于某种评估 方法进行选择 参数调得好不好对性能往往对最终性能有关键影响
区别：训练集 vs. 测试集 vs. 验证集 (validation set)
算法参数选定后，要用“训练集+验证集”重新训练最终模型
一般而言，偏差与方差存在冲突：
训练不足时，学习器拟合能 力不强，偏差主导
随着训练程度加深，学习器 拟合能力逐渐增强，方差逐 渐主导
训练充足后，学习器的拟合 能力很强，方差主导
前往第三站……
什么样的模型是“好”的，不仅取决于算法和数据， 还取决于任务需求
回归(regression) 任务常用均方误差：
错误率 vs. 精度
错误率：
精度：
查准率 vs. 查全率
查准率： 查全率：
PR图, BEP
根据学习器的预测结果按正例可能性大小对样例 进行排序，并逐个把样本作为正例进行预测
对回归任务，泛化误差可通过“偏差-方差分解”拆解为：
期望输出与真实 输出的差别
同样大小的训练集 的变动，所导致的 性能变化
表达了当前任务上任何学习算法 所能达到的期望泛化误差下界
训练样本的标记与 真实标记有区别
泛化性能是由学习算法的能力、数据的充分性以及学习任务 本身的难度共同决定
偏差-方差窘境 (bias-variance dillema)
2010年图灵奖
常用方法
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
两学习器比较
统计显著性
交叉验证 t 检验 (基于成对 t 检验)
k 折交叉验证； 5x2交叉验证
McNemar 检验 (基于列联表，卡方检验)
多学习器比较 Friedman + Nemenyi • Friedman检验 (基于序值，F检验; 判断”是否都相同”) • Nemenyi 后续检验 (基于序值，进一步判断两两差别)
评估方法 性能度量 比较检验
评估方法
关键：怎么获得“测试集”(test set) ？
测试集应该与训练集“互斥”
常见方法：
留出法 (hold-out) 交叉验证法 (cross validation) 自助法 (bootstrap)
留出法
拥有的数据集
训练集
测试集
注意： 保持数据分布一致性 （例如: 分层采样) 多次重复划分 (例如: 100次随机划分) 测试集不能太大、不能太小 (例如：1/5~1/3)