(精品)机器学习第2章-模型评估与选择
机器学习的基本知识点
机器学习的基本知识点机器学习是一门涵盖统计学、人工智能和计算机科学等领域的交叉学科，旨在开发出能够从数据中学习和改进的算法和模型。
它广泛应用于各个领域，如语音识别、图像处理、自然语言处理等。
要理解机器学习的基本知识点，我们可以从以下几个方面进行探讨：一、监督学习监督学习是机器学习中最常用的方法之一。
在监督学习中，我们需要提供带有标签的训练数据，其中标签指示了输入数据所对应的正确输出。
通过这些带有标签的数据，机器学习算法可以学习到输入和输出之间的关系，并对未标记的数据进行预测。
监督学习中常用的算法包括决策树、支持向量机和神经网络等。
二、无监督学习无监督学习是一种没有标签的学习方法，它的目标是通过对数据的内在结构进行分析，发现隐藏的模式和关系。
无监督学习常用的算法包括聚类算法和降维算法。
聚类算法将数据分组为相似的子集，而降维算法可以减少数据的维度，以方便后续的可视化和处理。
三、半监督学习半监督学习是介于监督学习和无监督学习之间的学习方法。
在半监督学习中，我们既有带有标签的数据，也有未标记的数据。
该方法利用带有标签的数据进行有监督学习，并结合未标记数据的特征进行预测。
半监督学习可以在数据集标记有限的情况下提供更好的性能。
四、强化学习强化学习是一种通过学习来制定决策的方法，它通过控制系统与环境进行交互，从而学习到在特定环境下采取不同动作的最佳策略。
强化学习的核心是建立奖励机制，通过最大化累积奖励来选择最佳动作。
著名的强化学习算法包括Q-learning和深度强化学习等。
五、特征工程特征工程是指根据问题的特点和领域知识，对原始数据进行预处理和转换，以提取出对机器学习算法有用的特征。
良好的特征选择和处理可以显著提高机器学习模型的性能。
六、模型评估和选择在机器学习中，我们拟合模型以预测新的未标记数据。
为了评估模型的性能，我们需要将数据分为训练集和测试集。
同时，还可以使用交叉验证和学习曲线等方法评估模型，并选择最佳的模型进行使用。
【深度学习】一文深度解读模型评估方法
【深度学习】一文深度解读模型评估方法我们训练学习好的模型，通过客观地评估模型性能，才能更好实际运用决策。
模型评估主要有：预测误差情况、拟合程度、模型稳定性等方面。
还有一些场景对于模型预测速度（吞吐量）、计算资源耗用量、可解释性等也会有要求，这里不做展开。
一、评估预测误差情况机器学习模型预测误差情况通常是评估的重点，它不仅仅是学习过程中对训练数据有良好的学习预测能力，根本上在于要对新数据能有很好的预测能力（泛化能力），所以我们常通过测试集的指标表现评估模型的泛化性能。
评估模型的预测误差常用损失函数作为指标来判断，如回归预测的均方损失。
但除此之外，用损失函数作为评估指标有一些局限性且并不直观（如像分类任务的评估还常用f1-score，可以直接展现各种类别正确分类情况）。
在此，我们主要对回归和分类预测任务分别解读其常用误差评估指标。
1.1 回归任务的误差评估指标评估回归模型的误差，比较简单的思路，可以对真实值与预测值的差异“取正”后求平均。
如下：•均方误差（MSE）均方误差（MSE）为实际值与预测值的差值取平方求平均。
其中y是实际值，y^ 是预测值•均方根误差（RMSE）均方根误差（RMSE）是对MSE的开根号•平均绝对误差（MAE）平均绝对误差（MAE）是预测值与真实值之间的误差取绝对值的平均由于MAE用到了绝对值（不可导），很少用在训练的损失函数。
用于最终评估模型还是可以的。
•均方根对数误差(RMSLE)•上述指标的差异对比：① 异常值敏感性：MAE也就是真实预测误差，而RMSE，MSE都有加平方，放大了较大误差样本的影响（对于异常值更敏感），如果遇到个别偏离程度非常大的离群点时，即便数量很少，也会让这两个指标变得很差。
减少异常点的影响，可以采用RMSLE，它关注的是预测误差的比例，即便存在离群点，也可以降低这些离群点的影响。
② 量纲差异：不同于MSE做了平方，RMSE（平方后又开根号）及MAE对于原量纲是不变，会更直观些。
模型选择方法
模型选择方法
模型选择方法是指在机器学习领域中，为了解决数据拟合问题而选择适当的模型。
在选择模型时，需要针对不同的目标和数据特征选取不同的模型，以使模型能够达到最佳的性能和精度。
模型选择方法包括以下几种：
1、交叉验证法。
这是一种常用的模型选择方法，其基本思想是将原始数据集分成两部分，一部分用来训练模型，另一部分用来测试模型，从而判断模型的好坏。
交叉验证方法可以检测出模型的过拟合和欠拟合问题。
2、正则化方法。
正则化是在损失函数中加上一个正则化项，以降低模型的复杂度，避免过拟合。
常见的正则化方法包括L1、L2正则化等。
3、贝叶斯方法。
贝叶斯方法是利用贝叶斯公式，将先验概率和后验概率相结合，进行模型选择。
4、信息准则。
信息准则是一种利用信息量来评估模型好坏的方法，其中最常见的是Akaike信息准则和贝叶斯信息准则。
5、启发式搜索。
启发式搜索是通过对搜索空间中的模型进行评估和排序，来选取最佳模型的方法。
模型选择方法的核心在于评价模型的好坏，并找到最佳的模型。
不同的模型选择方法应用于不同的数据场景，能够提升模型的精度和泛化能力。
机器学习——模型评估
机器学习——模型评估 “没有测量，就没有科学。
”这是科学家门捷列夫的名⾔。
在计算机科学特别是机器学习领域中，对模型的评估同样⾄关重要。
只有选择与问题相匹配的评估⽅法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进⾏优化。
模型评估主要分为离线评估和在线评估两个阶段。
针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。
知道每种评估指标的精确定义、有针对性地选择合适的评估指标、根据评估指标的反馈进⾏模型调整，这些都是机器学习在模型评估阶段的关键问题，也是⼀名合格的算法⼯程师应当具备的基本功。
在模型评估过程中，分类问题、排序问题、回归问题往往需要使⽤不同的指 标进⾏评估。
在诸多的评估指标中，⼤部分指标只能⽚⾯地反映模型的⼀部分性 能。
如果不能合理地运⽤评估指标，不仅不能发现模型本⾝的问题，⽽且会得出 错误的结论。
下⾯以Hulu的业务为背景，假想⼏个模型评估场景，看看⼤家能否 触类旁通，发现模型评估指标的局限性。
1 模型评估指标1.1 准确率 Hulu的奢侈品⼴告主们希望把⼴告定向投放给奢侈品⽤户。
Hulu通过第三⽅ 的数据管理平台（Data ManagementPlatform，DMP）拿到了⼀部分奢侈品⽤户的 数据，并以此为训练集和测试集，训练和测试奢侈品⽤户的分类模型。
该模型的 分类准确率超过了95%，但在实际⼴告投放过程中，该模型还是把⼤部分⼴告投给 了⾮奢侈品⽤户，这可能是什么原因造成的？在解答该问题之前，我们先回顾⼀下分类准确率的定义。
准确率是指分类正确的样本占总样个数的⽐例： Accuracy = \frac{n_{correct}}{n_{total}} 其中 n_{correct }为被正确分类的样本个数， n_{total } 为总样本的个数。
准确率的局限性：准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷，当不同总类的样本⽐例⾮常不均衡时，占⽐⼤的类别往往成为影响准确率的最主要因素。
周志华 机器学习ppt Chap02模型评估与选择
(BEP)
PR图： • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C • 学习器 A ?? 学习器 B
BEP： • 学习器 A 优于 学习器 B • 学习器 A 优于 学习器 C • 学习器 B 优于 学习器 C
F1
比 BEP edman 检验图
横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小
若两个算法有交叠 (A 和 B)，则说明没有显著差别; 否则有显著差别 (A 和 C)，算法 A 显著优于算法 C
“误差”包含了哪些因素 ?
换言之，从机器学习的角度看， “误差”从何而来?
偏差-方差分解 (bias-variance decomposition)
& Swets, Book 66; Spackman, IWML’89]
The bigger, the better
非均等代价
犯不同的错误往往会造成不同的损失 此时需考虑“非均等代价”
(unequal cost)
代价敏感(cost-sensitive)错误率：
模型选择 (model selection)
模型选择 (model selection)
三个关键问题: 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？
评估方法 性能度量 比较检验
性能度量
性能度量(performance measure)是衡量模型泛化能力的 评价标准，反映了任务需求 使用不同的性能度量往往会导致不同的评判结果
k-折交叉验证法
若 k = m，则得到“留一法” (leave-one-out, LOO)
自助法
基于“自助采样” (bootsrap sampling) 亦称“有放回采样”、“可重复采样”
机器学习周志华课后习题答案
第二章模型评估与选择1 .数据集包含1000个样本.其中500个正例，500个反例，将其划分为包含70M¥本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
-个组合问题.从500500正反例中分别选出150150正反例用于留出法评估.所以可能取法应该是（C盅），2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本敬相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果.10折交叉检验：由于每次训练样本中正反例数目一样.所以讲结果判断为正反例的概率也是一样的.所以错误率的期望是5050%。
留一法：如果留下的是正例.训练样本中反例的数目比正例多一个.所以留出的样本会被判断是反例；同理.留出的是反例，则会被判断成正例，所以错误率是100乳3.若学习器A的F1值比学习器B高,试析A的BEP值是否也比B高。
小，*fi们的0EHB大小井沿有明績的芙展:投去找〉诅・!£谊里用&控.设it两个8£附相同纺分及8L釦靈他们的，；債不一晚.整么之道荘的話论戲8!百更的再加点残，了评坨贮的14惑：BEP值祝疼R値遍〉BEP偵*&P叫取划& SttffBEIMM. 义心.耶么Fi和-用会怕等TBEP.舉么P.R.F&这里有什么小义龊〉这里分两M-M1R的理精，在R,再IRlgw^Sn 当谊个分美研正蜘•*时，斯•虹8EP4L 古妁8EP的计算小If.川当荊的咋・佈是育浏一。
一步级试P' ♦•二B£P.的1?分英M将卬有ft本痊分为正例的wmwfi. 注E貫峯面分具为it.后面分类为公：.但H这个可使咯？i&»>ta；RTFi = F L RR用成立，分类，的许甘•点度玮会班成了杆本的1的可董恼*庁・而不£1»终的样志1:4分號SL 分迪邮掰有训练代您按自己认为虽正例的敏Wt序U杵的面分製債可竦它剤断为iFfft BKWff个M病12为正，当酬》看与査全率《珈，准奉=直全率.当然紳88的真实榆出幽曲个g帅的姓陟”仞■.嗣面的版记为正.占面的IS记为ft,说钳的巨准率与苴全茎用束HWFlffi.可以U出白同择的旺Pffl的两个分类骞在不同位・tHK可S紿和的P10 所以Fl<S麻不ttao；1/*A談w・w-IM )♦*♦s%臥7/.&•臥w.1/*y*4/・&♦Wi*・uv・気Tm?rm试衅本分％下二=行整两个分类蜀对隔有侔本按为n=伊冋制的権序，以》判斯的&毕.可然两个5淺篇冇粗向的旺p<3.伊#ftm8qgHHT#0.8D. -tB0.8.4.试述真正例率（TPR）、假正例率（FPR）与査准率（Ph査全率（R）之间的联系.查全率：真实正例被预测为正例的比例真正例率：真实正例被预测为正例的比例显然查全率与真正例率是相等的。
如何进行机器学习模型训练和部署
如何进行机器学习模型训练和部署机器学习模型训练和部署是数据科学和人工智能领域中的重要环节，本文将介绍如何进行机器学习模型训练和部署的步骤和方法。
一、数据收集与准备在进行机器学习模型训练之前，首先需要收集和准备用于训练的数据。
数据可以来自多种渠道，包括公开可用的数据集、企业内部数据以及第三方数据。
在收集数据时，需要注意数据的质量和数量，尽量保证数据的完整性和代表性。
二、特征工程数据收集完成后，需要对数据进行特征工程处理。
特征工程是指将原始数据转化为适用于模型训练的特征表示。
常用的特征工程方法包括数据清洗、特征选择、特征变换等。
通过对数据进行特征工程，可以提取出对问题最具信息量的特征，提高模型的性能。
三、模型选择与训练在进行模型选择之前，需要先确定问题的类型，是分类问题、回归问题还是聚类问题等。
根据问题类型选择适合的模型算法，常见的机器学习算法包括决策树、支持向量机、神经网络等。
选择好模型算法后，可以使用训练数据对模型进行训练，优化模型参数，提高模型的拟合能力。
四、模型评估与调优模型训练完成后，需要对模型进行评估和调优。
常用的模型评估指标包括准确率、精确率、召回率、F1值等，可以根据具体问题选择合适的评估指标。
通过模型评估结果，可以判断模型的性能是否达到要求，如果不满足要求，可以通过调整模型参数或改进特征工程方法等方式对模型进行调优。
五、模型部署模型训练和调优完成后，可以将模型部署到实际应用中。
模型部署的方式包括本地部署和云端部署两种。
本地部署可以将模型集成到软件系统中，实现离线推断；云端部署可以通过网络接口提供在线的推断服务。
根据实际需求选择适合的部署方式，并确保模型能够在实际应用场景中正常运行。
六、监控与维护模型部署后，需要进行监控和维护工作。
监控模型的性能和稳定性，及时发现和解决模型运行中的问题。
定期检查和更新模型，以适应数据分布的变化和业务需求的变更。
保证模型的持续有效性和稳定性。
总结：机器学习模型训练和部署是一个迭代的过程，在每个阶段都需要仔细考虑和处理各种问题。
《机器学习MachineLearning》教学大纲
《机器学习（Machine Learning）》教学大纲学分：5学时：90开课单位：软件学院任课教师及职称（学位）：汪浩教授、龙浩副教授、李第平博士教学内容及要求1、课程简介：世界的本质是数据（参见维克托·迈尔·舍恩伯格《大数据时代》），数据挖掘的任务是从大量数据中发现隐藏的、未知的和潜在的知识或模式的过程。
机器学习(Machine Learning, ML)是数据挖掘的基础，为数据挖掘提供了基本工具，是大数据时代重要的课程。
机器学习涉及概率论、统计学、最优化理论、算法复杂性理论等多门课程，本课程将讨论机器学习方法背后的基本数学原理，机器学习方法的基本数学模型，以及机器学习的基本方法和算法。
2、教学目的与要求：了解和掌握回归分析、分类、聚类、降维等机器学习的基本算法，同时掌握这些方法背后的数学原理，学习这些算法的基本原理，并能利用对应的软件包进行数据分析和挖掘。
3、主要内容第一章引言（10课时）教学目的和基本要求：了解机器学习的基本内容，机器学习的分类，机器学习的三要素，机器学习的模型评估和选择。
教学重点、难点：机器学习三要素，机器学习模型评估与选择教学基本内容：1.1.什么是机器学习1.2.机器学习分类●有监督学习●无监督学习●半监督学习1.3.机器学习三要素●模型●策略●算法1.4.机器学习模型评估与选择●训练误差与测试误差●过拟合与模型选择第二章回归分析（12课时）教学目的和基本要求：了解回归分析的作用，掌握回归分析的基本方法。
教学重点、难点：最小二乘法、最大似然法。
教学基本内容：1.1线性建模：最小二乘法1.2回归分析用于预测1.3正则化最小二乘法1.4线性建模：最大似然法第三章机器学习的贝叶斯方法（12课时）教学目的和基本要求：学习掌握共轭模型和非共轭模型等两种贝叶斯推理的基本方法。
教学重点、难点：图模型、共轭模型、最大后验估计MAP，拉普拉斯近似等。
教学基本内容：3.1 图模型3.2 贝叶斯估计的共轭模型●硬币游戏●后验概率●三个场景●边缘似然估计3.3 贝叶斯计的非共轭模型●非共轭模型●二值响应●最大后验估计MAP●拉普拉斯近似●抽样技术第四章分类（12课时）教学目的和基本要求：了解什么是分类，学习机器分类概率分类器和非概率分类器。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 假设测试样本是从真实分布中采样而得，避免因数据划分引入偏 差。
• 测试集应与训练集互斥。
测试方法
留出法 （hold-out）
数学表达
注意事项
优缺点
������ = ������ ∪ ������ ������ ∩ ������ = ∅
•
微查准率（micro−������）：micro−������
=
������������ ������������+������������
•
微查全率（micro−������）：micro−������
=
����������ห้องสมุดไป่ตู้� ������������+������������
• 微������1（micro−������1）
• P-R曲线
• 面积、平衡点（Break-Even-Point，BEP）
• ������1度量：������, ������的调和平均
• ������������度量： ������, ������的加权调和平均
多混淆矩阵
• 先分别计算查准率和查全率，再平均
•
宏查准率（macro−������）：macro−������
• 我们希望泛化误差小的学习器
过拟合
• 过拟合（overfitting）：训练过度使泛化能力下降 • 欠拟合（underfitting）：未能学好训练样本的普遍规律
• 过拟合是机器学习的关键障碍 且不可避免！ • 模型误差包含了数据误差， 或者说模型信息中包含了噪声。
学习器泛化评估——实验测试
• 测试集：测试误差（testing error）
• 分类（classification）：错误率（error rate）和精度（accuracy）
• 离散数据： ������ ������; ������
=
1 ������
�������=��� 1
������(������
������������
≠ ������������) , acc ������; ������
留一法 （Leave-One-Out，LOO）
������ = ������1 ∪ ⋯ ∪ ������������ ������������ ∩ ������������ = ∅ ������ ≠ ������
������ = ������
������次������折交叉验证
稳定性和保真性很大程度取决于������
=
1 ������
�������=��� 1
������������
•
宏查全率（macro−������）：macro−������
=
1 ������
�������=��� 1
������������
• 宏������1（macro−������1）
• 先平均各混淆矩阵对应元素，再计算查准率和查全率
每次使用一个样本验证
不受随机样本划分方式影响 数据量大时计算量大
自助法 （bootstrapping）
������ = ������ ������ = ������\S
可重复采样/有放回采样
数据集较小有用 改变初始数据集的分布，引入偏差
调参与最终模型
• 参数调节（parameter tuning）
=
1 ������
�������=��� 1
������(������
������������
= ������������)
• 连续数据：������ ������; ������ = ������~������ ������ ������ ������ ≠ ������ ������ ������ ������������ , acc ������; ������ = ������~������ ������ ������ ������ = ������ ������ ������ ������������
• 算法参数 → 人工设定候选值 • 模型参数 → 通过学习产生候选模型
训练集 → 训练估计模型 • 数据集 ൞ 验证集 → 模型参数调整
测试集 → 估计泛化能力
• 学习算法和参数配置确定后要用整个数据集重新训练模型
性能度量
• 性能度量（performance measure）：衡量模型泛化能力的评价标准
ROC与AUC
• 受试者工作特征曲线（Receiver Operating Characteristic）
• 横轴——假正例率：FPR = ������������
任务需求——以二分类为例
• 混淆矩阵（confusion matrix），非对角，纠缠相
•
查准率（precision）：������
=
������������ ������������+������������
•
查全率（recall）：������
=
������������ ������������+������������
• 回归（regression）：均方误差（mean squared error）
• 离散数据：������ ������; ������
=
1 ������
�������=��� 1(������
������������
− ������������)2
• 连续数据： ������ ������; ������ = ������~������ ������ ������ − ������ 2������ ������ ������������
第2章模型评估与选择
主要内容
• 经验误差与过拟合 • 评估方法 • 性能度量 • 比较检验 • 偏差与方差
误差
• 误差（error）：学习器实际预测输出与样本真实输出之间的差异
• 训练集：训练误差（training error），（经验误差，empirical error） • 训练集的补集：泛化误差（generalization error）
分层采样（stratified sampling） 重复试验取平均评估结果
测试集小，评估结果方差较大 训练集小，评估结果偏差较大
交叉验证法 （cross validation）
������ = ������1 ∪ ⋯ ∪ ������������ ������������ ∩ ������������ = ∅ (������ ≠ ������)