数据挖掘--分类课件ppt
合集下载
数据挖掘概念与技术第一章PPT课件
数据利用
数据淹没,但却缺乏知识
信息技术的进化
···
数据挖掘的自动化分析的海量数据集 文件处理->数据库管理系统->高级数据库:系统高级数据分析
2021
3
定义：从大量的数据中提取有趣的（非平凡的，隐 含的，以前未知的和潜在有用的）模式或知识。
“数据中发现知识”（KDD）
2021
4
选择和变换
评估和表示
第一章 引论
2021
1
1.1 为什么进行数据挖掘 1.2 什么是数据挖掘 1.3 可以挖掘什么类型的数据 1.4 可以挖掘什么类型的模式 1.5 使用什么技术 1.6 面向什么类型的应用 1.7 数据挖掘的主要问题 1.8 小结
2021
2
数据爆炸
海量数据，爆炸式增长
来源：网络，电子商务，个人 类型：图像，文本···
设想网上购物的一次交易，其付款过程至少包括以下几步数据库操作：
一、更新客户所购商品的库存信息 二、保存客户付款信息--可能包括与银行系统的交互 三、生成订单并且保存到数据库中 四、更新用户相关信息，例如购物数量等等
2021
9
其他类型的数据
股票交易数据 文本 图像 音频视频 未知的
2021
10
1.4.1 类/概念描述：特征化与区分
类/概念
数据特征化
目标数据的一般特性或特征汇总
数据区分
将目标类数据对象的一般性与一个或多个 对比类对象的一般特性进行比较
特征化和区分
2021
11
1.4.2 挖掘频繁模式、关联和相关性
频繁模式是在数据中频繁出现的模式
1.频繁项集、频繁子序列、频繁子结构 2.挖掘频繁模式可以发现数据中的关联和相关性 例如：单维与多维关联
数据淹没,但却缺乏知识
信息技术的进化
···
数据挖掘的自动化分析的海量数据集 文件处理->数据库管理系统->高级数据库:系统高级数据分析
2021
3
定义：从大量的数据中提取有趣的（非平凡的，隐 含的，以前未知的和潜在有用的）模式或知识。
“数据中发现知识”（KDD）
2021
4
选择和变换
评估和表示
第一章 引论
2021
1
1.1 为什么进行数据挖掘 1.2 什么是数据挖掘 1.3 可以挖掘什么类型的数据 1.4 可以挖掘什么类型的模式 1.5 使用什么技术 1.6 面向什么类型的应用 1.7 数据挖掘的主要问题 1.8 小结
2021
2
数据爆炸
海量数据，爆炸式增长
来源：网络，电子商务，个人 类型：图像，文本···
设想网上购物的一次交易，其付款过程至少包括以下几步数据库操作：
一、更新客户所购商品的库存信息 二、保存客户付款信息--可能包括与银行系统的交互 三、生成订单并且保存到数据库中 四、更新用户相关信息，例如购物数量等等
2021
9
其他类型的数据
股票交易数据 文本 图像 音频视频 未知的
2021
10
1.4.1 类/概念描述：特征化与区分
类/概念
数据特征化
目标数据的一般特性或特征汇总
数据区分
将目标类数据对象的一般性与一个或多个 对比类对象的一般特性进行比较
特征化和区分
2021
11
1.4.2 挖掘频繁模式、关联和相关性
频繁模式是在数据中频繁出现的模式
1.频繁项集、频繁子序列、频繁子结构 2.挖掘频繁模式可以发现数据中的关联和相关性 例如：单维与多维关联
数据挖掘基础 数据挖掘概念ppt课件
数据挖掘的数据源包括数据库、数据仓库、Web或其他数据存储库。
层次聚类树树状图
A
B
C
D
E
1.1 数据挖掘概述
1.1.2 数据挖掘常用算法概述
第一章 数据挖掘概念
在面对海量数据时，需要使用一定的算法，才能从中挖掘出有用的信息，下面介绍数 据挖掘中常用的算法。
1. 分类算法 (1) 决策树算法 决策树算法是一种典型的分类算法，首先利用已知分类的数据构造决策树，然后利用 测试数据集对决策树进行剪枝，每个决策树的叶子都是一种分类，最后利用形成的 决策树对数据进行分类。决策树的典型算法有ID3，C4.5，CART等。
1.1 数据挖掘概述
1.1.3 数据挖掘常用工具概述
第一章 数据挖掘概念
2. Clementine(SPSS) 软件 Clementine是SPSS所发行的一种资料探勘工具，集成了分类、聚类和关联规则
等算法，Clementine提供了可视化工具，方便用户操作。其通过一系列节点来执行 挖掘过程，这一过程被称作一个数据流，数据流上面的节点代表了要执行的操作。 Clementine的资料可视化能力包含散布图、平面图及Web分析。
1.1 数据挖掘概述
第一章 数据挖掘概念
1.1.3 数据挖掘常用工具概述
1. Weka软件
Weka(Waikato Environment for Knowledge Analysis)的全名是怀卡托智能 分析环境，是一款免费与非商业化的数据挖掘软件，基于Java环境下开源的机器学 习与数据挖掘软件。Weka的源代码可在其官方网站下载。它集成了大量数据挖掘算 法，包括数据预处理、分类、聚类、关联分析等。用户既可以使用可视化界面进行 操作，也可以使用Weka提供的接口，实现自己的数据挖掘算法。图形用户界面包括 Weka Knowledge Flow Environment和Weka Explorer。用户也可以使用Java语 言调用Weka提供的类库实现数据挖掘算法，这些类库存在于weka.jar中。
层次聚类树树状图
A
B
C
D
E
1.1 数据挖掘概述
1.1.2 数据挖掘常用算法概述
第一章 数据挖掘概念
在面对海量数据时，需要使用一定的算法，才能从中挖掘出有用的信息，下面介绍数 据挖掘中常用的算法。
1. 分类算法 (1) 决策树算法 决策树算法是一种典型的分类算法，首先利用已知分类的数据构造决策树，然后利用 测试数据集对决策树进行剪枝，每个决策树的叶子都是一种分类，最后利用形成的 决策树对数据进行分类。决策树的典型算法有ID3，C4.5，CART等。
1.1 数据挖掘概述
1.1.3 数据挖掘常用工具概述
第一章 数据挖掘概念
2. Clementine(SPSS) 软件 Clementine是SPSS所发行的一种资料探勘工具，集成了分类、聚类和关联规则
等算法，Clementine提供了可视化工具，方便用户操作。其通过一系列节点来执行 挖掘过程，这一过程被称作一个数据流，数据流上面的节点代表了要执行的操作。 Clementine的资料可视化能力包含散布图、平面图及Web分析。
1.1 数据挖掘概述
第一章 数据挖掘概念
1.1.3 数据挖掘常用工具概述
1. Weka软件
Weka(Waikato Environment for Knowledge Analysis)的全名是怀卡托智能 分析环境，是一款免费与非商业化的数据挖掘软件，基于Java环境下开源的机器学 习与数据挖掘软件。Weka的源代码可在其官方网站下载。它集成了大量数据挖掘算 法，包括数据预处理、分类、聚类、关联分析等。用户既可以使用可视化界面进行 操作，也可以使用Weka提供的接口，实现自己的数据挖掘算法。图形用户界面包括 Weka Knowledge Flow Environment和Weka Explorer。用户也可以使用Java语 言调用Weka提供的类库实现数据挖掘算法，这些类库存在于weka.jar中。
数据挖掘--分类完整1ppt课件
2020/5/21
.
16
K-近邻分类算法
大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
2020/5/21
.
11
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/5/21
.
12
基于距离的分类算法的思路
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/5/21
.
1
分类的流程
根据现有的知识，我们得到了一些关于爬行动物和鸟类的信息， 我们能否对新发现的物种，比如动物A，动物B进行分类？
2020/5/21
.
2
f(xi1 ,xi2 ,xi3 ,..x.i)n. .y.i ,
步骤三：建立分类模型或分类器（分类）。
分类器通常可以看作一个函数，它把特征映射到类的空间 上
2020/5/21
.
5
如何避免过度训练
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。
2020/5/21
.
7
分类模型的评估
真阳性(True Positive)： 实际为阳性 预测为阳性 真阴性(True Negative)：实际为阴性 预测为阴性 假阳性(False Positive)： 实际为阴性 预测为阳性 假阴性(False Negative)：实际为阳性 预测为阴性
预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬
《数据挖掘技术》课件
拆分时间序列成趋势、周期和随机成分，了解时间序列的特征。
2
时间序列预测
通过历史数据建模和预测，预测未来时间点的趋势和模式。
3
金融市场预测
应用时间序列挖掘来预测股票价格、汇率等金融指标。
大数据时代下的挖掘技术发展趋势
人工智能
深度学习、自然语言处理等在数 据挖掘中的应用。
云计算
通过弹性计算和分布式存储实现 大规模数据挖掘。
医疗诊断
利用医疗数据挖掘技术来辅助医生进行疾病诊断。
社交网络分析
挖掘社交网络中的关系和用户行为模式。
数据清洗、数据集成、数据转换和数据规约。
特征选择
评估特征的重要性，剔除冗余和无关特征，提高模型准确性。
数据质量
解决数据缺失、异常数据和噪声数据，保证数据的准确性和完整性。
聚类算法与分类算法
聚类算法
基于距离或相似性将数据划分为 不同的群集，发现数据的内在结 构。
分类算法
通过训练数据构建决策树，对新 的未知数据进行分类或预测。
物联网
连接设备和传感器的数据挖掘和 分析。
数据可视化技术与数据分析
可视化工具
使用图表、地图和仪表盘等可视化工具
数据分析
2
来展现数据。
通过统计分析和交互式探索来发现数据
的隐藏关系。
3
故事呈现
通过数据可视化技术将数据转化为有意 义的故事。
数据挖掘案例分析和应用实践
市场营销
通过分析客户购买数据来制定营销策略。
支持向量机
通过在特征空间中创建超平面将 不同类别的数据分隔开。
关联规则挖掘及其应用
1 频繁项集
发现同时出现频率较高的 商品或事物组合。
数据挖掘精品PPT课件
ห้องสมุดไป่ตู้
（2）聚类分析 物以类聚，人以群分，聚类分析技术试图找出数据 集中的数据的共性和差异，并将具有共性对象聚合 在相应的簇中。聚类分析已广泛应用与客户细分、 定向营销、信息检索等领域。 聚类与分类是容易混淆的两个概念。聚类是一种无 指导的观察式学习，没有预先定义的类。 （3）关联分析 关联分析是发现特征之间的相互依赖关系，通常是 在给定的数据集中发现频繁出现的模式知识（又称 关联规则）。关联规则广泛用于市场营销、事务分 析等领域。
数据挖掘概念首次出现在1989年举行的第十一届 国际联合人工智能学术会议上，其思想主要来自 于机器学习、模式识别、统计和数据库系统。国 内对数据挖掘的研究起步较晚，1993年国家自然 科学基金首次支持该领域的研究。此后，国家、 各省自然科学基金委，国家社科基金，“863”、 “973”项目，国家、各省的科技计划，每年都 有相关项目支持。众多研究机构和大学都成立专 门的项目组。从事数据挖掘研究与应用的人员越 来越多。现今，数据挖掘的基本理论问题逐步得 到了解决，现在更多的是数据挖掘的应用。
7.2.2 基于规则的分类器 基于规则的分类器是使用一组“if...then...” 规则来对记录进行分类的技术。为了建立基于规则 的分类器，需要提取一组规则来识别数据集的属性 和类标号之间的关键联系。提取分类规则的方法有 两大类，直接方法和间接方法。直接方法是直接从 数据中提取分类规则，间接方法是从其他分类模型 中提取分类规则。
7.2 分类 分类任务就是确定对象属于哪个预定义的目标类。 分类问题是一个普遍存在的问题，有许多不同的 应用。例如，根据电子邮件的标题和内容检查出 垃圾邮件，对一大堆照片区分出哪些是猫哪些是 狗。分类任务就是通过学习得到一个目标函数， 把每个属性集x映射到一个预先定义的类标号y。 目标函数也称分类模型。
（2）聚类分析 物以类聚，人以群分，聚类分析技术试图找出数据 集中的数据的共性和差异，并将具有共性对象聚合 在相应的簇中。聚类分析已广泛应用与客户细分、 定向营销、信息检索等领域。 聚类与分类是容易混淆的两个概念。聚类是一种无 指导的观察式学习，没有预先定义的类。 （3）关联分析 关联分析是发现特征之间的相互依赖关系，通常是 在给定的数据集中发现频繁出现的模式知识（又称 关联规则）。关联规则广泛用于市场营销、事务分 析等领域。
数据挖掘概念首次出现在1989年举行的第十一届 国际联合人工智能学术会议上，其思想主要来自 于机器学习、模式识别、统计和数据库系统。国 内对数据挖掘的研究起步较晚，1993年国家自然 科学基金首次支持该领域的研究。此后，国家、 各省自然科学基金委，国家社科基金，“863”、 “973”项目，国家、各省的科技计划，每年都 有相关项目支持。众多研究机构和大学都成立专 门的项目组。从事数据挖掘研究与应用的人员越 来越多。现今，数据挖掘的基本理论问题逐步得 到了解决，现在更多的是数据挖掘的应用。
7.2.2 基于规则的分类器 基于规则的分类器是使用一组“if...then...” 规则来对记录进行分类的技术。为了建立基于规则 的分类器，需要提取一组规则来识别数据集的属性 和类标号之间的关键联系。提取分类规则的方法有 两大类，直接方法和间接方法。直接方法是直接从 数据中提取分类规则，间接方法是从其他分类模型 中提取分类规则。
7.2 分类 分类任务就是确定对象属于哪个预定义的目标类。 分类问题是一个普遍存在的问题，有许多不同的 应用。例如，根据电子邮件的标题和内容检查出 垃圾邮件，对一大堆照片区分出哪些是猫哪些是 狗。分类任务就是通过学习得到一个目标函数， 把每个属性集x映射到一个预先定义的类标号y。 目标函数也称分类模型。
《数据挖掘》PPT课件
➢ 数据挖掘应用系统开发 ➢ 数据挖掘技术的新应用 ➢ 数据挖掘软件发展
2020/12/9
数据库研究所
9
高级数据挖掘
课程的教学目的
➢ 让学生掌握数据挖掘的基本概念、算法和高级技术； ➢ 将这些概念、算法和技术应用于实际问题。
复旦大学计算机科学技术学 院基本情况
➢ 主要研究方向
▪ 媒体计算 ▪ 数据库与数据科学 ▪ 网络与信息安全 ▪ 智能信息处理 ▪ 人机接口和服务计算 ▪ 理论计算机科学 ▪ 软件工程与系统软件
2020/12/9
数据库研究所
6
复旦大学数据挖掘课程的设置
总体目标
➢ 掌握大规模数据挖掘与分析的基本流程 ➢ 掌握数据挖掘的基本算法 ➢ 掌握对实际数据集进行挖掘的系统能力
数据仓库与数据挖掘
数据库系统
2020/12/9
数据库研究所
8
数据仓库与数据挖掘
课程的教学目的
➢ 掌握数据仓库数据挖掘原理、技术和方法，掌握建立数据挖掘应用 系统的方法，了解相关前沿的研究。
教学内容
➢ 数据挖掘、数据仓库的基本概念
▪ 数据仓库设计和应用 ▪ 数据挖掘的基本技术
• 关联分析、分类分析、聚类分析、异常分析和演化分析等；联机分析处理OLAP技术；
➢ involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems.
➢ The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.
2020/12/9
数据库研究所
9
高级数据挖掘
课程的教学目的
➢ 让学生掌握数据挖掘的基本概念、算法和高级技术； ➢ 将这些概念、算法和技术应用于实际问题。
复旦大学计算机科学技术学 院基本情况
➢ 主要研究方向
▪ 媒体计算 ▪ 数据库与数据科学 ▪ 网络与信息安全 ▪ 智能信息处理 ▪ 人机接口和服务计算 ▪ 理论计算机科学 ▪ 软件工程与系统软件
2020/12/9
数据库研究所
6
复旦大学数据挖掘课程的设置
总体目标
➢ 掌握大规模数据挖掘与分析的基本流程 ➢ 掌握数据挖掘的基本算法 ➢ 掌握对实际数据集进行挖掘的系统能力
数据仓库与数据挖掘
数据库系统
2020/12/9
数据库研究所
8
数据仓库与数据挖掘
课程的教学目的
➢ 掌握数据仓库数据挖掘原理、技术和方法，掌握建立数据挖掘应用 系统的方法，了解相关前沿的研究。
教学内容
➢ 数据挖掘、数据仓库的基本概念
▪ 数据仓库设计和应用 ▪ 数据挖掘的基本技术
• 关联分析、分类分析、聚类分析、异常分析和演化分析等；联机分析处理OLAP技术；
➢ involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems.
➢ The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.
数据挖掘课件
07
数据挖掘实践案例
电商用户行为分析
1 2
用户购买行为分析
分析用户的购买记录，识别用户的购买习惯和偏 好，为电商企业提供精准的产品推荐和营销策略 。
用户活跃度分析
分析用户的登录、浏览、搜索等行为，评估用户 的活跃度和兴趣，优化网站内容和结构。
3
用户满意度分析
通过用户评价和反馈，了解用户对产品的满意度 和需求，及时调整产品和服务，提高用户满意度 和忠诚度。
层次聚类算法的优缺点
层次聚类算法能够得到完整的聚类树，但计算复杂度高，且需要预先确定簇的数量或截断 线。
05
分类与回归
决策树算法
决策树算法概述
ID3算法
决策树是一种常见的分类与回归算法，通 过树形结构来表达决策过程。
ID3算法是决策树学习算法的一种，它根据 信息增益来选择划分属性。
C4.5算法
CART算法
C4.5算法是ID3算法的改进版，它引入了增 益率的概念，解决了ID3算法对可取值数目 较多的属性有所偏好的问题。
CART算法是一种采用二叉树结构的决策树 学习算法，概述
距离度量
K近邻算法是一种基本的分 类与回归算法，它根据距离 来衡量样本之间的相似性。
信用卡欺诈检测
01
异常交易检测
监测信用卡交易记录，及时发现 异常交易，如大额交易、异地交 易等，防止欺诈行为。
02
欺诈模式识别
03
实时监控与警报
通过对历史欺诈行为进行分析， 发现欺诈模式和特征，建立欺诈 检测模型。
实时监测信用卡交易，触发警报 机制，及时通知银行和持卡人， 防止欺诈行为。
股票价格预测
填充缺失值
对于缺失的数据，可以采 用不同的方法进行填充， 如用平均值、中位数或模 式匹配等方法。
大数据高职系列教材之数据挖掘基础PPT课件：第2章 分类
2.1 分类概述
2.1.2 解决分类问题的一般方法
第二章 分类
2.1 分类概述
2.1.2 解决分类问题的一般方法
• 应用模
第二章 分类
2.1 分类概述
2.1.3 决策树
第二章 分类
1.决策树工作原理 通过提出一系列精心构思的关于检验记录属性的问题，解决分类问题。 类问题的决策树，树中包含三种节点： *根节点 没有进边，有0条或更多条出边； *内部节点 有一条进边，有2条或更多条出边； *叶节点有一条进边，没有出边。
2.4 分类在实际场景中的应用案例
第二章 分类
1案例：如何解决文章主题关键字与搜索引擎关键字带来的检索结果差异
• 在网页学术性判定方面,提出了基于贝叶斯算法的网页学术性判断算法, 通过对网页内容、 格式、结构三个维度的分析,完成网页学术性的判定;在分类方面,以中图法的分类大纲作为 分类目录,提出了基于改进空间向量模型的学术网页分类算法,通过利用网页主题关键字构 建网页向量空间,最后实现了网页的正确分类。通过两个关键算法,在系统中的网页主题提 取部分,采用Html Parser技术与正则表达式相结合的网页主题提取算法,实现对抓取的网页 主题内容的获取。
一个数据集，包含两个不同类的样本，分别用小黑加号块和小圆圈表示。数据集是线性可分的，即能找到一个 超平面，使得所有小黑方块位于这个超平面的一侧，所有小圆圈在它的另一侧。如图所示，可看到这种超平面可 能存在无穷多个。通过检验样本运行效果，分类器要从这些超平面中选一个作为它的决策边界。
2.3 支持向量机
有穷举覆盖。它确保每一条记录都至少被规则集里的一条规则覆盖。
2.2 贝叶斯决策与分类器
第二章 分类
2.2.1 规则分类器
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/8/2
16
K-近邻分类算法
K-近邻分类算法（K Nearest Neighbors，简称KNN）通过
步骤一：将样本转化为等维的数据特征（特征提取）。
所有样本必须具有相同数量的特征 兼顾特征的全面性和独立性
2020/8/2
3
分类的流程
步骤二：选择与类别相关的特征（特征选择）。
比如，绿色代表与类别非常相关，黑色代表部分相关，灰 色代表完全无关
2020/8/2
4
分类的流程
f(xi1 ,xi2 ,xi3 ,..x.i)n. .y.i ,
马修斯相关性系数定义为
2020/8/2
10
分类模型的评估
ROC曲线通过描述真阳性率(TPR)和假阳性率(FPR)来实 现，其中TPR=TP/(TP+FN), FPR=FP/(FP+TN)。
大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
2020/8/2
建立分类模型需要学习一部分已知数据，如果 训练时间过长，或者预测模型参数太多而样本 较少，将导致过度训练(overfitting)。
2020/8/2
6
如何避免过度训练
避免过度训练最重要一点是，模型的参数量应 远小于样本的数量。
应建立训练集(training set)和测试集(test set)。
步骤三：建立分类模型或分类器（分类）。
分类器通常可以看作一个函数，它把特征映射到类的空间 上
2020/8/2
5
如何避免过度训练
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。
分类与聚类的最大区别在于，分类数据中的一 部分的类别是已知的，而聚类数据的类别未知。
sim(ti，Cj)>=sim(ti，Cl) ，Cl∈C，Cl≠Cj，
其中sim(ti，Cj)被称为相似性。
在实际的计算中往往用距离来表征，距离越近， 相似性越大，距离越远，相似性越小。
距离的计算方法有多种，最常用的是通过计算每 个类的中心来完成。
2020/8/2
13
基于距离的分类算法的一般性描述
END.
算法 4-1通过对每个样本和各个类的中心来比较，
从而可以找出他的最近的类中心，得到确定的类 别标记。
2020/8/2
14
基于距离的分类方法的直观解释
（a）类定义 （b）待分类样例 （c）分类结果
2020/8/2
15
距离分类例题
C1=(3,3,4,2), C2=(8,5,-1,-7), C3=(-5,-7,6,10); 请用基于距离的算法给以下样本分类： (5,5,0,0) (5,5,-5,-5) (-5,-5,5,5)
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/8/2
1
分类的流程
根据现有的知识，我们得到了一些关于爬行动物和鸟类的信息， 我们能否对新发现的物种，比如动物A，动物B进行分类？
2020/8/2
2
分类的流程
训练集应用于建立分类模型 测试集应用于评估分类模型
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
数据集有10只非爬行动物，其中8只被预测为非爬行动物，特 异度为8/10
精度(Precision):
TP/(TP+FP)
分类器预测了12只动物为爬行动物，其中10只确实是爬行动
物，精度为10/12
准确率(Accuracy): (TP+TN)/(TP+TN+FN+FP)
数据集包含23只动物，其中18只预测为正确的分类，准确率
行动物，阴性代表非爬行动物，请大家阐述 TP=10， TN=8，FN=3，FP=2是什么意义
2020/8/2
8
分类模型的评估
灵敏度(Sensitivity)： TP/(TP+FN)
也称为查全率(Recall)
数据集共有13只爬行动物，其中10只被正确预测为爬行动物，
灵敏度为10/13
特异度(Specificity): TN/(TN+P)
算法 4-1 基于距离的分类算法
输入：每个类的中心C1，…，Cm；待分类的元组t。 输出：输出类别c。
（1）dist=∞；//距离初始化
（2）FOR i:=1 to m DO
（3） （4）
IF dis(ci，t)<dist THEN BEGIN c← i；
（5） （6）
dist←dist(ci，t)；
11
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/8/2
12
基于距离的分类算法的思路
定义4-2 给定一个数据库 D={t1，t2，…，tn}和一 组类C={C1，…，Cm}。假定每个元组包括一些数 值型的属性值：ti={ti1，ti2，…，tik}，每个类也包 含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分 类问题是要分配每个ti到满足如下条件的类Cj：
为18/23
2020/8/2
9
分类模型的评估
对于非平衡(unblanced)的数据集,以上指标并不能很好的 评估预测结果。
非平衡的数据集是指阳性数据在整个数据集中的比例很 小。比如，数据集包含10只爬行动物，990只爬行动物， 此时，是否预测正确爬行动物对准确率影响不大。
更平衡的评估标准包括马修斯相关性系数(Matthews correlation coefficient)和ROC曲线。
2020/8/2
7
分类模型的评估
真阳性(True Positive)： 实际为阳性 预测为阳性 真阴性(True Negative)：实际为阴性 预测为阴性 假阳性(False Positive)： 实际为阴性 预测为阳性 假阴性(False Negative)：实际为阳性 预测为阴性
预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬