数据挖掘 第2章--认识数据PPT
合集下载
数据挖掘导论教材配套教学PPT——认识数据挖掘
2022年3月23日星期三
第7页，共65页
1.2.1 概念学习
清华大学出版社
1、传统角度（Classical View）
– 所有概念都有明确的定义。
2、概率角度（Probabilistic View）
– 对个别样本实例进行概括性描述，概括性说明构成了概率角度 中的概念。
3、样本角度（Exemplar View）
Yes
No
Yes
Yes
Yes
Yes
Yes
No
No
Good
Yes
Viral
Yes
Not good
Yes
Bacterial
Yes
Good
Yes
Viral
No
Unknown
No
Viral
Yes
Unknown
No
Bacterial
Yes
Not good
No
Bacterial
Yes
Not good
No
Viral
– 样本角度中的概念是将某个概念中的典型实例组成一个集合， 使用该集合来描述概念定义。
2022年3月23日星期三
第8页，共65页
清华大学出版社
1.2.2 归纳学习（Induction-Based Learning）
• 基于归纳的学习
– 机器学习方式 – 人类学习最重要方式之一
• 人类通过对事物的特定实例的观察，对所掌握的已有 经验材料研究。
2022年3月23日星期三
第5页，共65页
1.2 机器学习
1.2.1 概念学习
清华大学出版社
• 通过对大量实例进行训练，从中发现经验化规律的过程。 • 机器学习结果的通常表现形式为概念。 • 机器最擅长的是学习概念。 • 概念（Concept）
数据挖掘第一与第二章PPT课件
散的目标变量；回归，用于预测连续的目标变 量。
预测建模可以用来确定顾客对产品促销活 动的反应，预测地球生态系统的扰动，或根据 检查结果判断病人是否患有某种疾病。
14
数据挖掘任务
• 关联分析 用来描述数据中强关联特征的模式。 关联分析的应用包括找出具有相关功
能的基因组、识别用户一起访问的Web页面、 理解地球气候系统不同元素之间的联系等。
12
数据挖掘任务
• 预测vs.描述 • 预测(Prediction)
– 根据其他属性的值，预测特定属性的值 • 描述(Description)
– 导出概括数据中潜在联系的模式
2020年9月29日星期二
13
数据挖掘任务
• 预测建模 涉及以说明自变量函数的方式为目标变量
建立模型。 有两类预测建模任务：分类，用于预测离
– 使用抽样技术或开发并行和分布算法也可以提高可 伸缩程度
2020年9月29日星期二
7
挑战2
• 高维性
– 具有数以百计或数以千计属性的数据集
• 生物信息学：涉及数千特征的基因表达数据 • 不同地区温度测量：如果在一个相当长的时间周期内进
行测量，维度（特征数）的增长正比于测量的次数
– 为低维数据开发的数据分析技术不能很好地处理高 维数据
异常检测的应用包括检测欺诈、网络攻 击、疾病的不寻常模式、生态系统扰动等。
– Jiawei Han的定义
• 从大型数据集中提取有趣的 (非平凡的, 蕴涵的, 先前未知的并且是潜在有用的) 信息或模式
4
数据挖掘技术的定义
• 定义：数据挖掘就是从大量的、不完全的、有 噪声的、模糊的、随机的实际应用数据中，提 取隐含在其中的，人们事先不知道的、但又是 潜在有用的信息和知识的过程.
预测建模可以用来确定顾客对产品促销活 动的反应，预测地球生态系统的扰动，或根据 检查结果判断病人是否患有某种疾病。
14
数据挖掘任务
• 关联分析 用来描述数据中强关联特征的模式。 关联分析的应用包括找出具有相关功
能的基因组、识别用户一起访问的Web页面、 理解地球气候系统不同元素之间的联系等。
12
数据挖掘任务
• 预测vs.描述 • 预测(Prediction)
– 根据其他属性的值，预测特定属性的值 • 描述(Description)
– 导出概括数据中潜在联系的模式
2020年9月29日星期二
13
数据挖掘任务
• 预测建模 涉及以说明自变量函数的方式为目标变量
建立模型。 有两类预测建模任务：分类，用于预测离
– 使用抽样技术或开发并行和分布算法也可以提高可 伸缩程度
2020年9月29日星期二
7
挑战2
• 高维性
– 具有数以百计或数以千计属性的数据集
• 生物信息学：涉及数千特征的基因表达数据 • 不同地区温度测量：如果在一个相当长的时间周期内进
行测量，维度（特征数）的增长正比于测量的次数
– 为低维数据开发的数据分析技术不能很好地处理高 维数据
异常检测的应用包括检测欺诈、网络攻 击、疾病的不寻常模式、生态系统扰动等。
– Jiawei Han的定义
• 从大型数据集中提取有趣的 (非平凡的, 蕴涵的, 先前未知的并且是潜在有用的) 信息或模式
4
数据挖掘技术的定义
• 定义：数据挖掘就是从大量的、不完全的、有 噪声的、模糊的、随机的实际应用数据中，提 取隐含在其中的，人们事先不知道的、但又是 潜在有用的信息和知识的过程.
数据挖掘2
Introduction to Data Mining 4/18/2004 ‹#› 2016
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Attrription
The values of a nominal attribute are just different names, i.e., nominal attributes provide only enough information to distinguish one object from another. (=, )
5 A B 7 C 8 3 2 1
D 10 4
E
15
5
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Introduction to Data Mining
4/18/2004
‹#› 2016
Types of Attributes
There are different types of attributes
Data Mining: Data
Lecture Notes for Chapter 2 Introduction to Data Mining
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Introduction to Data Mining
– Nominal
Examples: ID numbers, eye color, zip codes
Examples: rankings (e.g., taste of potato chips on a scale from 1-10), grades, height in {tall, medium, short} Examples: calendar dates, temperatures in Celsius or Fahrenheit. Examples: temperature in Kelvin, length, time, counts
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Attrription
The values of a nominal attribute are just different names, i.e., nominal attributes provide only enough information to distinguish one object from another. (=, )
5 A B 7 C 8 3 2 1
D 10 4
E
15
5
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Introduction to Data Mining
4/18/2004
‹#› 2016
Types of Attributes
There are different types of attributes
Data Mining: Data
Lecture Notes for Chapter 2 Introduction to Data Mining
©Inner Tan,Steinbach, Kumar Mongolia University wei wu
Introduction to Data Mining
– Nominal
Examples: ID numbers, eye color, zip codes
Examples: rankings (e.g., taste of potato chips on a scale from 1-10), grades, height in {tall, medium, short} Examples: calendar dates, temperatures in Celsius or Fahrenheit. Examples: temperature in Kelvin, length, time, counts
数据挖掘PPT2
•18
数据转换
所谓数据转换就是将数据转换或归并成一 个适合数据挖掘的描述形式。
数据转换包含以下处理内容：
•19
数据变换
平滑：去除数据中的噪声 （分箱、聚类、回归） 聚集（合计处理）：对数据进行总结或合计
操作。例如：每天销售额（数据）可以进行合 计操作以获得每月或每年的总额。这一操作常 用于构造数据立方或对数据进行多细度的分析。
为什么要预处理数据？
数据预处理是数据挖掘（知识发现）过程 中的一个重要步骤，尤其是在对包含有噪 声、不完整，甚至是不一致数据进行数据 挖掘时，更需要进行数据的预处理，以提 高数据挖掘对象的质量，并最终达到提高 数据挖掘所获模式知识质量的目的。
•1
为什么要预处理数据？
现实世界的数据是“肮脏的”
不完整的：有些感兴趣的属性缺少属性值
箱3：29，29，29
用箱边界平滑：
箱1：4，4，15
箱2：21，21，24
箱3：25，25，34
•12
如何处理噪声数据
聚类方法：
通过聚类分析可帮助发现异常数据，相似或相 邻近的数据聚合在一起形成了各个聚类集合， 而那些位于这些聚类集合之外的数据对象，自 然而然就被认为是异常数据。
•13
等等
•11
数据平滑的分箱方法
给定一个数值型属性price:
price的排序后数据（单位：美元）：4，8，15，21， 21，24，25，28，34
划分为（等深的）箱：
箱1：4，8，15
箱2：21，21，24
箱3：25，28，34
用箱平均值平滑：
箱1：9，9，9
箱2：22，22，22
•7
如何处理空缺值
人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：对一个属性的
数据转换
所谓数据转换就是将数据转换或归并成一 个适合数据挖掘的描述形式。
数据转换包含以下处理内容：
•19
数据变换
平滑：去除数据中的噪声 （分箱、聚类、回归） 聚集（合计处理）：对数据进行总结或合计
操作。例如：每天销售额（数据）可以进行合 计操作以获得每月或每年的总额。这一操作常 用于构造数据立方或对数据进行多细度的分析。
为什么要预处理数据？
数据预处理是数据挖掘（知识发现）过程 中的一个重要步骤，尤其是在对包含有噪 声、不完整，甚至是不一致数据进行数据 挖掘时，更需要进行数据的预处理，以提 高数据挖掘对象的质量，并最终达到提高 数据挖掘所获模式知识质量的目的。
•1
为什么要预处理数据？
现实世界的数据是“肮脏的”
不完整的：有些感兴趣的属性缺少属性值
箱3：29，29，29
用箱边界平滑：
箱1：4，4，15
箱2：21，21，24
箱3：25，25，34
•12
如何处理噪声数据
聚类方法：
通过聚类分析可帮助发现异常数据，相似或相 邻近的数据聚合在一起形成了各个聚类集合， 而那些位于这些聚类集合之外的数据对象，自 然而然就被认为是异常数据。
•13
等等
•11
数据平滑的分箱方法
给定一个数值型属性price:
price的排序后数据（单位：美元）：4，8，15，21， 21，24，25，28，34
划分为（等深的）箱：
箱1：4，8，15
箱2：21，21，24
箱3：25，28，34
用箱平均值平滑：
箱1：9，9，9
箱2：22，22，22
•7
如何处理空缺值
人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：对一个属性的
大数据高职系列教材之数据挖掘基础PPT课件：第2章 分类
2.1 分类概述
2.1.2 解决分类问题的一般方法
第二章 分类
2.1 分类概述
2.1.2 解决分类问题的一般方法
• 应用模
第二章 分类
2.1 分类概述
2.1.3 决策树
第二章 分类
1.决策树工作原理 通过提出一系列精心构思的关于检验记录属性的问题，解决分类问题。 类问题的决策树，树中包含三种节点： *根节点 没有进边，有0条或更多条出边； *内部节点 有一条进边，有2条或更多条出边； *叶节点有一条进边，没有出边。
2.4 分类在实际场景中的应用案例
第二章 分类
1案例：如何解决文章主题关键字与搜索引擎关键字带来的检索结果差异
• 在网页学术性判定方面,提出了基于贝叶斯算法的网页学术性判断算法, 通过对网页内容、 格式、结构三个维度的分析,完成网页学术性的判定;在分类方面,以中图法的分类大纲作为 分类目录,提出了基于改进空间向量模型的学术网页分类算法,通过利用网页主题关键字构 建网页向量空间,最后实现了网页的正确分类。通过两个关键算法,在系统中的网页主题提 取部分,采用Html Parser技术与正则表达式相结合的网页主题提取算法,实现对抓取的网页 主题内容的获取。
一个数据集，包含两个不同类的样本，分别用小黑加号块和小圆圈表示。数据集是线性可分的，即能找到一个 超平面，使得所有小黑方块位于这个超平面的一侧，所有小圆圈在它的另一侧。如图所示，可看到这种超平面可 能存在无穷多个。通过检验样本运行效果，分类器要从这些超平面中选一个作为它的决策边界。
2.3 支持向量机
有穷举覆盖。它确保每一条记录都至少被规则集里的一条规则覆盖。
2.2 贝叶斯决策与分类器
第二章 分类
2.2.1 规则分类器
数据挖掘概述ppt课件
• 缺陷
–只注重模型的生成，如何和预言模型系统集成导致了第三代
数据挖掘系统的开发
10
二、数据挖掘软件的发展 第二代数据挖掘软件 DBMiner
11
二、数据挖掘软件的发展 第二代软件 SAS Enterprise Miner
12
二、数据挖掘软件的发展
第三代数据挖掘软件
• 特点 –和预言模型系统之间能够无缝的集成，使得由数据挖掘软件 产生的模型的变化能够及时反映到预言模型系统中 –由数据挖掘软件产生的预言模型能够自动地被操作型系统吸 收，从而与操作型系统中的预言模型相联合提供决策支持的 功能 –能够挖掘网络环境下（Internet/Extranet）的分布式和高 度异质的数据，并且能够有效地和操作型系统集成
一、数据挖掘概念----技术
• 技术分类
– 预言（Predication）：用历史预测未来 – 描述（Description）：了解数据中潜在的规律
• 数据挖掘技术
– 关联分析 – 序列模式 – 分类（预言） – 聚集 – 异常检测
6
二、数据挖掘软件的发展
Robert Grossman， National Center for Data Mining University of Illinois at Chicago 的观点
一、数据挖掘概念----发展
• 1989 IJCAI会议： 数据库中的知识发现讨论专题 – Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)
• 1991-1994 KDD讨论专题 – Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)
数据挖掘——第二章认识数据PPT课件
合计
200
1
100
Mo＝商品广告
定序数据：中位数（median）
• 排序后处于中间位置上的值
• 用Me表示 • 不受极端值的影响
• 主要用于定序数据，也可用数值型数据， 但不能用于定类数据
• 各变量值与中位数的离差绝对值之和最小
，即
最小 n
Xi Me
i 1
中位数
中位数位置N1 2
Me 12XNX21N2当 NX为 N2奇 1 数 当 时N为偶数时
• 定类尺度（列名尺度）：按照事物的某种 属性对其进行平行的分类或分组。
– 例：人口的性别（男、女）；企业的所有制性 质（国有、集体、私营等）
• 计量层次最低 • 对事物进行平行的分类 • 各类别可以指定数字代码表示 • 具有=或的数学特性 • 数据表现为“类别”
定类尺度
• 定类尺度只测度了事物之间的类别差，而对各 类之间的其他差别却无法从中得知，因此各类 地位相同，顺序可以任意改变。
四种计量尺度的比较
四种计量尺度的比较
定类尺度 定序尺度 定距尺度 定比尺度
分类（＝，≠ ）
√
√
√
√
排序（ < ，> )
√
√
√
间距（ + ，- ）
√
√
比值（ × ，÷）
√
“√”表示该尺度所具有的特性
四种计量尺度的区别与联系
• 高层次的计量尺度具有低层次计量尺度的全部特 性，但反之不行
• 可将高层次计量尺度的计量结果转换为低层次计 量尺度的计量结果，但不能反过来
• 对事物分类的同时给出各类别的顺序 • 比定类尺度精确 • 不仅可以测度类别差（分类），还可以测
数据挖掘PPT全套课件
记录数据
记录（数据对象）的汇集，每个记录包含固定的数 据字段（属性）集
Tid Refund Marital Taxable Status Income Cheat
1 Yes 2 No 3 No 4 Yes 5 No 6 No 7 Yes 8 No 9 No 10 No
10
Single 125K No
和三维结构的DNA数据）
数据库技术、 并行技术、分 布式技术
数据挖掘的任务
预测 – 使用已知变量预测未知变量的值.
描述 – 导出潜在联系的模式（相关、趋势、聚类、异
常）.
数据挖掘的任务
分类 [预测] 聚类 [描述] 关联分析 [描述] 异常检测 [预测]
分类 例子
Tid Refund Marital Taxable Status Income Cheat
矿石硬度、{好， 较好，最好}、 成绩
中值、百分位、 秩相关、游程 检验、符号检 验
日历日期、摄氏、 均值、标准差、
华氏温度
皮尔逊相关、
t和F检验
绝对温度、货币 量、计数、年龄 、质量、长度、 电流
几何平均、调 和平均、百分 比变差
属性类 型
标称
变换 任何一对一变换
序数
值的保序变换
新值 = f(旧值)
– (１)统计学的抽样、估计、假设检验
– (２)人工智能、模式识别、机器学习
的搜索算法／建摸技术、学习理论
– (３)最优化、进化算法、
信息论、信号处理、 可视化、信息检索
统计学
人工智能、 机器学习
– (４)数据库技术、并行计算
和模式识别
、分布式计算
传统的方法可能不适合
数据挖掘
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
.
4
二元属性
二元属性
➢ 二元属性是一种标称属性，只有两个类别或状态：0或1，其中0通常表示该属性 不出现，而1表示出现。如果两种状态对应于true和false的话，二元属性又称布 尔属性。
➢ 如果一个事物的两种状态具有同等价值并且携带相同的权重，则称一个二元属性 是对称的。如：属性gender中的男、女。
➢ 如果属性不是离散的，则它是连续的。在文献中，数值属性与连续属性可以 互换使用
.
7
• 数据的基本统计描述
.
中心趋势度量
中心趋势度量：均值、中位数和众数、均值：
N
xi
xi1
x1x2x3... xN
N
N
加权平均：
N
wi xi
x
i1 N
wi
w1x1w2x2 wNxN w1w2 wN
i1
主要问题：对极端值很敏感
.
12
盒图
盒图
➢ 一种流行的分布的直观表示。体现了五数概括： ➢ 盒的端点一般在四分位数上，使得盒的长度是四分位数极差IQR ➢ 中位数用盒内的线标记 ➢ 盒外的两条线（称作胡须）延伸到最小（Minimum）和最大（Maximum）
.
13
盒图
盒图示例
➢ 如图在给定的时间段ALLElectronics的4个销售部门的商品单价数据的盒图。对
.
17
散点图
散点图
确定两个数值变量之间是否存在联系、模式或趋势的最有效的图形方法之一
.
18
散点图
散点图还可以用来发现属性之间的相关性
a.正相关
b.负相关
.
19
相关性
三种情况，其中每个数据集中两个属性之间都不存在观察到的相关性
.
20
数据统计
数据描述和图形统计显示提供了数据总体情况的有价值的洞察。这有助 于识别噪声和离群点，因此，它们对于数据清理特别有用
数值属性
➢ 数值属性是定量的，即它是可度量的量，用整数或实数值表示。数值属性可以是 区间标度的或比率标度的，其中心趋势度量可以用均值、中位数或众数来表示
➢ 区间标度属性用相等的单位尺度度量，比如温度 ➢ 比率标度属性是具有固定零点的数值属性，比如重量、高度
.
6
离散属性与连续属性
离散属性与连续属性
➢ 离散属性具有有限或无限可能个值，可以用或不用整数表示。如：属性 hair_color、smoker、medical_test和drink_size都有有限个值，因此是 离散的
➢ 如果其状态的结果不是同等重要的，则称一个二元属性是非对称的。如：HIV化 验的阴性、阳性结果。
.
5
序数属性及数值属性
序数属性
➢ 序数属性是一种属性，其可能的值之间具有有意义的序或秩评定，但是相继值之 间的差是未知的，其中心趋势可以用众数和中位数来表示。
➢ 如：professional_rank(职位)可以按顺序枚举，如对于教师有助教、讲师、副 教授和教授
.
21
• 度量数据的相似性和相异性
.
相似性及相异性
相似性
➢ 量化两组数据的相似性 ➢ 物体相似性越大时，值越大 ➢ 取值范围是[0,1]
相异性
➢ 量化两组数据的不同的程度 ➢ 物体相似性越大时，值越小 ➢ 最小的差异值取0 ➢ 上限值根绝实际不同而不同
相似性和相异性都称邻近性
.
23
数据矩阵及相异性矩阵
0
d(2,1)
0
d(3,1 ) d (3,2) 0
:
::
d (n,1) d (n,2) ... ... 0
24
邻近性度量
标称-属性结构：存放n个 对象两两之间的临近度。每行 对应一个对象
x 11 ...
... ...
x 1f ...
x i1
...
x if
... ... ...
x
n1
...
x nf
... ...
x 1p ...
...
x ip
... ...
...
x np
.
相异性矩阵
➢ 又称对象-对象结构：存放n个对象 之间的相邻度
标称属性
➢ 标称意味着与名称相关。标称属性的值是一些符号或事物的名称 ➢ 如：hair_color(头发颜色)和marital_status（婚姻状况）是描述人的两个特征。
hair_color的可能值为黑色、棕色、淡黄色等，marital_status的可能取值是单 身、已婚、离异和丧偶 ➢ 标称属性值并不具有有意义的序，并且不是定量的。给定一个对象集，找出这种 属性的均值或中位数是没有意义的，但可以用众数来表示
.
9
中心趋势度量
中位数
➢ 有序数据值的中间值 ➢ 适用于倾斜数据
众数
➢ 集合中出现最频繁的值 ➢ 可能最高频率对应多个不同值，导致多个众数
中列数
➢ 数据集的最大值和最小值的平均值
.
10
度量数据散布
度量数据散布：极差、四分位数、方差、标准差和四分位数极差
➢ 极差：极差（range）=max()-min() ➢ 四分位数
分位数图
分位数图
Q3 中位数 Q1
.
15
分位数-分位数图
分位数-分位数图
Q3 中位数 Q1
.
16
直方图
直方图
➢ 如果X是标称的，则对于X的每个已知值，画一个柱或竖直条 ➢ 如果X是数值的，X的值域被划分成不相交的连续子域，通常来讲，诸桶是等宽的 ➢ 对于比较单变量观测组，它可能不如分位数图、分位数图-分位数图、盒图方法有效
于部门1，我们看到销售商品单价的中位数是80美元，Q1是60美元，Q3是100
美元。注意，该部门的两个边远的观测值被个别的描绘出，因为它们的值175和
202都超过IQR的1.5倍，这里IQR=40.
200 180 160 140 120 100 80 60 40 20
0
部门1
部门2
部门3
部门4
.
14
✓ 第一个四分位数Q1 ✓ 第三个四分位数Q3 ✓ 四分位数极差IQR=Q3-Q1
➢ 方差和标准差
2N 1i n1(xi)2N 1i n1xi22
➢ 标准差是方差的平方根
.
11
五数概括
五数概括
➢ 分布的五数概括由中位数Q2、四分位数Q1和Q3,最小和最大观测值组成， 按次序Minimum、Q1、Median、Q3、Maximum。
数据挖掘与商务智能
范勤勤 物流研究中心
.
第二章 认识数据 1 数据对象与属性类型 2 数据的基本统计描述 3 度量数据的相似性和相异性
.
• 数据对象与属性类型
.
属性及标称属性
什么是属性？
➢ 属性是一个数据字段，表示数据对象的一个特征。在文献中，属性、维数、特征 和变量可以互换的使用，属性可以是标称的、二元的、序数的或数值的。