2.数据挖掘技术基础知识

8 8 8
3. 现在的问题是：网络之后的下一个技术 热点是什么？
㈡ 网 络 之 后 的 下 一 个 技 术 热 点
让我们来看一些身边俯拾即是的现象： 《纽约时报》由 60 年代的 10～20 版扩张至 现在的 100～200 版，最高曾达 1572 版； 《北京青年报》也已是 16～40 版；市场营 销报已达 100 版。 然而在现实社会中，人均日阅读时间通常 为 30～45 分钟，只能浏览一份 24 版的报纸。
数据
过
80
的
KDD
,的
,
18 18 18
以后人们却在逐渐使用数据挖掘中, 发现有 以后 许多工作可以由统计方法来完成, 并认为最好的 策略是将统计方法与数据挖掘有机的结合起来。
数 据 挖 掘 逐 渐 演 变 的 过 程 ㈥
数据仓库的发展促使数据挖掘越来越热 越来越热。 越来越热 数据仓库技术的发展与数据挖掘有着密切 的 。 。 是, 数据仓库并 为有 掘 。 多数据挖掘可 是数据挖掘的 作数据 , 中挖 的发展是促 数据挖掘越来越热的
的数据 ,
的 技术 的数据 数数据挖掘技术已可以马上投入使用, 因 为支持的它的基础技术已成熟，他们是： 1. 海量数据搜集
㈣ 支 持 数 据 挖 掘 技 术 的 基 础
商业数据库正以一个空前的速度增长,且数 据仓库正在广泛地应用于各行业。 2. 强大的多处理器计算机 已成熟的 行 cpu 的技术可以 越 越 的 。 3. 数据挖掘算法 ，且 10 于 的 已 成为一 的技术。 成熟，
了 用的阶段;
17 17 17
㈥ 数据挖掘逐渐演变的过程
数据 的 , , 过
一 、 数 据 挖 掘 技 术 的 由 来
KDD (Knowledge discovery in database) 的 数据 数据 , 的 的过程 , 的 ,掘 的 的 , KDD 数据 的 的 程 , 过 掘的过程, 的 的 , 的 的 80 , 数据挖掘 (data mining) 的 程 , ,挖掘 的 数据挖掘的 的 , 过程 ; , , 的 ,
一 、 数 据 挖 掘 技 术 的 由
息
Oracle Sybase IBM Informix Microsoft
的 动 数据信息
数
Pilot Comshare Arbor Cognos Micro-strategy
动 息
的 的数据信
来
Pilot Lockheed IBM SGI
的 信息
16 16 16
7 7 7
2. 人们不仅要问：就推动人类社会进步而言, 历史上能与网络技术相比拟的是什么技术呢?
网 络 之 后 的 下 一 个 技 术 热 点 ㈡
有人甚至要把网络技术与火的发明相比拟。 火的发明区别了动物和人; 种种科学技术的重大发现扩展了自然人的 体能、技能和智能; 而网络技术则大大提高了人的生存质量和 人的素质，使人成为社会人。
的
定
据 挖 掘 的 定 义
数
KDD 的, 的 及 的
的 的
的
21 21 21
2. 有关知识发现 (KDD)的几点说明

何为知识?
㈠ 技 术 上 的 定 义 及 含 义
从广义上理解，数据、信息是知识的表现 形式，但是人们更把概念、规则、模式、规律 和约束等看作知识。

原始数据 是 的， 的， 上的 数据 的数据; 、 形和 数据 数据。 ，
28 28 28
数 选择 目标 预处理 预处理 转换 转换 数据挖掘 模 模式评价 知 数据 据 数据 数据 式 识
数据准备
数据挖掘
模式评价 ㈢ KDD KDD KDD KDD
图 KDD 过程图
KDD 过程可以概括为三部分： 1. 数据准备 (Data Preparation) 2. 数据挖掘 (Data Mining) 3. 结 果 的 解 释 和 评 估 (Interpretation& Evaluation)。
数据挖掘技术 数据挖掘技术 基础知识简 基础知识简介 介
数 据 挖 掘
1 1 1
教学内容
一、数据挖掘技术的由来 二、知识发现和数据挖掘的定义 三、数据挖掘能干些什么 四、数据挖掘与其它学科 、数据挖掘的 务 、数据挖掘的 、数据挖掘的知识 、数据挖掘的 和技术
数 据 挖 掘 技 术 基 础 知 识
商 业 角 度 的 定 义 ㈡
分析这些数据也不再是单纯为了研究的需 , 而 是为商业 。 业 业数据量 的 大, 而 是 的 的 ,
26 26 26
因此从大量的数据中经过深层分析, 获得有 利于商业运作、提高竞争力的信息, 就像从矿石 中淘金一样, 数据挖掘也因此而得名。 因此, 数据挖掘可以描述为：
29 29 29
1. 第一阶段 数据准备 数据准备又可分为 3 个子步骤：
㈢ 过 程

数据选取 (Data Selection) ： 据 取 数据 数据 (Target Data), 数据
数据选取 ,
30 30 30

数据预处理 (Data Preprocessing )
一般包括：消除噪声、推导计算缺值数据、 消除重复记录、完成数据类型转换等。 如把连续值型数据转换为离散型数据, 以便
是 是 从
人们把数据看作是形 知识的 。
22 22 22

所有发现的知识都是相对的。
㈠ 技 术 上 的 定 义 及 含 义
不是要求发现放之四海而皆准的真理；也不 是要去发现崭新的自然科学定理和纯数学公式； 更不是什么机器定理证明； 实际上, 所有发现的知识是有特定前提和约 , 理

特定
的; 自然 是
19 19 19
二、知识发现和挖掘的定义
数 据 挖
㈠ 技术上的定义及含义
技 术 基 础 知 识
掘
㈡ 商业角度的定义 ㈢ KDD 过程 ㈣ 数据挖掘需要的人员
20 20 20
㈠ 技术上的定义及含义
1. 定义
二 、 知
(KDD)
发 现 和
识
模式 (Pattern) ： L KDD 的 F 的 有效、新颖、潜在有用、可理解 的 E, 的 , 的 F 的 F的, E, 数据集： 的 F , E KDD 定义
到 ，
24 24 24
㈡ 商业角度的定义
的商业
二 、
商业 商业 , 的 的 的 的 制, 的
的 ;
业
识
知
,
现 和 数
发
的
挖 掘 的 定 义
据
, ; 的
25 25 25
现在, 由于各行业业务自动化的实现, 商业 领域产生了大量的业务数据, 这些数据不再是为 了分析的目的而收集的, 而是由于纯机会的 (Opportunistic) 商业运作而产生。
商 业 角 度 的 定 义 ㈡
按企业既定业务目标, 按企业既定业务目标 对大量的企业数据进 行探索和分析, 揭示隐藏的、 行探索和分析 揭示隐藏的、未知的或验证已知 的 。 , 进一 的 进有 的
27 27 27
㈢ KDD 过程
二 、 知 识 发 现 和 数 据 挖 掘 的 定 义
图 数据挖掘视为知识发现过程的一个步骤
要 所发现的 数学的; 是 。
。 发现知识的
是数学的, 也 的, 也 是 的。
23 23 23

发现的知识可以被用于
㈠ 技 术 上 的 定 义 及 含 义
信息管理，查询优化，决策支持和过程控 制等，数据自身的维护。

数据挖掘是一门交叉学科 数据的 用 , 。 身到 的 一 查询， 的 数据 的 挖掘知识， 的 决策支持。
9 9 9
大量信息在给人们带来方便的同时也带来 了一大堆问题：
网 络 ㈡ 之 后 的 下 一 个 技 术 热 点
第一是信息过量,难以消化； 第二是信息真假难以辨识； 第三是信息安全难以保证； 第四是信息形式不一致,难以 统一 处理。
10 10 10
4. 人们开始提出新的口号:“要学会抛弃信息” 面对这一挑战, 数据开采和知识发现
㈡ 网 络 之 后 的 下 一 个 技 术 热 点
(DMKD) 技术应运而生, 并显示出强大的生命力。
11 11 11
㈢ 数据爆炸但知识贫乏
, 数据 越 数据 , 数据越
、 数 据 挖 掘 技 术 的 由 来 一
数据 , , 数据
12 12 12
目前的数据库系统可以高效地实现数据的 录入、查询、统计等功能, 但无法发现数据中存 在的关系和规则, 无法根据现有的数据预测未来 的发展趋势。
15 15 15
㈤ 从商业数据到商业信息的进化
进化阶段 商业问题 支持技术 产品厂家
IBM,CDC
产品特点 的 的数据信
“过去五年中 数据搜集 我的总收入是 (60年代) 多少?” “在新英格兰 数 据 数据访问 的 分 部 去 年 三 (RDBMS), (80年代) 月 的 销 售 额 是 化 多少? ” (SQL), ODBC “在新英格兰 的分部去年三 数据仓库;决 月 的 销 售 额 是 OLAP 策支持 多少？波士顿 数据 (90年代) 据此可得出什 据 么结论？” “下个月波士 数据挖掘 顿的销售会怎 (正在流行) 么样? 为什么” , , 数据
全球 IP 网发展速度达到每 6 个月翻一番， 国内情况亦然。
1999 年初，中国上网用户为 210 万, 现在已经 达到 10300万人 (2005年7月中国互联网络发 展状况统计报告) 。
网 络 之 后 的 下 一 个 技 术 热 点 ㈡
2007 年《中国互联网调查报告》显示：互联 网用户 达1.82 人, 06年 33.8% , 计 2008 年中国互联网用户 达 2.44 ; 2007 年 中 国 户 123.5 , 2006 年 2008 年中国互联网 达161.9 ， 告 为 22.3%。 户 。