1-数据挖掘简介

在战略上使用Crisp_DM方法论，
小测验

下列何组是属于分类算法？(A：Decision Tree；B：Neural Network；C：K-Means；D：EM；E：Apriori)？ (1) AB (2) ACD (3) BCD (4) ABE 数据挖掘的发展历程，下列何者是正确的(A：数据统计；B：数 据挖掘；C：数据查询；D：数据搜集)？ (1) D→C→A→B (2) A→B→C→D (3) D→A→C→B (4) C→D→A→B 在数据库中知识发掘(Knowledge Discovery in Database)过程 的执行顺序，下列何者是正确的(A：数据清理；B：数据选择； C：数据编码；D：数据扩充；E：数据挖掘；F：结果呈现)？ (1) D→C→A→B→E→F (2) A→B→C→D→E→F (3) D→A→C→B→E→F (4) B→A→D→C→E→F
什么是数据挖掘?

数据挖掘

Data Mining

定义
William Frawley & Gregory Piatetsky Shapiro, 1991 从现有的大量数据中，撷取不明显、之前未知、可能有用的 信息


目标


建立起决策模型

哪一类的用户对我的产品有兴趣?
根据过去的行动来预测未来的行为
名称 支持度 期望可信度 置信度 改善度
描述 X、Y同时出现的频率 Y出现的频率 X出现的前提下，Y出现的频率 置信度对期望可信度的比值
公式 P(X∩Y) P(Y) P(Y|X) P(Y|X)/P(Y)
关联规则的度量
顾客购买两者

顾客购买尿布
发现具有最小置信度和支持度的全部 规则 X ^ Y Z


数据挖掘 = 模型 + 算法
分类预测
Logistic Regression 决策树 神经网络
聚类
K-Means K-Mode SOM（自组织图） Apriori FP-Growth
关联规则
孤立点探测
基于统计 基于距离 基于偏差
你使用过信用卡吗？
卡应该发给谁？ 哪些持卡人会拖欠？ 哪些拖欠的客户会还款？ 影响
令最小支持度为50%, 最小置信度为 50%, 则有
A C (50%, 66.6%) C A (50%, 100%)
数据挖掘方法论

CRISP_DM （Cross Industry Standard Process for DM）

1998年，由NCR、 Clementine、OHRA和 Daimler-Benz的联合项目组提 出
小测验

线性回归(Linear Regression)算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction) Apriori算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction) 亚马逊(Amazon)网站中所做的书籍推荐(Also Bought)， 是利用下列何种算法？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction)
海量
多样性
特征
数据被创建和移动的 速度越来越快。 大数据具有多层结构， 意味着大数据会呈现 出多变的形式和类型。
高速
易变性
什么是数据挖掘?

数据挖掘是大数据应用的一项关键技术。然而当人类还 在茹毛饮血的上古时代早已进行着数据挖掘的行为

为了快速并准确捕获猎物，人类的祖先必须细心观察猎物的 习性、预测猎物的行为，才能战胜猎物、存活下去
YEARS TENURED 4 ?
IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’
Jef is YES!
物以类聚，人以群分
人为地选取细分维度
– – – – 客户价值 地域 活跃程度 ……
维度灾难的发生
– 维度增长 – 细分数目指数增长 – 人脑仅能处理有限 的维度


小测验



[答案(1)] 下列何组是属于分类算法？(A：Decision Tree；B：Neural Network；C：K-Means；D：EM；E：Apriori)？ (1) AB (2) ACD (3) BCD (4) ABE [答案(1)] 数据挖掘的发展历程，下列何者是正确的(A：数据统计；B：数 据挖掘；C：数据查询；D：数据搜集)？ (1) D→C→A→B (2) A→B→C→D (3) D→A→C→B (4) C→D→A→B [答案(4)] 在数据库中知识发掘(Knowledge Discovery in Database)过程 的执行顺序，下列何者是正确的(A：数据清理；B：数据选择； C：数据编码；D：数据扩充；E：数据挖掘；F：结果呈现)？ (1) D→C→A→B→E→F (2) A→B→C→D→E→F (3) D→A→C→B→E→F (4) B→A→D→C→E→F


算法（Algorithm）：一个定义完备（well-defined）的过程，它以 数据作为输入并产生模型或模式形式的输出 描述型挖掘（Descriptive） vs 预测型挖掘（Predictive）
描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征 预测型挖掘：根据观察到的对象特征值来预测它的其他特征值 描述型挖掘可以是目的，也可以是手段

支持度(support), s, 事务中包含{X & Y & Z}的概率 置信度(confidence), c, 事务中包 含{X & Y}的条件下, 包含Z的条件概 率
顾客购买啤酒
Transaction ID 2000 1000 4000 5000
Items Bought A,B,C A,C A,D B,E,F
小测验

下列何种算法可以帮助我们做数值的预测(Prediction)？ (1) Apriori (2) Decision Tree (3) Naive Bayes (4) EM 若你的老板想要知道，会来我们店里消费的顾客有那几种类型？ 你应该利用下列那一个算法，来解答你老板的困惑？ (1) Apriori (2) EM (3) Neural Network (4) Logistic Regression 罗吉斯回归(Logistic Regression)算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 序列型样(Sequential Pattern)


小测验
[不分类：答案(4)] 线性回归(Linear Regression)算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction) [不分类：答案(3)] Apriori算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction) [不分类：答案(3)] 亚马逊(Amazon)网站中所做的书籍推荐(Also Bought)， 是利用下列何种算法？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 预测(Prediction)
市场
聚类示意

基于欧氏距离的三维空间中的聚类
d (i, j) (| x x |2 | y y |2 | z z |2 ) i j i j i j

基于质心的聚类算法 (K-Means)
B1
z
A1
A2
x
y
发现商品间的关联规则
buy(x,”diapers”) buy(x,”beers”)
关联规则的量度

支持度：Support(A=>B)=#AB/#N，表示A和B同时出现的概率 期望可信度：Support(A)=#A/#N，表示A出现的概率 置信度：Confidence(A=>B)=Support(A=>B)/Support(B) 改善度：Lift(A=>B)=Confidence(A=>B)/Support(B)


小测验



[不分类：答案(2)] 下列何种算法可以帮助我们做数值的预测(Prediction)？ (1) Apriori (2) Decision Tree (3) Naive Bayes (4) EM [不分类：答案(2)] 若你的老板想要知道，会来我们店里消费的顾客有那几种类型？ 你应该利用下列那一个算法，来解答你老板的困惑？ (1) Apriori (2) EM (3) Neural Network (4) Logistic Regression [不分类：答案(1)] 罗吉斯回归(Logistic Regression)算法，可用来解决何种问题？ (1) 分类(Classification) (2) 分群(Clustering) (3) 关联(Association) (4) 序列型样(Sequential Pattern)
数据挖掘
DATA MINING
从运筹帷幄到决胜千里…