大数据分析与挖掘课后习题参考答案

（1） 规则“牙刷 → 防晒霜”与“{牙刷，防晒霜} → {凉鞋}”的置信度分别是多少？
（2） {牙刷}和{防晒霜}是独立的吗？
（3） 计算 Lift (牙刷, 太阳镜) 。
请对比 Apriori 算法和 FP-Growth 算法异同，给出两种算法各自的优点以及
不足。
5. 请设计程序实现显示递归挖掘<a>-投影数据库的过程，数据集采用表 3-34 的
数据清洗：负责解决填充空缺值、识别孤立点、去掉噪声和无关数据等问
题；
数据集成：负责解决不同数据源的数据匹配问题、数值冲突问题和冗余问
题；
数据变换：将原始数据转换为适合数据挖掘的形式。包括数据的汇总、聚
集、概化、规范化，同时可能需要对属性进行重构；
数据归约：负责搜小数据的取值范围，使其更适(max − min) + min
−
其中 max，min 是各个特征的共享数据，由用户设定。处理后数据所处范
围为[min,max]。
4
from pyspark import SQLContext
from pyspark.context import SparkContext
果目标是得到容量为 n（n < m）的样本，下面两种抽样方案有什么区别？（假
定使用有放回抽样）
（1）从每组随机地选择 × /个元素。
（2）从数据集中随机地选择 n 个元素（不考虑元素属于哪个组）。
第二章 习题答案
1
无法保证数据挖掘的结果的有效性。
数据预处理主要包括数据清洗、数据集成、数据变换、数据归约等内容。
等宽划分，划分为 4 个箱，宽度可取 20（并不唯一），所以 16 在第 1
个箱内。
（3）将上述记录按序如下排列：6,11,12,14,16,36,51,56,73,93,205,216.
等深划分，划分为 3 个箱，即按上述顺序，每 4 个记录放入一箱。第 2
个箱的数据为 16,36,51,56。平均值平滑法，则这四个数取均值为：
2
原数据服从正态分布，经过 Z-score 后，服从标准正态分布 N(0,1)，由正态
1 − P(0 − 3 *1 ≤ X ≤ 0 + 3 *1) 1 - 0.9973
分布的 3 σ 原则可知， P(X > 3) =
=
= 0.00135
2
2
3
MaxabsScaler：利用被处理特征的特征值中最大绝对值进行处理。处理公
model.transform(df).show()
print('MinMax')
miScaler=MinMaxScaler(inputCol='Features',outputCol='Feature_MinMax')
model_=miScaler.fit(df)
model.transform(df).show()
39.75。即第 2 个箱的值为 39.75。
（4）将上述记录按序如下排列：6,11,12,14,16,36,51,56,73,93,205,216.
等宽划分，划分为 3 个箱，宽度可取 42（并不唯一），此时第 2 个箱的
数据为 51,56,73,93。对于 56，距离最小边界为 51；对于 73，距离最小边
{防晒霜}在 5000 个事务中出现；
{凉鞋}在 4000 个事务中出现；
{太阳镜}在 2000 个事务中出现；
{牙刷，防晒霜}在 1500 个事务中出现；
{牙刷，凉鞋}在 1000 个事务中出现；
{牙刷，太阳镜}在 250 个事务中出现；
{牙刷，防晒霜，凉鞋}在 600 个事务中出现。
回答如下问题：
第 2 章 习题
1.
2.
3.
4.
5.
6.
7.
8.
如果在没经过预处理的数据集合上进行数据挖掘的话，会有哪些问题？
假设原始数据服从正态分布，那么经过 z -score 变换后的标准分大于 3 的概
率有多大？
试分析 Spark 预处理 MaxabsScaler、MinMaxScaler 的处理方法，并给出处理
(Vectors.dense(3.7,1.85,113,10000),),
(Vectors.dense(2.5,1.74,141,3200),),
(Vectors.dense(3.6,1.69,156,8000),),
(Vectors.dense(4,1.82,178,9000),),
(Vectors.dense(3.3,1.90,114,15000),),
bucketedData = bucketizer.transform(dataFrame)
bucketedData.show()
7
（1）简单随机抽样：从总体 N 个单位里抽出 n 个单位作为样本（可以重
复抽样，也可以不重复抽样），最常用的抽样方式，参数估计和假设检
验主要依据的就是简单随机样本；
（2）系统抽样：将总体中的所有单位(抽样单位)按一定顺序排列，在规
from pyspark.ml.linalg import Vectors
from pyspark.ml.feature import MaxAbsScaler
from pyspark.ml.feature import MinMaxScaler
sc=SparkContext('local')
spark=SQLContext(sc)
7000
3
3
1.73
135
5500
4
2.8
1.80
120
4000
5
3.7
1.85
113
10000
6
2.5
1.74
141
3200
7
3.6
1.69
156
8000
8
4
1.82
178
9000
9
3.3
1.90
114
15000
10
3.2
1.75
160
6500
假设 12 个销售价格记录如下：6,11,205,14,16,216,36,51,12,56,73,93。
取鸢尾花数据集（/~mlearn/MLRepository.html），利用
pyspark 中的 Bucketizer 函数，对四个数值型属性分别进行数据离散化。
为了调查某个微信小程序受众人群分布情况，可采用哪些抽样方法？哪种方
法效果更好？请分析原因。
给定 m 个元素的集合，这些元素划分成了 k 组，其中第 i 组的大小为 。如
后数据的取值范围。
如题表 2-1 所示，从某个毕业班抽取出的 10 个同学的个人情况数据，包含
4 项特征：成绩绩点、身高、体重、工作月薪。利用两种以上的方法对每个
特征进行预处理。
题表 2-1
序号 成绩绩点 身高（m） 体重（斤） 工作月薪（元/月）
1
3.2
1.78
130
6000
2
3.5
1.76
122
from pyspark.sql import SparkSession
import pandas as pd
df=pd.DataFrame(load_iris().data,columns=['f1','f2','f3','f4'])
sc=SparkContext('local')
spark=SparkSession(sc)
每次扫描题表 3-1 中的数据库后得到的所有频繁项集。在频繁项集的基础上，
产生所有的强关联规则。
题表 3-1
TID
商品
A，B，C，
1
D，E
2
A，B，D，E
3
B，C，D
4
C，D，E
5
A，C，E
6
A，B，D
某商店统计了上个季度 10000 笔交易记录，给出如题表 3-2 所示的统计信息：
题表 3-2
{牙刷}在 6000 个事务中出现；
题表 3-3
4.
No.
Outlook
Temperatur
e
Humidit
y
1
sunny
hot
high
2
dataFrame=spark.createDataFrame(df)
splits=[min(df['f1']),4.8,5.4,max(df['f1'])]
bucketizer = Bucketizer(splits=splits, inputCol='f1', outputCol='Buc_f1')
N * mk
N * m1 N * m2
= m1 : m2 ```: mk ，保持原分组比例，一定程度降
:
:```:
m
m
m
低了抽样的误差（当分组有效时），便于了解总体内不同分组的情况。
第三章 习题
1.
2.
3.
1.
2.
3.
4.
5.
6.
7.
8.
请举例说明“Apriori Property”。
设最小支持度为 33.3%，最小置信度为 50%。按照 Apriori 算法的步骤，给出
5
（1）将上述记录按序如下排列：6,11,12,14,16,36,51,56,73,93,205,216.
等深划分，划分为 4 个箱，即按上述顺序，每 3 个记录放入一箱，所以