数据挖掘1-

Part I:

1. Suppose that the data for analysis include the attribute age. The age values for the data tuples are (in increasingv order):

13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70. (a) use min-max normalization to transform the value 35 for age onto the rang[0.0,1.0].

(b) use z-score normalization to transform the value 35 for age ,where the standard deviation of age is 12.94 years.

(c) Use normalization by decimal scaling to transform the value 35 for age. (d) Comment on which method you would prefer to use for the given data ,giving reasons sa to why.

(a) Given that the minmum age value is 13 and the maxmun value is 70, we can

transform the value 35 for age onto the rang[0.0,1.0] by min-max normalization as follows:

min '(max min )min max min 3513

(10)070130.39

age age age age

age age

v v new new new -=-+--=

-+-=

(b) Given that the standard deviation of age is 12.94 years ，we may use z-score

normalization to transform the value 35 for age:

809

29.9627

age =

= 3529.96

'0.3912.94

age

v age

v σ--=

=

=

(c) By decimal scaling normalization,we transform the value 35 for age as 35'0.35(max(')1)10100

j v v j v =

==<为使得的最小整数

(d) 我更倾向于使用小数定标规范化。对于最小-最大规范化。如果今后的输入

值落在age 的原始数据至于之外，该方法可能会面临“越界”错误，而z-dcore 规范化则额外计算并保存平均值和标准差这两个参数。由于age 的值基本上都是不超过二位数，因而j 可以统一取2，即用100初每个数即可。

2.A database has four transaction. Let min_sup=60%and min_conf=80%.

(a) At the granularity of item_category(eg.item;could be “milk ”),for the following rule template,

123,(,)(,)(,)[,]X transaction buys X item buys X item buys X item s c ?∈∧? List the frequent k itemset - for the largest k and all of the strong association rules (with their support s and confidence c)containing the frequent

k itemset - for the largest k .

相对支持度为min_sup=60%，那么可以求得绝对支持度为 min_sup=0.64 2.4?=

{ milk,cheese }，{ cheese,bread }，{ milk, bread }，{ milk }，{ cheese }，{ bread }。得出关联规则如下，每个都列出置信度：

milk cheese bread 3/3100%confidence ∧?== cheese bread milk 3/3100%confidence ∧?== milk bread cheese 3/475%confidence ∧?== milk bread cheese 3/475%confidence ?∧== cheese milk bread 3/3100%confidence ?∧== bread milk cheese

3/475%confidence ?∧==

已知最小置信度为min_conf=80%，故强关联规则有：

,(,milk)(,cheese)(,bread)[75%,100%]

X transaction buys X buys X buys X s c ?∈∧?==,(,cheese)(,bread)(,milk)[75%,100%]X transaction buys X buys X buys X s c ?∈∧?== ,(,cheese)(,milk)(,bread)[75%,100%]X transaction buys X buys X buys X s c ?∈?∧==

(b) At the granularity of brand-item_category(e.g. item; could be “sunset-milk ”), for the following rule temple,

123,(,)(,)(,)X customer buys X item buys X item buys X item ?∈∧?

List the frequent k itemset - for the largest k . Note:do not print any rule.

从1L 可以看出，k 最大为1，故频繁k 项集为l ={ Wonder-bread }

3. When mining cross-level association rules, suppose it is found that the itemset

“{IBM home computer, printer}”dose not satisfy minimum support. Can this information be used to prune the mining of a “descendent”itemset such as“{IBM home computer, /b printer}”? Given a general rule explaining how this information may be used for pruning the search space.

如果对于所有层使用一致的最小支持度，根据祖先是其后代超集的知识，采用Aprioti性质：频繁项集的所有非空子集也必须是频繁的，在这种情况下，如果祖先不满足最小支持度，那么我们可以停止对其后代的探查。

如果在较低层使用递减的最小支持度，即每个抽象层都有自己的最小支持度，且抽象层越低，对应的阈值越小，此时有可能在祖先不满足最小支持度的前提下，但是其后代却满足，此时Aprioti性质不能成立，我们不能停止对其后代的探查。

4. 假定数据仓库中包含4个维：date, product, vendor, location；和两个度量：sale_number和sales_cost。

(a) 画出该数据仓库的星形模式图

(b) 由基本方体[date, product, vendor, location]开始，列出vendor Wal-Mart

每年在Los Angles的所有sales_cost。

(c) 对于数据仓库，位图索引是有用的。以该立方体为例，简略讨论使用位图索

引结构的优点和问题。

(a)数据仓库的星形模式图

(b)所需的OLAP操作：

沿着Date维由Day上卷到year；

对vendor=Wal-Mart进行切片；

沿着Location 维由Street上卷到City；

对City=Los Angles切片；

最后沿着product维由每种产品上卷到all。

(c)该立方体一共有四个维（或属性），只需要为这四个为分别维护一张位图索引表，当属性的域的基数较小时，因为比较、连接和聚集操作都变成了位运算，大大减少了处理时间。由于用来表示具体事务的字符串可以用单个二进位表示，位图索引显著降低了空间和I/O开销。但是如果属性的域的基数很大时，可能会浪费存储空间来存储大量的数据0.

5. 下面是一个超市某种商品连续24个月的销售数据（单位为百元）

21,16,19,24,27,23,22,21,20,17,16,20,23,22,18,24,26, 25,20,26,23,21,15,17

(a)对以上数据进行深度为6的Equal-depth binning，然后分别采用bin median

及bin boundaries两种方法进行平滑。

(b)请写出采用min-max方法，将16和23规范化到[0，1] 区间后的结果。

对24个月的销售数据排序后为15，16，16，17，17，18，19，20，20，20，21，21，21，22，22，23，23，23，24，24，25，26，26，27

(a)划分为（等深）箱：

箱1：15，16，16，17，17，18

箱2：19，20，20，20，21，21

箱3：21，22，22，23，23，23

箱4：24，24，25，26，26，27

用bin median进行平滑：

箱1：16.5，16.5，16.5，16.5，16.5，16.5

箱2：20,，20，20，20，20，20

箱3：22.5，22.5，22.5，22.5，22.5，22.5

箱4：25.5，25.5，25.5，25.5，25.5，20.5 用bin boundaries 进行平滑： 箱1：15，15，15，18，18，18 箱2：19，19，19，19，21，21 箱3：21，21，21，23，23，23 箱4：24，24，24，27，27，27 (b)对16采用min-max 方法规范化

min '(max min )min max min 1615

(10)027150.08

age age age age

age age

v v new new new -=-+--=

-+-=

对23采用min-max 方法规范化

min '(max min )min max min 2315

(10)027150.67age age age age

age age

v v new new new -=-+--=

-+-=

6. Consider the data set shown in Table 1, （min_sup = 40%, min_conf=75%） (a) Find all frequent itemsets using Apriori and FP-growth, respectively,

bytreating each transaction ID as a market basket. Compare the efficiency of the two mining processes.

(b) Use the results in part (a) to compute the con?dence for the association rules {a,d}→{e} and {e}→{a, d}. Is con?dence a symmetric measure?

(c) List all of the strong association rules (with support s and confidence c)

matching the following metarule, where X is a variable representing customers, and item i denotes variables representing items (e.g. “A”, “B”,

etc.):

Table 1. Example of market basket transactions.

(a)

⑴Apriori

1.扫描数据库，对每个候选1项集计数得

C1

2.由min_sup = 40%可知最小支持度计数为0.4*10=4，从而确定频繁1项集L1，它满足最小支持度计数的C1中的所有候选项集组成：

L1

3.令L1与自身连接产生候选2项集的集合C2，由于C2中的候选2项集的每个子集必定是频繁的，所以不需要删除操作。扫描数据库，对每个候选2项集计数

C2

4.确定频繁2项集的集合L2：

L2

5.令L2与自身连接产生候选3项集的集合C3得{{a, b, d},{a, b, e},{a, d, e },{b, d, e}}。根据Apriori性质，由于{b,d}不是频繁集，故{a, b, d}，{b, d, e}不可能是频繁的，因此把它们从C3中删除。扫描数据库，对每个候选3项集计数得：

C3

6.确定频繁3项集的集合L2：

故所有的频繁集为L={{a},{b},{c},{d},{e},{a,b},{a,d},{a,e},{b,e},{d,e},{a,d,e}}

⑵FP-growth

数据库的第一次扫描同Apriori，导出频繁1项集的集合和支持度计数（最小支持度计数为4）。频繁1项集按支持度递减序排序，结果集记为L={{e:8}，{a:7}，{b:6}，{d:6}，{c:5}}。构造FP树如下：

通过构建条件模式基挖掘FP树

故所有的频繁集为L={{a}，{b}，{c}，{d}，{e}，{a,b}，{a,d}，{a,e}，{b,e}，{d,e}，{a,d,e}}

Apriori与FP-growth的效率比较：

Apriori挖掘全部频繁项集时需要产生候选项集，而且需要多次重复地扫描数据库，增加I/O开销。而FP-growth是不用产生候选的方法，它构造一个高度压缩的数据结构—FP树来压缩原先的事务数据库，并且整个FP-growth过程只需2次来扫描数据库，还有就是FP-growth的不是使用Apriori方法的产生-测试策略，而聚焦于频繁模式段增长，避免了高代价的候选产生，此外，它的基本操作是计数频繁项集和建立条件FP树，没有模式搜索和匹配过程，因而获得了更好的效率。但是FP-growth也存在一些缺点，额外建立FP树是要耗内存的，而且经常包含一些冗余信息。

(b ) association rules

{a,d}→{e} 4/4100%

==

c o n f i

d

e n c e

{e}→{a, d}4/850%

==

c o n f i

d

e n c e

关联规则{a,d}→{e}和关联规则{e}→{a, d}的置信度不相等，因而可以说置信度是不是对称度量的。

(b)对频繁集的集合L中的所有可能频繁项集产生的关联规则如下：

?==

b a c

4/757%

?==4/667%

a b c

d a c

?==

?==4/667%

a d c

4/757%

e a c

?==6/875%

?==

a e c

6/786%

e b c

?==

?==5/862.5%

b e c

5/683%

e d c

?==

?==5/771%

d e c

5/683%

∧?==

4/4100%

a d e c

∧?==

a e d c

4/666%

e d a c

∧?==

4/580%

?∧==

4/757%

a e d c

4/666%

?∧==

d a

e c

e a d c

?∧==

4/850%

由于min_conf=75%，输出的强关联规则有：

?∈?==

,(,a)(,e)[60%,86%]

X transaction buys X buys X s c

X transaction buys X buys X s c

?∈?==

,(,e)(,a)[60%,75%]

?∈?==

X transaction buys X buys X s c

,(,b)(,e)[50%,83%]

X transaction buys X buys X s c

?∈?==

,(,d)(,e)[50%,83%] X transaction buys X buys X buys X s c

?∈∧?==

,(,a)(,d)(,e)[40%,100%]?∈∧?==

,(,e)(,d)(,a)[40%,80%] X transaction buys X buys X buys X s c

Part II: 上机作业：Recommendation Systems Hand-in: The list of association rules generated by the model.

The list of association rules:

?

biscuits milk

?

yoghurt milk

?

tomato souse pasta

?

tomatosouse milk

pasta water milk

∧?

?

juices milk

∧?

biscuits pasta milk

rice pasta

?

∧?

tomatosouse pasta milk

coffee pasta milk

∧?

∧?

tomatosouse milk pasta

∧?

biscuits water milk

brioches pasta milk

∧?

∧?

yoghurt pasta milk

Sort the rules by lift, support, and confidence, respectively to see the rules identified. Hand-in: For each case, choose top 5 rules (note: make sure no redundant rules in the 5 rules) and give 2-3 lines comments. Many of the rules will be logically redundant and therefore will have to be eliminated after you think carefully about them.

Support:

Support最高的5个规则是：

1.biscuits milk

?

2.yoghurt milk

?

3.tomato souse pasta

?

4.tomatosouse milk

?

5.pasta water milk

∧?

按support排序的前5个规则没有冗余规则。Confidence:

Confidence最高的5个规则是：

1.biscuits water milk

∧?

∧?

2.yoghurt pasta milk

3.biscuits pasta milk

∧?

∧?

4.brioches pasta milk

5.tomatosouse milk pasta

∧?

按Confidence排序的前5个规则没有冗余规则。

Lift:

lift最高的5个规则是：

1.tomato souse pasta

?

2.rice pasta

?

3.biscuits water milk

∧?

∧?

4.yoghurt pasta milk

5.biscuits pasta milk

∧?

按Lift排序的表中的第一条规则是冗余的，这是因为既然可以通过仅仅促销tomato souce（比如说打折）来推进pasta的销售，因而没有必要再去同时促销milk。因而规则1不是有趣的，它不提供任何附加的信息。