频繁模式的挖掘

文献翻译带约束条件的频繁模式的挖掘摘要众所周知，频繁模式的挖掘在数据挖掘中起到相当重要的作用。

但是频繁模式的挖掘常常产生相当数量的模式和规则，这些不仅降低效率而且影响数据挖掘的效果。

最近的一些工作更显示约束性的挖掘范例在频繁模式、关系、相互关联、连续的模式和其他有意义的挖掘中的作用。

最近，我们开发了一种增长型的模式挖掘方法来处理频繁的模式。

这个方法不仅高效率，而且处理各种需求的时候效果很好。

包括一些以前不能很好处理的为问题也能有效解决。

在这篇论文中，我们将对模式增长型方法对频繁和连续的模式挖掘的要点进行概述。

而且还将就一些复杂的具体问题进行探讨。

1、介绍频繁模式的挖掘在数据挖掘项目中的作用不言而喻，比如寻找相联合性、相关性、因果关系、连续关系的模式、一段情节、多维的模式、最大的模式、时间分块性还有合并且合并模式。

频繁模式的挖掘技术也可以用来解决其他问题，比如冰块算法、分类等等。

这些广泛的应用就更显示出提高其效果和效率的重要性。

频繁模式的挖掘常常产生频繁模式和规则，这样会降低效率和效果，因为每次挖掘用户都需要进行繁琐的搜索。

最近的工作突出了限制性搜索范例的重要性：用户可以通过丰富的语义形式来表示他挖掘进行的重点。

另外也允许用户的继续开发和控制，可以由用户控制需要搜索的范围和模式，来取得进一步的效果提升。

以前关系频繁模式挖掘的大部分研究比如[2;9;16;18;21;22;29;30;32],采用类似Apriori的方法，基于反单调的Apriori属性[2]:如果长度为k的模式并不是频繁的，那么它的长度为k+1的父模式不会是频繁的。

核心想法是从长度为k的模式中反复的产生长度为k+1的模式，然后检查他们在数据库中出现的频率。

一个直观的类似Apriori的方法就是应用反单调的约束来削减候选项。

但是很多常用的约束并不是反单调的，比如avg(X)>=X,需要X模式的平均值大于等于v。

这样，Apriori类的方法遇到了麻烦。

最近，我们发展了有效的增长型方法[2]来处理频繁模式挖掘[14;26;25]和连续模式挖掘[13;27].模式增长方法不是类似Apriori的。

他们避免了项目集的产生和测试。

有趣的是，我们的研究[23；24；28]发现模式增长型方法不仅效率高，而且在处理这些方面效果很好。

以前方法不能处理的约束条件，比如avg()>=v,现在都可以通过这个方法来解决。

在这篇文章中，我们提供了一个用模式增长方法处理不同约束条件的主要框架。

而且我们通过一些实例测试了模式增长方法的具体效果。

文章余下的部分是这么安排的,在第二部分中我们将讨论有约束条件的频繁模式挖掘并且举例说明一些约束的应用和性质。

在第三部分我们将举例说明把不同的约束条件加入增长的频繁模式挖掘中。

连续模式的增长在第四部分有举例。

一些模式增长的方法和应用在第五部分有介绍。

结论在第六部分。

2、什么是有意义的条件？在这一部分，我们将首先讨论有约束条件的频繁模式挖掘，然后举一些例子。

2.1 有约束条件的频繁模式挖掘I={i1,i2,….im}是一个项目集，每个项目对应一个预先设定的属性（比如重量价格等等）。

一个关联T=<tid,It>是一个数组，tid是数组的标识符It⊆I。

一个关联Γ数据库包括一组关系。

一个k-项目集是大小为k的项目集。

我们用S=ij1…ijk描述项目集。

如果X⊆It,则项目集X包括在关系T=<tid,It>中。

项目集的sup(X)是关系库Γ中包含X的关系数。

条件是min_sup(1<=min_sup<=|Γ|), sup(X)>=min_sup。

例1、下表是关系库Γ，项目集I={a,b,c,d,e,f,g,h}表1、数据库Γ中的关系限制参数为2，项目集S=acd是频繁的，因为其在10和30的关系中分别出现。

完整的频繁项目集在表2中列出。

I给出了限制条件，比如C: 2^I ->{true,false}。

项目集X满足一个条件C，如果C(X)=true。

则满足条件C的项目集是SATc(I)={X|X⊆I∧C(X)=true},我们称SACc(I)是合格的。

问题的定义：给出一个数据库Γ，极限为min_sup，限制条件为C。

限制条件的频繁模式挖掘就是去找项目集满足C。

比如Fc={X|X∈SAT(I)∧sup(X)>=min_sup}表2.极限参数为2的关系集（参照表1中已给出的数据）2.2限制条件的类别对于现实中的数据，我们如下进行分类比较，这些类虽然不全面，但足以说明问题。

第一类（项目约束）某些类型的项目必须出现（或不出现）在列表中。

比如，奶制品公司只在商店采购时关心与奶制品有关的东西。

第二类（长度约束）对项目（集）的长度有约束条件的比如，进行文件搜索的时候，用户可能只关心至少包含5个关键字的内容。

第三类（所属关系约束）对某个项目的父/子集进行考虑比如，导游可能对游客在去过华盛顿和纽约之后去什么地方感兴趣。

就是他们希望得到子集。

第四类 (集合约束) 对SUM,AVG,MAX,MIN之类函数又要求的比如，一个市场分析人员会对平均价格高于100美元的商品感兴趣。

换一个方面考虑，约束项还可以通过约束的运行情况进行分类。

简单和反单调的[21;17],单调的[6;9;23]。

大致的情况如下：定义2.1一个约束Ca是反单调的，当且仅当如果S项目集违反Ca时，其父集也如此。

一个约束Cm是单调的，当且仅当S项目集违反Cm,其父集也如此。

J简单性如下定义：Is⊆I是简单集，如果其可以被表示成σp(I)对于选择谓词p, σ是操作符。

SP⊆2^I是简单的，如果存在固定的简单集I1,I2,…Ik⊆I,SP可以用I1,I2…Ik通过联合和相减表示。

Cs是简单的，如果SATCs(I)是简单的。

第四类，（可变性），在[23;24]中说明。

定义2.2(可变约束) 对于一个顺序R,一个项目集S’=i1i2….il称作S=i1i2…im 的前缀(l<=m)一个约束是反单调可变的，如果顺序R下，当任一个实体集满足C,它的前缀也满足；而单调可变是当任一个项目集不满足C,它前缀也不满足。

这两种情况都成为可变的。

例2、每个在表1中的项目都有一个属性值，如表3所示。

对于比如sum(S) θv 之类的约束，我们参照这些值。

表3、 中项目对应的值约束范围range(S)<=15则S中值的变化不应该超过15。

这是一个反单调的约束，就是说，如果其一个项目集ab,违反了约束条件，则它的任何父集都违反；这样ab可以通过类似Apriori的方法被安全的从候选项中剔出。

约束Cavg≡avg(S)>=25不是反单调的。

比如，avg(df)=(10+30)/2<25，违反了约束条件。

但是如果再加入一个项目a则，avg(afd)=(40+10+30)/3>=25, adf 满足Cavg。

如果我们安排一个降序排列,<a,f,g,d,b,h,c,e>,可以发现一个有趣的现象。

比如，项目集afd有a和af作为其前缀。

有趣的是，这个项目集的平均值比其前缀要小。

这样X前缀违反了这个约束，同样以X为前缀的更长的项目集也都违反。

约束Cavg是可变反单调的。

这四类约束包括了我们日常可见的大多数情况。

基于SQL的约束在表4 和表5种列了出来。

3、有约束条件的增长型频繁模式挖掘介绍了以上各种约束之后，你也许要问怎么应用到模式挖掘中去呢？下面我们将举几个例子。

并不是所有约束都可以应用于算法中去。

一个典型的例子就是一个可变的约束，不是单调、反单调也不是简单的，不能被用于Apriori挖掘算法。

比如，项目集df与avg(S)>=25这个约束冲突。

不过，一个类似Apriori的算法不能裁剪这个项目集。

否则，其父集,满足约束条件的adf,不能产生。

总之，一个合法模式的父模式或者子模式将不满足条件，反之亦然。

这样，就不能进行直接的裁剪。

表4、常用约束的性质表5、常用的可变约束的性质(*号表示其依赖于特定的约束“那么是否有将约束应用到挖掘中的有效方法呢？”我们的答案是肯定的。

通过模式增长型方法就可以。

例3 我们通过约束C≡avg(S)>=25来对例1中Γ数据库进行挖掘，参数极限为2。

每一个项目集中的项目通过降序排列<a(40),f(30),g(20),d(10),b(0),h(-10),c(-20),e(-30)>。

可以看到在表5中约束C是一个可变的反单调的。

挖掘的过程在图1中描述了。

通过搜索Γ一次，我们找到了每个项目的支持数。

因为h在每个关系中都存在，它是一个不频繁的项目，就被排除出列了。

1-项目的频繁项目集在R中列出，是 a,f,g,d,b,c,e。

它们中只有a f满足约束1。

因为C是一个可变的反单调约束，含有g,d,b,c,e为前缀的项目集不能满足C。

这样，满足条件的频繁项目集可以分为2类1、以a为前缀，包括a2、以f为前缀，包括f而不包括a（1代表项目集g不满足约束，R中g之后的任何1-项目集都不满足约束条件avg）两个子集不能独立进行挖掘。

1、搜索满足约束并且以a为前缀的项目集。

首先，a是一个满足约束条件的频繁项目集。

而且，以a为前缀频繁项目集存在于包含a的关系的子集中（被称为a-定制数据库）。

这样a存在于a-定制数据库的每个关系中，可以忽略。

a-定制数据库包含两个关系：bcdf和cdef。

因为项目b和e在这个数据库中是不频繁的，ab和ae也都不是频繁的。

所以，他们被裁剪掉。

数据库中频繁的项目是f,d,c,通过R顺序列出来了。

因为ac不满足约束条件，所以没有必要建立一个ac-定制数据库。

为了确定通过af ad为前缀的约束在a-定制数据库中可以挖掘到什么信息，我们建立两个定制数据库。

这个过程和建立a-定制数据库差不多。

Af-定制数据库包含两个频繁项目d和c,只有afd满足约束。

而且，因为dc不满足约束条件，其分支的过程完成了。

因为afc违反条件，没有必要建立afc-定制数据库。

Ad-定制数据库包含一个频繁项目c，但是adc不满足约束条件。

满足约束条件而且以a为前缀的频繁项目集都包含a,af,afd,ad。

图1、挖掘满足条件avg(S)>=25的频繁项目集1、挖掘满足约束并且以f为前缀的实体集。

同样，当a和f都被去除之后，f-定制数据库是包括f的关系的子集。

一共有四个关系：bcd,bcdg,cde,ceg。

定制数据库中的频繁项目是g,d,b,c,e,在R顺序中列出。

因为只有fg和fd满足约束，我们只需要考察是否有以fg或者fd为前缀的满足约束条件的频繁的项目集。

Fg定制数据库不包含以f g为前缀的满足约束条件的频繁项目集。

因为在顺序R中b是紧跟在d后的项目，而且fdb违反约束，所以包含fd为前缀的任何项目集都不能满足约束条件。