序列模式挖掘综述

收稿日期:2007-08-24;修回日期:2007-11-17

作者简介:陈卓,博士,主要研究方向为数据挖掘(chenzhou613@https://www.360docs.net/doc/e315509015.html,);杨炳儒,教授,博导,主要研究方向为数据挖掘、推理机制与知识发现等.

序列模式挖掘综述

陈 卓,杨炳儒,宋 威,宋泽锋

(北京科技大学信息工程学院,北京100083)

摘 要:综述了序列模式挖掘的研究状况。首先介绍了序列模式挖掘背景与相关概念;其次总结了序列模式挖掘的一般方法,介绍并分析了最具代表性的序列模式挖掘算法;最后展望序列模式挖掘的研究方向。便于研究者对已有算法进行改进,提出具有更好性能的新的序列模式挖掘算法。关键词:数据挖掘;序列模式;周期模式;增量式挖掘

中图分类号:TP 311 文献标志码: A 文章编号:1001-3695(2008)07-1960-04

Sur vey of sequen tial pat ter n m inin g

CHE N Zhuo,YAN G Bing-ru,S ON G Wei,S ON G Ze-feng

(S chool of Infor mation Engineering,Beijing Univer sity of S cience &Technology,Beijing 100083,C hina)

Abst ract :This pa per prov ided a review of the res ea rch of sequential pa tt ern m ining.Firstly,introduced the ba ckground and context .S econdly,sum m a rized the genera l m et hods of sequence pa tt ern m ining,introduced and analyz ed the m os t represent ative a lg orithm to prov ide a basis for im proving old algorit hm s or developing new effect iv e ones.Fina lly,dis cussed som e future re-s ea rch t rends on t his area .

Key words:dat a m ining ;sequent ia l pat tern;periodic pa tt ern;increm enta l m ining 数据挖掘作为知识发现的核心步骤,旨在从海量数据中提取有效的、新颖的、潜在有用的、易被理解的知识。序列模式挖掘(sequent ia l pa tt ern m ining)是数据挖掘中非常重要的一个研究领域,最早是由Ra kesh Agraw al 和Ram a krishna n S rikant 在针对超市中购物篮数据的分析提出来的。序列模式挖掘是要找出序列数据库中所有超过最小支持度阈值的序列模式

[1]

。它

有着广泛的应用领域:商业组织利用序列模式挖掘去研究客户购买行为模式特征、计算生物学中序列模式挖掘用来分析不同氨基酸突变模式、用户Web 访问模式预测以及DN A 序列分析和谱分析。序列模式挖掘与关联规则挖掘在许多方面相似,但它更关心数据之间顺序的关联性。

1 序列模式挖掘任务定义

基本概念:

定义1 事务数据库(t ransaction da taba se):以超市数据为例来说明,即由顾客交易记录组成的数据库。Custom_ID 、T ra nsaction_Tim e 、It em set 分别代表顾客标志、交易时间和交易物品集合。

定义2 项集(it em s et):各个项(it em )组成的集合。定义3 序列(sequence):不同项集的有序排列。序列S 可以表示为S =〈s 1,s 2,…,s n 〉。其中:s j (1≤j ≤n )为项集,也称为序列S 的元素。

定义4 序列的元素(elem ent):表示为(x 1,x 2,…,x n )。其中:x k (1≤k ≤m )为不同的项。

定义5 序列长度:一个序列包含的所有项集的个数,长度为1的序列记为1-序列。

定义6 序列的包含:设存在两个序列α,β。其中:α=〈a 1,a 2,…,a n 〉,β=〈b 1,b 2,…,b n 〉。如果存在整数1≤j 1

定义7 支持数:序列α在序列数据库S 的支持数为序列数据库S 中包含α的序列个数。

定义8 支持度:序列的支持度是一个预先设定的阈值。定义9 频繁序列:给定最小支持度阈值,如果序列α在序列数据库中的支持数不低于该阈值,则称序列α为频繁序列。

定义10 序列模式:最大的频繁序列称为序列模式,最大序列就是不被其他任何序列所包含的序列。

Ag rawa l 等人[1]将序列模式挖掘定义为在序列数据库中挖掘那些支持数超过预先定义支持度的序列模式的过程。

2 序列模式挖掘方法

2.1 基本序列模式挖掘

大多数早期序列模式挖掘算法都是基于Agra wal 提出的关联规则挖掘算法Apriori,它的特性是频繁模式的任何子模式都是频繁的。基于这个启发,研究者提出一系列类Apriori 算法,如AprioriAll 、AprioriS om e 、Dy na m icS om e 。S rikant 等人[2]提出了GS P(generalized sequent ia l pa tt ern)方法。Zaki [3]提出了SPADE 方法。这两个方法同样是基于Apriori 的。随后学者们又提出了一系列基于数据投影的算法,它们包括韩家炜在2000年提出的F reeS pan 和Pei 在2001年提出的PrefixS pan 。Han 于2004年提出了一种结合了图模式生长和频繁计数,形成了结构模式挖掘的算法g S pa n 。L in 和Lee 于2002年提出的

第25卷第7期2008年7月 计算机应用研究

Applicat ion Research of Com puters Vol.25No.7J ul.2008

M EMIS P算法则是基于内存索引的。Garofa la kis等人通过利用正则表达式约束方法提出了S PIRIT算法。

2.1.1 类Apriori算法:AprioriAll、AprioriS om e、Dy nam icS om e

文献[1]中提出的类Apriori序列模式挖掘算法是经典的关联规则挖掘算法Apriori算法的变形。它将序列模式挖掘分为五个阶段。假定事务数据库有三个属性:顾客ID、交易时间和购买商品。第一阶段为排序阶段,原始事务数据库进行索引,顾客ID是主键,交易时间是辅助键,结果是顾客序列的集合。第二阶段为频繁项集阶段,即找出所有的频繁项集,每个大项集对应着一个频繁1-序列。第三阶段为转换阶段,将原始数据库中的顾客序列转换为它们相应的频繁项集。第四阶段找出所有的频繁序列。第五阶段为最大化阶段,是从频繁序列集合中找出最大序列集即频繁模式集。

算法AprioriAll与Apriori类似,首先遍历数据生产候选序列并利用Apriori的特性进行剪枝来得到频繁序列。每次遍历时通过连接上一次得到频繁序列来生成新的长度加1的候选序列。然后对每个候选序列进行扫描,按照最小支持度来确定哪些序列是频繁序列模式。它的主要缺点是遍历数据库次数太多,而且产生了太多的候选序列,因此它的效率并不高。

算法AprioriS ome与AprioriAll只是在序列阶段有所不同, AprioriAll是首先生成所有的频繁序列后再在最大化序列阶段删除那些非最大的序列。AprioriSom e将序列分成两个部分分别计数:前半部分只对一定长度的序列计数;后半部分跳过已经计数的序列。在实际过程中两个部分是混合在一起的,以减少候选序列占用的资源。

算法Dy nam icS om e与AprioriS om e相似,仅多了一个初始化阶段。在前半部分跳过对预先设定好的一定长度的候选序列的计数;后半部分的算法与AprioriS om e完全相同。其效率不及AprioriAll和AprioriSom e高,是由于在前半部分产生太多的候选。后两者的优点是可避免计数许多非最大序列。

2.1.2 GS P算法

文献[2]提出的GS P算法也是一个基于Apriori的频繁模式挖掘算法。它在以下三个方面进行改进:a)增加了时间约束,在序列的邻近元素之间增加了最大和最小间隔。如果邻近元素没有介于它们两者之间,则认为这两个元素不是在序列中连续的元素。b)定义了一个滑动窗口来弱化事务的定义,允许项来自不同的事务,只要这些事务在指定的滑动窗口范围内。c)对序列中的项使用了概念层次进行分层,使得挖掘过程可以在多个概念层上进行。在GS P中候选序列的数目大大减少了,而且在挖掘过程中引入了时间约束和概念分层来生成更多知识,因此GS P相对于AprioriAll有着较好的性能。

AprioriAll中所有在数据库中的序列都被表示为它们包含的子序列,所以很容易得到候选序列的支持数。由于在GS P 中引入了最大和最小时间间隔,得到候选序列的支持数相对较困难。在此GS P在计算候选序列支持数时采用了hash树来提高算法的效率。

由于GS P与AprioriAll一样都需要多次遍历数据,为了提高挖掘效率,文献[4]中提出一种基于GS P的算法MFS(m i-ning frequent sequence),它不需要多次遍历数据库。MFS提出了一个两阶段的算法,首先挖掘样本数据库来获得频繁序列的一个粗糙评价。基于这些评价,遍历数据库去检查并细化候选序列直到没有频繁序列再产生。MFS与GSP的区别是在生成候选序列的方法上:GSP每次相同长度的候选集是通过连接在前一次扫描得到的频繁序列来产生的;而MFS候选集则是通过连接不同长度的所有已知频繁序列来产生的。实验结果表明M FS与GS P产生相同的频繁序列集合,但在降低I/O消耗方面要比GS P高效。

此外,文献[5]介绍了一个通用的序列模式挖掘框架。它将不同的约束,如结构、时间、项以及概念层次等都集成到一个统一的系统中,而且也提出了相应的序列模式计算方法和阈值的设置方法。

2.1.3 Prefix Spa n算法

文献[6]提出的PrefixS pan算法是一种使用数据库投影技术的序列模式挖掘算法,其性能优于GSP与AprioriAll,且拥有能够处理非常大的序列数据库的能力。Prefix S pa n主要使用数据库投影方法来使下一次遍历的数据库变得更小,它不需要产生候选序列,只要根据它们的前缀递归地将后缀投影到投影数据库中,然后对投影数据库进行挖掘来得到频繁序列模式。为了提高算法性能,它研究了三种投影技术:逐层投影、隔层投影以及伪投影。

逐层投影第一步是扫描序列数据库来得到长度为1的序列,实际上也就是1-频繁序列。然后根据1-频繁序列将数据库分为不同的部分。每一个部分是将相应的1-频繁序列作为前缀序列数据库的投影。投影数据库仅包含这些序列的后缀,通过遍历投影数据库产生所有以1-序列模式作为前缀的2-序列模式;投影数据库再次根据2-频繁模式分成各个部分。递归地执行上述步骤直到投影数据库为空或者再没有频繁序列模式产生。

隔层投影用来减少投影数据库的大小和数目,它首先扫描序列数据库,产生所有长度为1的序列模式,再次扫描序列数据库,构造相应的下三角矩阵来得到所有长度为2的序列模式。接下来构造长度为2的序列模式所对应的投影数据库,对每个投影数据库重复上面的操作,直到没有新的序列模式产生为止。

当投影数据库能够存储在内存时可使用伪投影技术。事实上它并没有构建物理投影数据库。每一个后缀用一对指针和偏移量来表示。由于避免了复制数据库,伪投影比其他两种投影方法更加高效,然而它的限制是数据库的大小必须能存储在内存中。

文献[7]提出的FreeS pan同样是基于投影数据库的算法。其基本思想是将频繁序列的挖掘与频繁模式的挖掘结合起来,并投影序列数据库以精简搜索空间,并减少候选子序列的数目。它只需在原始数据库进行三次扫描,基于当前已经得到的频繁集,递归地将数据库投影到一系列较小的数据库上,在投影数据上进行子序列挖掘。这样产生了较少的候选序列。文献[8]中提出的g Spa n算法结合了图模式生长和频繁计数,形成了有效的结构模式挖掘算法。文献[9]中提出一种S PMDS 算法通过对投影数据库的伪投影作单项杂凑函数,检测是否存在重复的投影,避免大量重复扫描数据库。

2.1.4 S PADE算法

文献[3]提出的S PADE算法是利用格技术和简单的连接方法来挖掘频繁序列模式的一种高效算法。它仅需扫描三次数据库即可挖掘出所有的频繁序列;同时利用格技术将挖掘搜索空间分解为若干个较小的搜索空间,每个小的搜索空间可以

?

1

6

9

1

?

第7期陈卓,等:序列模式挖掘综述

存储在内存中。实验表明,S PADE 方法性能要优于AprioriAll 和GS P 。

在该算法中,序列数据库被转换为垂直数据库格式,通过扫描垂直数据库来生成1-频繁序列,第二次遍历数据库时生成新的垂直数据库以及2-序列,用生成的2-序列来构建格,使得具有相同前缀项的序列在同一格内,这样格被分解为足够小并能存入内存中。在第三次扫描数据库过程中,通过用时态连接的方法产生所有的频繁序列。同时该算法采用广度优先搜索(BFS)和深度优先搜索(DFS)策略来产生频繁序列。与GS P 生成候选过程一样利用Apriori 特性进行剪枝。2.1.5 MEMIS P 算法

在文献[10]中提出的m em ory index ing for sequent ia l pa t-tern m ining(MEMIS P)是基于内存索引的序列模式挖掘方法。M EMIS P 只需要遍历一次或最多两次数据库,并且它避免生成候选序列和投影数据库。实验结果表明,MEM IS P 比GS P 和P refixS pan 要高效,而且对于数据库大小和数据序列数目有着良好的线性可伸缩性。

对于那些能够存储在内存中的数据库,该算法首先扫描数据库并把它写到内存中形成MDB(m em ory da ta base),在这个过程中计算1-序列的支持数来得到1-频繁序列;然后再利用1-频繁序列以及构造内存索引来生产序列模式;最后用索引以及MDB 根据支持度大小找到频繁模式。循环执行直到再没有新的序列模式产生为止。

对于那些较大的不能装入内存的数据库,该算法把它分解为各个能够存储在内存中的部分,然后每个部分分别应用M EMIS P 来得到频繁模式,整个候选序列模式从各个部分集成得到。最终的频繁序列模式的确定需要根据实际的支持度再次遍历数据库。大型数据库仅需遍历两次。2.1.6 S PIRIT 算法

在文献[11]中提出的S PIRIT(s equential pat tern m ining w it h reg ular ex pression constra ints)算法是在通过正则表达式约束来挖掘用户特定序列模式的一种挖掘算法。这种方法避免了挖掘用户不感兴趣的模式的浪费,同时也避免了挖掘那些潜在的并无用处的模式。

传统的序列模式挖掘用户参与挖掘只是给定了一个最小支持度,用户参与对特定的问题作出经验判断,此外还会产生大量的无用结果。S PIRIT 算法是受用户限制的挖掘,将用户指定的正则表达式也加入到算法中,使用户参与到模式挖掘过程中,算法本身与GS P 算法非常相似,只是在其中加入了一系列能够读取和中断正则表达式限制的操作。最终形成的序列模式综合考虑了最小支持度与用户的约束条件。针对不同的约束程度,文中形成了四种不同的算法,S PIRIT[N]、S PIRIT [L]、SPIRIT[V]、S PIRIT[R],它们的约束程度依次增强。2.2 多维序列模式挖掘

单维挖掘序列模式只关心一个带有时间戳的属性,多维序列模式的挖掘目的则是寻找不同维度属性具有更多信息的有用模式。文献[12]中阐述了多维序列模式挖掘的思想,并提出了三种挖掘多维序列模式的方法,分别是S eq-Dim 、Dim -Seq 以及UniSeq 算法。U niS eq 算法将多维信息融入到序列中形成新的序列数据库,然后按照PrefixS pan 方法对新的序列数据库进行挖掘。S eq-Dim 算法首先挖掘原始序列的序列模式,然后对序列投影下的数据库多维信息的模式进行挖掘。Dim -Seq

则是首先挖掘多维信息的模式,然后再挖掘多维信息投影下的数据库序列模式。由于通常多维序列模式的长度较短,投影数据库仅包含那些带频繁序列模式的元组,多维序列模式挖掘更加高效多产。实验结果表明,多数情况下S eq-Dim 有着良好的性能;当维数较低时多维模式也较短,UniS eq 较其他两种方法高效;Dim -Seq 在挖掘过程中许多模式并未形成多维序列模式,因此效率较低。

2.3 增量式序列模式挖掘算法

现实世界中序列数据集往往是实时更新的。相应地,有趣模式在多次挖掘时也会随时间呈现出某种变化,已有的规则可能不再有效,而新的有趣模式还有待进一步发现。通常有两种维护规则的方式:第一种方法是强更新,重新进行挖掘,用新的规则来替换所有旧的规则;第二种是弱更新,仅重新计算与增量有关的数据,替换不适用的旧规则。考虑到序列模式挖掘的复杂性,更加倾向于采用弱更新的方式。增量式序列模式挖掘关注于当数据持续增加或减少时来维护序列模式。

文献[13]提出了一种基于GS P 和一种基于MFS 的增量式挖掘算法。在文献[14]提出了一种基于S PADE 的增量挖掘算法IS M 。文献[15,16]分别给出了IS E 和IU S 算法。同时文献[16]还讨论了在何时需要更新序列模式。增量式序列模式挖掘定义为:给定序列数据库,通过插入或删除序列形成新的序列数据库,在新的序列数据库中寻找所有的最大频繁序列模式。

文献[13]中提到的GS P +与MFS +算法是基于GSP 算法的增量式序列模式挖掘算法。GS P +与GPS 有着相同的结构,根据在前一次扫描中生成的频繁序列来得到候选序列;不同的是GPS+采用了不同的剪枝策略,它仅仅去遍历更新的那部分数据库来检测候选序列的支持数,同时文献给出了两个剪枝策略的定理,基于这两个定理的剪枝技术,减少了候选序列的数目。同样的剪枝策略亦用于MFS+算法中,它首先将在旧的数据库中得到频繁序列作为新数据库的频繁序列集的评价。将所有可能的1-序列看做候选序列,通过扫描新旧数据集能够得到所有这些候选序列的支持数。利用最小支持度阈值,将最大频繁序列放入集合中。在数据集上进行剪枝,并循环这个过程直到再没有生成候选或者再没有频繁序列模式产生。

文献[14]中提出一种基于S PADE 方法的增量式序列模式挖掘算法ISM 。IS M 算法在数据库更新时不仅能获得频繁模式,而且它提供一个与用户交互的接口,用于修正最小支持度与包含或不包含项等的限制。IS M 算法假定在旧的数据库所有序列模式均已计算出支持数,并且这些序列的反向边界以及支持数可用在一个格里。通过构建一个增量序列格(incre-m enta l sequence lat tice,IS L)并利用其特性,为潜在的新的序列缩小了搜索空间。使用垂直数据存储方式在建立数据结构方面的花销要比其他大多数序列模式挖掘算法在速度上有所提高。

ISM 算法仅仅考虑了增加新的序列情况,文献[15]中同时考虑了增加新序列以及在序列中增加新后缀的情况,并提出一种新算法ISE 。假定旧数据库中最大频繁模式的长度为k ,ISE 算法将挖掘过程分为两个子问题,对于那些长度大于k 的候选序列,直接应用GS P 算法。而对于那些长度小于或等于k 的序列进行如下操作:第一次遍历新增数据库,并计算每个单独项的支持数。利用先前挖掘结果,能够得到在旧数据库中并不

?

2691?计算机应用研究第25卷

频繁的频繁序列集合,定义为Ldb1。通过连接L db1生成2候选序列进行后检测它们是否存在于新增数据库中。遍历数据库从2候选序列中得到2-频繁序列。将那些按照时间顺序的L1db的序列与相应的序列关联起来。依次循环,直到再没有小于等于k+1的候选序列生成。两种剪枝技术用于优化ISE 算法,旨在利用当前信息在早期减少生成候选序列的数量。

IS E仅考虑在原始数据库中扩展频繁序列的后缀,而文献[16]中提出的IUS算法同时考虑了扩展前缀和后缀,它也像IS M算法一样应用了反向边界,但ISM中没有内存管理方法。IU S定义了反向边界的最小约束,只有那些支持度超过这个约束的序列才能被反向边界包含,因此IU S算法需要的内存空间较小。

文献[17]中提出一种IncSpa n算法,引入近似频繁序列集、逆向匹配和共享投影等新思路进行增量挖掘。在文献[18]中提出了一种可迭代的移动序列模式挖掘及增量更新方法,该方法基于投影技术,只需要对数据库进行一次扫描。文献[19]中提出了分布式序列模式挖掘的思想并给出相应的算法。文献[20]给出了序列模式图的概念,并由此来挖掘序列模式。

2.4 周期模式挖掘

周期模式挖掘可看做序列模式挖掘的延伸,它旨在时间序列数据库发现所有的再生模式。周期模式挖掘有以下三种任务:a)全周期模式挖掘,在时间序列中的每一个点都为时间序列周期模式做出贡献。b)部分周期模式挖掘,时间序列的其中部分为周期模式做出贡献。c)周期关联规则挖掘,关联规则是周期发生的事件集合。

大多数全周期模式挖掘可以用统计分析方法或者转换为序列模式挖掘。部分周期模式挖掘在现实世界中普遍发生,因此周期模式挖掘大多数有意义的问题集中在此。部分周期模式挖掘定义为时间序列在一个时期内或者在一个特定周期范围内挖掘序列所有频繁模式。文献[21～24]讨论了部分周期模式挖掘。其中文献[21]中韩家炜介绍了部分周期模式挖掘的难点,并提出了单周期与多周期模式的两种挖掘算法。

单周期模式挖掘旨在对于给定周期、支持度约束和可信度约束,在时间序列中发现所有的部分周期模式。一种方法是将序列分割成周期片断后直接应用传统的Apriori算法来进行挖掘,使用Apriori特性来进行剪枝大序列的候选,发现频繁序列的问题与在关联规则中找到频繁项集类似。在此算法中扫描的总数不多于周期的长度。在这个方法中最坏情况下需要的存储空间为2F-1,F是1-频繁模式的数目。另一种方法叫做最大子模式命中集方法。在周期片断中候选模式中的最大子模式即为命中集。整个时间序列S的命中集是所有在S中的频繁最大子模式的集合。与Apriori算法中一样在第一次扫描时产生1-频繁模式,在第二次扫描,生成每个周期片断的命中集以及支持数,并存储在树结构中。序列频繁模式从带有计数的命中集中得到。在这个算法中仅需扫描两次数据库,存储空间为m in{m,2F-1},m是时间序列的周期总和。

以单周期利用基于命中集方法为原始方法,部分周期模式的多周期模式挖掘直接将最大模式命中集方法应用到序列的每一个周期。该方法由于序列中有k个循环,k为在特定范围的周期数目,扫描次数是2×k,需要的空间为６k

j=1

m in{m j, 2Fj}。多周期模式挖掘的另外一种方法与单周期模式挖掘最大模式算法非常相似。在第一次扫描时生成所有周期的1-频繁模式和候选频繁模式;第二次扫描时生成所有周期的命中集。

实验证明在单周期与多周期模式挖掘中,用最大子模式命中集方法要优于基于Apriori算法。原因是扫描时间序列数据库的次数和所需空间存储明显减少,同时基于最大子模式命中集算法仅扫描两次数据库,而Apriori则需多次扫描数据库,对于挖掘非常大的数据库时基于Apriori算法需要很大的磁盘存储空间和I/O操作。

由于时间序列数据库随时变化,在文献[22]中提出部分周期模式的增量挖掘算法。该挖掘算法结合了两个挖掘数据库。上述周期模式的研究焦点在于挖掘同步的周期模式,但是实际上由于存在随机性和噪声干扰,有一些周期模式不能被识别。文献[23]提出时间序列数据异步周期模式挖掘,用于发现那些在子序列频繁发生但可能随干扰而变化的模式。文献[24]中介绍在噪声环境下的序列模式挖掘相关研究。MOW-CATL(m inim al occurrences w it h constra ints a nd tim e la gs)方法[25]从序列中找出周期性片段的事件相关模式,并应用于预测其他序列的类似事件。

3结束语

近些年来,序列模式挖掘取得了长足进步,但处于发展阶段,面临着不少问题:a)序列模式挖掘过程中如何让用户有效参与到挖掘过程中,与相关领域知识相结合进行有指导的挖掘,避免挖掘的盲目性。b)序列模式挖掘的评价还没有一个统一的标准和框架。c)阈值的设定还没有好的方法来评判,如可信度、支持度与感兴趣度。d)针对海量数据,序列模式挖掘在挖掘效率上还不高。

本文认为,以下几个方面是序列模式挖掘今后的发展方向:将先验知识、领域知识与计算智能算法相结合来指导挖掘过程,以缩小搜索空间,提高算法效率以及规则的兴趣度;多维序列模式挖掘,寻找不同维度属性具有更多信息的有用模式;增量式挖掘,进行规则的更新与维护;周期模式的关联规则挖掘的高效算法;分布式序列模式挖掘以及序列模式图的研究;设计面向非关系数据库(面向对象数据库、多维数据库、数据仓库)的序列模式挖掘算法。

参考文献:

[1]GRAWAL R,SRIKANT R.Mining sequential patter n[C]//Proc of

the11th International C onfer ence on Data E ngineering.Taipei:[s.

n.],1995.

[2]SR IKANT R,AGRAWAL R.M ining sequent ial patt er ns:Genera lizat ions

a nd per for ma nce impr ovement s[C]//P roc of the5th Int erna tional Con-

ference on E xtending Database Technology.Avig non:[s.n.],1996. [3]ZAKI M J.SPADE:An efficient algorithm for mining frequent se-

quences[J].Machine Learn ing,2001,41(1):31-60.

[4]ZHANG M,KAO B,YIP C,et al.A GS P-based efficient a lg orithm for

mining fr equent sequences[C]//Proc of Internationa l Conference on Artificial Intelligence.Nevada:[s.n.],2001.

[5]J OS HI M,KARYPIS G,KUMAR V.A universal for mulation of se-

quential patterns[C]//Proc of the KDD’2001Workshop on Tempor al Data M ining.San Fr ancisco:[s.n.],2001.(下转第1976页)

?

3

6

9

1

?

第7期陈卓,等:序列模式挖掘综述

对Kroa 100、L OACA 和AC A 算法的收敛特性比较如图3所示。从图中可以看出,对于基本蚁群算法,路径长度变化大(22288～38218,前五次迭代在图中未列出),收敛速度慢;而优化算法路径长度变化小(21282～21610),收敛速度快,仅用了25轮即取得已知最优解21282。

4 结束语

本文根据TS P 的特点,设计了三种局部优化算子,每一轮搜索结束后,采用该算子对结果路径进行变异,以寻求更优解。

局部优化加快了蚂蚁算法的收敛速度,避免了早熟和停滞现象的发生,增强了寻优能力。经过多个TS P 实例测试,实验结果表明:对中小规模的TSP,该算法基本上能找到最优解;对大规

模的TSP,也能明显地改善解的质量。参考文献:

[1]

ORIGO M,GAMBARDELLA L M.Ant colony system:a coopera tiv e lear ning approach to the trav eling salesma n problem[J].IE EE Tra ns on Evolu tionary Co mputatio n,1997,1(1):53-66.[2]

T ALBI H,DRAA A,B ATOUC HE M.A new quantum-inspired genetic a l-g or ithm for solv ing the tra veling salesma n problem[C]//Pr oc of IEEE Inter na tiona l Conference on Industrial Technolog y.2004:1192-1197.[3]

S ONG Chi-hua,LEE K,LEE W D.Extended simulated annealing for augmented TSP and multi-salesmen TS P [C]//Pr oc of Inter national J oint C onfer ence on Neur al Networks.2003:2340-2343.[4]

M ICH EL G,GILBE RT L,FREDE RIC S.A tabu search heuristic for the undirected selective tr aveling salesman pr oblem[J].European J of O pera tional,1998,106(1):539-545.[5]

YANG Hai-qing,YANG Hai-hong.An self-organizing neur al network with conv ex-hull expa nding proper ty for TS P [C]//Proc of Interna-tional Conference on Neural Networ ks and Bra in.2005:379-383.[6]王文峰,刘光远,温万惠.求解TSP 问题的混合离散粒子群算法[J ].西南大学学报:自然科学版,2007,29(1):85-88.

[7]黄雪梅,李涛,徐春林,等.一种基于免疫遗传的TS P 求解方法[J ].四川大学学报:工程科学版,2006,38(1):86-91.

[8]

孙力娟,王良俊,王汝传.改进的蚁群算法及其在TSP 中的应用研究[J ].通信学报,2004,25(10):111-116.

(上接第1963页)[6]

E I J ,HAN J.Pr efixSpan:mining sequential patterns efficiently by prefix-projected pattern growth [C]//Proc of the 7th Inter national C onfer ence on Data Engineering.Washington DC:IEE E Computer S o-ciety,2001:215-224.[7]

HAN J,PE I J,MORTAZVI-ASL B,et al.Fr eeSpan:frequent pa ttern-projected sequentia l pa ttern mining[C]//Pr oc of the 6th ACM SIGK-DD International Conference on Knowledge Discover y and Da ta Min-ing.New York:AC M Press,2000:355-359.[8]

HAN J ,PEI J ,YAN X.From sequential pattern mining to str uctured pattern mining:a pa ttern-g rowth approach[J].Journal of Compu ter Science and Technolog y,2004,19(3):257-279.[9]

张坤,朱杨勇.无重复投影数据库扫描的序列模式挖掘算法[J].计算机研究与发展,2007,44(1):126-132.

[10]LIN Ming-yen,LE E S Y.Fast discov ery of sequential patter ns by

m emory indexing[C]//Proc of the 4th Inter national C onfer ence on Data War ehousing and Knowledge Discov ery.London,UK:S pringer-Ver lag,2002:150-160.

[11]GAROFALAKIS M N,RASTOGI R,S HIM K.Spirit:sequential pat-tern m ining w ith reg ular expr ession constraints[C]//Proc of the 25th Inter national Confer ence on Ver y Lar ge Da ta bases.San Fr ancisco,C A:M organ Kaufmann Publisher s Inc,1999:223-234.

[12]PINTO H,HAN J ,PEI J,et al .Multi-dimensional sequential pattern

m ining[C]//Proc of the 10th International Conference on Information a nd Knowledg e Mana gement.Atlanta,New York:ACM Pr ess,2001:81-88.

[13]ZHANG Ming-hua,KAO B,CHE UNG D W,et al .Efficient algorithms

for incr emental update of frequent sequences[C]//Proc of the Paci-fic-Asia Conference on Knowledge Discovery a nd Data Mining.Lon-don,UK:Springer-Verlag,2002:186-197.

[14]PARTHAS ARATHY S,ZAKI M J,OGIHARA M,et al.Incr emental

a nd intera ctive sequence mining[C]//Proc of the 8th Inter national C onfer ence on Infor mation and Know ledge M anag ement.Kansa s City,

New Yor k:ACM Pr ess,1999:251-258.

[15]M AS SEGLIA F,PONCELET P,TEISS EIRE M.Incremental mining of

sequential patterns in lar ge databases[J ].Da ta and Kno wledge En-gineering ,2003,46(1):97-121.

[16]ZHENG Qing-guo,XU Ke,M A Shi-ling,et al .The a lgorithms of upda-ting sequentia l patterns[C]//Pr oc of the 5th Interna tional Workshop on High Perfor-mance Data M ining.Washington DC:[s.n.],2002.[17]CHE NG Hong,YAN X,HAN J .IncSpa n:incr ementa l mining of se-quential patterns in large da tabase[C]//Pr oc of the 10th Inter natio-nal Conference on Knowledge Discovery and Data M ining.New York:ACM Press,2004:527-532.

[18]牛兴雯,杨冬青,唐世渭,等.OS AF 2tr ee ———可迭代的移动序列

模式挖掘及增量更新方法[J].计算机研究与发展,2004,41(10):1761-1767.

[19]邹翔,张巍,刘洋,等.分布式序列模式发现算法的研究[J ].软件

学报,2005,16(7):1262-1269.

[20]吕静,王晓峰.序列模式图及其构造算法[J].计算机学报,2004,

27(6):782-787.

[21]HAN J ,DONG G,YIN Y.Efficient mining of pa rtial periodic pa tterns in

tim e series data base[C]//Proc of the 15th International C onference on Da ta Engineering.Washing ton DC:IE EE Computer Society,1999.[22]YANG J ,WANG Wei,YU P S.M ining asynchronous per iodic patterns

in time series data[C]//Proc of the 6th International Confer ence on Knowledg e Discov ery and Data Mining.New York:ACM Press,2000:275-279.

[23]ELFEKY M G.Incr emental mining of partial per iodic patter ns in time-ser ies databa ses [EB/OL].(2000).https://www.360docs.net/doc/e315509015.html,/421296.html.

[24]BE TTINI C,WANG X S ,J AJODIA S.M ining temporal r elationships

with multiple gra nula rities in time sequences[J ].Data Engineering B ulletin ,1998,21:32-38.

[25]HARM S S K,DEOGUN J S.Sequentia l association rule mining with

time lags[J].Journal of I ntelligent Information Systems,2004,22(1):7-22.

?

6791?计算机应用研究第25

卷

图2各TSP 实例的最好路径

(a)Ei151

(b)Ei176

(c)Kroa100

(d)Lin318

27000260002500024000230002200021000

LOACA

ACA

6

8

14

16

1725

34

50

51

417

1000

iteration

图3LOACA 和ACA 的收敛特性对比