滑动窗口中数据流频繁项集挖掘方法

合集下载

基于医疗数据流的加权频繁模式挖掘算法

2020年第9期110计算机应用信息技术与信息化基于医疗数据流的加权频繁模式挖掘算法王鑫* 王新国WANG Xin WANG Xin-guo摘　要为了科学、高效地挖掘出隐含在海量医疗数据流中有价值的信息，本文提出了基于滑动窗口模型的医疗数据流加权频繁模式挖掘算法(WSW-MFP)。

首先，该算法利用字节序列表示法构建加权频繁模式树(PR-Tree)，用于存储医疗数据流中动态变化的候选加权频繁模式；其次，随着窗口不断滑动实时更新PR-Tree 各结点的频繁项计数值；最后，递归调用、逐层迭代得出医疗数据流中的加权频繁模式。

实验结果表明，算法既降低了内存空间的占用率，又提高了挖掘效率，能够有效减少业务高峰期对数据库性能的影响。

因此，WSW-MFP 算法能够有效地应用于医疗数据挖掘，为医院临床诊疗、科研和医疗质量管理提供决策依据。

关键词医疗数据流；数据挖掘；滑动窗口；加权频繁模式doi：10.3969/j.issn.1672-9528.2020.09.035* 山东省立第三医院信息网络部山东济南 2500310 引言在现代信息化技术迅猛发展的当今时代，数据挖掘技术正逐渐向社会各领域渗透，成为当今高科技发展的热点问题。

与此同时，中国医疗健康行业也正逐步朝着医疗设备数字化的方向快速发展，多种医疗信息化领域的创新服务和新型应用层出不穷，医疗数据规模呈现出几何级的增长态势。

医疗数据作为生活中最具价值的基础数据之一，俨然成为医院信息资源的主战场。

因此，将数据挖掘技术与医院数字化建设深度融合是医院可持续发展的必然趋势。

我国医疗健康大数据主要由医院临床数据、移动医疗健康数据和公共卫生数据三大部分组成，各数据端口都集聚了高速增长且种类繁多的医疗信息数据流[1]。

由于医疗行业数据缺乏标准性和统一性，许多医疗数据较为零散化、碎片化，从而导致医疗行业中大量有价值的数据成了“信息孤岛”。

面对海量、多元、高增长、多样性的医疗健康数据流，以及传统医疗数据挖掘算法存在内存占用率高、挖掘效率低的局限性问题，本文提出了一种新颖的医疗数据流挖掘算法，即基于滑动窗口模型的医疗数据流加权频繁模式挖掘算法(Algorithm for Mining Weighted Frequent Patterns of Medical Data Stream based on Sliding Window Model，WSW-MFP)。

基于滑动窗口数据流频繁项集挖掘模型综述

基于滑动窗口数据流频繁项集挖掘模型综述王红梅;李芬田;王泽儒【摘要】给出了频繁项集和滑动窗口的相关定义,根据数据流中不同的时序范围对数据流模型进行了分类,从数据处理模型的角度对滑动窗口进行了分类.分析了典型的频繁项集挖掘算法中滑动窗口的使用方法,总结了各模型中典型频繁项集挖掘算法的挖掘技术和效率.【期刊名称】《长春工业大学学报（自然科学版）》【年(卷),期】2017(038)005【总页数】7页(P484-490)【关键词】数据流;频繁项集;滑动窗口;数据处理模型【作者】王红梅;李芬田;王泽儒【作者单位】长春工业大学计算机科学与工程学院,吉林长春 130012;长春工业大学计算机科学与工程学院,吉林长春 130012;长春工业大学计算机科学与工程学院,吉林长春 130012【正文语种】中文【中图分类】TP301数据流是一种潜在无限、快速、连续、随时间不断变化的数据序列[1]。

数据流是一种新型的数据模型，至今为止已经出现在许多种应用中，如通信数据管理、网络监控、股票交易数据分析以及商品销售分析等。

与传统的静态数据相比，数据流具有无序性、连续性、实时性和无界性的特点[2]，使得数据流挖掘算法满足以下几个条件[3]：1)当分析数据流的时候，最多只能访问一次所有的数据元素；2)虽然在数据流中连续不断地产生数据元素，但是必须满足有限的分析数据流所需要的内存空间；3)新产生的数据必须尽可能快地处理，要求具有很高的算法实时性；4)当用户提交查询时，最新的数据流分析结果必须被快速并且及时反馈出来，它有很高的算法时间效率。

因此在今后的发展中，数据流挖掘具有更大的挑战意义。

在实际应用中，近期数据是大部分人感兴趣的焦点，所以在一般情况下，数据流的挖掘都是基于某个时间段内对数据进行挖掘和研究，从而出现了很多种不同的窗口模型。

在此基础上根据数据流中不同的时序范围，可以把数据流的模型分为以下3种[4]：1)界标窗口模型。

起始时间是固定的，而结束时间是变化的。

频繁项集挖掘算法

频繁项集挖掘算法 FP-GrowthApriori算法和FPTree算法都是数据挖掘中的关联规则挖掘算法，处理的都是最简单的单层单维布尔关联规则。

Apriori算法Apriori算法是⼀种最有影响的挖掘布尔关联规则频繁项集的算法。

是基于这样的事实：算法使⽤频繁项集性质的先验知识。

Apriori使⽤⼀种称作逐层搜索的迭代⽅法，k-项集⽤于探索(k+1)-项集。

⾸先，找出频繁1-项集的集合。

该集合记作L1。

L1⽤于找频繁2-项集的集合L2，⽽L2⽤于找L3，如此下去，直到不能找到频繁k-项集。

找每个L k需要⼀次数据库扫描。

这个算法的思路，简单的说就是如果集合I不是频繁项集，那么所有包含集合I的更⼤的集合也不可能是频繁项集。

算法原始数据如下：TID List of item_ID’sT100 T200 T300 T400 T500 T600 T700 T800 T900I1,I2,I5 I2,I4I2,I3I1,I2,I4 I1,I3I2,I3I1,I3I1,I2,I3,I5 I1,I2,I3算法的基本过程如下图：⾸先扫描所有事务，得到1-项集C1，根据⽀持度要求滤去不满⾜条件项集，得到频繁1-项集。

下⾯进⾏递归运算：已知频繁k-项集(频繁1-项集已知)，根据频繁k-项集中的项，连接得到所有可能的K+1_项，并进⾏剪枝（如果该k+1_项集的所有k项⼦集不都能满⾜⽀持度条件，那么该k+1_项集被剪掉），得到项集，然后滤去该项集中不满⾜⽀持度条件的项得到频繁k+1-项集。

如果得到的项集为空，则算法结束。

连接的⽅法：假设项集中的所有项都是按照相同的顺序排列的，那么如果[i]和[j]中的前k-1项都是完全相同的，⽽第k项不同，则[i]和[j]是可连接的。

⽐如中的{I1,I2}和{I1,I3}就是可连接的，连接之后得到{I1,I2,I3}，但是{I1,I2}和{I2,I3}是不可连接的，否则将导致项集中出现重复项。

流数据上的频繁项挖掘算法

Ａｓｒｃ：ＡｆｑｅｔｔｍｓｎｎｌｏｉｍｏｒａａＳＣＵＴａｒｏｅ，ｗｉｓｄｄｔｓｍｐｉｇｂｔａｔｅｕｎｉｉｇａｒｈｆｔｍｄｔＷ— ＯＮ）ｗｓｐｏｓｄｈｃｕｅａａａｌｒｅｍｉｇｔｓｅａ（ｐｈｎ
ｒｑｕｒｍｅ，ａｄｔｍｅａｄｓｃｆｃｅｙ．ｅｉｅｎｔｎｉｎｐａｅｅｉｉｎｃＫｅｏｄｓｄａａｓｒａ；ｆｅｕｅｔｉｅ；ｓｉｎｇｗｉｄｏｙｗｒ：ｔｔｅｍｒｑｎｔｍｌｄｉｎｗ；ｓｍｐｉｇｔｃｏｏｙｄａａｍｉｉｇａｌｎｅｈｎｌｇ；ｔｎｎ
据项的平均处理时间为Ｄ（）大量的实验证明，１。该算法比其他类似算法具有较好的精度质量以及时间和空间效率。
关键词：据流；繁项；数频滑动窗口；样技术；据挖掘采数中图分类号：ＰＯ．Ｔ３１６文献标志码：Ａ
８ａｐｏｉｔｅｕｎｔｍｓｏａａｓｒａｕｉｇ０（）ｍｅｒｐｃｎｈｒｃｓｉｇｔｏａｈｄｔｔｍａ一ｐｒｘｍａｅｆｑｅｔｅｆｄｔｔｅｍｓｎｓｒｉａｍｏｙｓａｅａｄｔｅｐｏｅｓｎｉｆｒｅｃａａｉｅｗｓｍｅ
第３１卷第２期
２１年２月０１文章编号：０１９８（０１００５０１０ — ０１２１）２— ４０— ４
计算机应用
ＪｕｎｌｏｏｕｅｐｉａｉｎｏｒａｆＣｍｐｔｒＡｐｌｔｓｃｏ

数据流中频繁模式挖掘方法的研究及应用的开题报告

数据流中频繁模式挖掘方法的研究及应用的开题报告一、选题背景在大数据时代，随着互联网和物联网的发展，数据的生成与积累越来越多，数据存在于各种场景，包括电商、社交网络、生物医学等领域，其中不乏包含着众多的频繁模式（Frequent Pattern），如在电商场景中，用户购物记录、商品点击记录等数据中存在着频繁购买、常出现的商品组合等模式信息，这些信息对于推荐算法、广告投放、交叉营销等业务都具有重要的价值。

为了发掘出大量的频繁模式，数据挖掘领域已经提出了很多有效的算法，如Apriori、FP-Growth 等，这些算法在离线数据挖掘领域广泛应用，但是，随着数据流呈现出高速、海量的趋势，这些算法在数据流领域的应用受到了一些限制，如内存和时间复杂度等问题。

与此同时，一些新的数据流模式挖掘算法也在出现，例如、D-STREAM，SWIM等。

因此，本文主要研究数据流中频繁模式挖掘方法，以期在数据流领域中挖掘出更准确、更高效、更完整的频繁模式，同时，对于数据流中频繁模式挖掘方法的应用也会有所探讨。

二、研究目的及意义本文从理论和实践出发，研究数据流中频繁模式挖掘方法，旨在提出一种高效、精准的挖掘方法，解决频繁模式挖掘面临的海量数据和高速数据流背景下的挑战。

本文研究的意义如下：1. 数据流频繁模式挖掘方法在实际应用中具有重要意义，本文的研究将在数据流领域挖掘出更准确、更高效、更完整的频繁模式。

2. 研究数据流频繁模式挖掘方法，探究其挖掘的算法原理和实现方法，丰富了数据挖掘理论。

3. 本文将对现有频繁模式挖掘算法的改进和优化提供一定的思路和方法，从而进一步优化数据挖掘算法，提高其应用效果。

三、研究内容及分析针对数据流中频繁模式挖掘这一领域，本文将涉及如下研究内容：1. 数据流中频繁模式的定义和意义。

2. 数据流中频繁模式挖掘的算法和方法，如基于滑动窗口和基于哈希表的方法等。

3. 常用的频繁模式挖掘算法的应用场景和优缺点。

数据流频繁项集的快速挖掘方法

数据流频繁项集的快速挖掘方法
徐建民;郝丽维;王煜
【期刊名称】《计算机工程与应用》
【年(卷),期】2008(44)34
【摘要】近年来,数据流挖掘一直是国内外研究的热点,频繁项集挖掘又是数据流挖掘中的重要问题.根据数据流无限性和流动性的特点,提出了一种在滑动窗口中挖掘频繁项集的算法FIM-SW,FIM-SW算法主要是采用垂直的数据库表示方法,使用二进制向量表示每个数据项,并利用Apriori性质产生频繁项集.实验结果表明,这种算法显著地提高了挖掘效率.
【总页数】4页(P142-144,168)
【作者】徐建民;郝丽维;王煜
【作者单位】河北大学,数学与计算机学院,河北,保定,071002;天津大学,系统与工程研究所,天津,300072;河北大学,数学与计算机学院,河北,保定,071002;河北大学,数学与计算机学院,河北,保定,071002
【正文语种】中文
【中图分类】TP311.13
【相关文献】
1.数据流上的最大频繁项集挖掘方法 [J], 李海峰;章宁
2.滑动窗口中数据流频繁项集挖掘方法 [J], 张月琴
3.一种基于Chernoff Bound的数据流上近似频繁项集的挖掘方法 [J], 李海峰;章
宁
4.数据流中一种快速启发式频繁模式挖掘方法 [J], 张昕;李晓光;王大玲;于戈
5.多层实时网络加密数据流频繁项集挖掘方法 [J], 蔡中民
因版权原因，仅展示原文概要，查看原文内容请购买。

流数据频繁模式挖掘算法汇总

频繁模式挖掘常用的概念：事务数据库：时间ID：项集(item set)：重要算法：1、A priori主要思想就是从大小1开始遍历可能频繁集k，当满足V所有集合子集都在之前计算过的频繁集k中，且出现次数满足频繁要求，则V为k+1频繁集这样做有如下好处：如果一个集合是频繁集，那么它的所有子集都是频繁集；如果一个集合不是频繁集，那么它的所有超集都不会是频繁集缺点就是要多次扫描事务数据库2、F P-growth可以用来识别包含某个元素的最大频繁集。

FP-growth算法通过构造FP-tree来实现，FP-tree由频繁项集表和前缀树构成。

FP-tree的构建需要扫描两遍数据库，（1）第一遍对所有元素技术并降序排序，然后将数据库中每个事务里的元素按照这个顺序重新排序（2）按照项头表的顺序逐渐插入元素···（3）FP-tree的挖掘得到了FP树和项头表以及节点链表，我们首先要从项头表的底部项依次向上挖掘。

对于项头表对应于FP树的每一项，我们要找到它的条件模式基。

所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。

得到这个FP子树，我们将子树中每个节点的的计数设置为叶子节点的计数，并删除计数低于支持度的节点。

从这个条件模式基，我们就可以递归挖掘得到频繁项集了。

（1）先从F挖掘通过它，我们很容易得到F的频繁2项集为{A:2,F:2}, {C:2,F:2}, {E:2,F:2}, {B:2,F:2}。

递归合并二项集，得到频繁三项集为{A:2,C:2,F:2}，{A:2,E:2,F:2},...还有一些频繁三项集，就不写了。

当然一直递归下去，最大的频繁项集为频繁5项集，为{A:2,C:2,E:2,B:2,F:2}（2）继续挖掘D因为它有两个叶子节点，因此首先得到的FP子树如下图左。

我们接着将所有的祖先节点计数设置为叶子节点的计数，即变成{A:2, C:2,E:1 G:1,D:1, D:1}此时E节点和G 节点由于在条件模式基里面的支持度低于阈值，被我们删除，最终在去除低支持度节点并不包括叶子节点后D的条件模式基为{A:2, C:2}。

一种基于滑动窗口模型的数据流加权频繁模式挖掘方法

一种基于滑动窗口模型的数据流加权频繁模式挖掘方法
石秀金;蔡艺松
【期刊名称】《智能计算机与应用》
【年(卷),期】2018(008)002
【摘要】相对于传统的频繁模式挖掘,加权频繁模式挖掘能发现更有价值的模式信息.针对数据流中的数据只能一次扫描,本文提出了一种基于滑动窗口模型的数据流加权频繁模式挖掘方法WFP-SW(Sliding Window based Weighted Frequent Pattern minig),算法采用WE-tree(Weighted Enumeration Tree)存储模式和事务信息,利用虚权支持度维持模式的向下闭合特性,同时获取临界频繁模式.对临界频繁模式进一步计算其加权支持度获取加权频繁模式,使得计算更新模式更加便捷.实验结果显示算法具有较高的挖掘效率并且所需的内存更少.
【总页数】5页(P63-67)
【作者】石秀金;蔡艺松
【作者单位】东华大学计算机科学与技术学院,上海201620;东华大学计算机科学与技术学院,上海201620
【正文语种】中文
【中图分类】TP311.5
【相关文献】
1.基于滑动窗口模型的数据流加权频繁模式挖掘算法 [J], 马连灯;王占刚;
2.一种面向分布式数据流的闭频繁模式挖掘方法 [J], 唐颖峰;陈世平
3.基于滑动窗口模型的数据流加权频繁模式挖掘算法 [J], 马连灯;王占刚
4.数据流中一种快速启发式频繁模式挖掘方法 [J], 张昕;李晓光;王大玲;于戈
5.一种基于滑动窗口模型的数据流加权频繁模式挖掘方法 [J], 石秀金;蔡艺松;因版权原因，仅展示原文概要，查看原文内容请购买。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ＣｌｇｆＥｅｔｎｃａｄｅｈｏｇ，ａｊｇ２００，ｈａｏｌｅｏｌｒｉｎｎｏｍｔｎＥｇｎｅｎ，ａｊｎｖｒｔｆＴｃｎｌｙＮｎｉ１０９Ｃｉｅｃｏｉｉｎｉｏｎｎ
摘
要：根据数据流的流动性与连续性，出了一种滑动窗口中频繁项集挖掘算法ＮＷ，提Ｓ满足了人们快速获取最近到达数据中频
繁项集的需求。该算法采用二进制矩阵表示滑动窗口中的事务列表，通过直接删除最老事务、不产生候选项集等方法控制时间和空间的开销。实验表明，该算法具有较好的时间和空间效率。
Ｅ－ｉ：ｂｚｑ＠１３．ｏｍａｌｂｄｙ６ｃｍ
＿
ＺＨＡＮＧＹｕ－ｉｄｏｉｍｏｎｎｒｑｅｔｔｍｓｔｒｍｓｄｎｎｏｏｅｄｔｔｅｍｓＣｏｐｔｒＥｎｉｅｒｎｅｑｎ￣ｇｒｔｈｆｒｍｉｉｇｆｅｕｎｉｅｅｓｆｏＨｉｇｗｉｄｗｖｒａａｓｒａ．ｍｕｅｇｎｅｉｇ
ｉｅｉｒｃｎｙＴｅｉａｙｒｖｄｎｅｅｔ。ｈｂｎｒｍａｒｅｒｓｎａｉｎｓｄｐｅｉｔｅｒｐｓｄｌｏｔｍｔｅｐｅｓｈｔｓｃｉｎｉｔｒｍａｌｔｘｒｐｅｅｔｔｉｉｏａｏｔｄｎｈｐｏｏｅａｇｒｈｉｏｘｒｓｔｅｒａｔｌｆｎａｏｓｏｓｄｎｎｏＴｅｌｅｔｔａｓｃｉｎｓｅｅｅｄｒｃｙ，ｄｏｅｅａｉｇｈｃｎｉａｅｔｍｓｔｕｇｎｒｔｇｈｆｑｅｔｌｉｇｗｉｄｗ．ｏｄｓｒｎａｔｉｄｌｔｄｉｔａｎｔｇｎｒｔｔｅａｄｄｔｉｉｈｏｅｌｎｎｅｅｓｂｔｅｅａｉｔｅｒｕｎｎｅ
关键词：数据挖掘；据流；数频繁项集；动窗口；阵滑矩
ＤＯＩ１．７￣ｉｎ１０ — ３１００１．３文章编号：０２８３（００１— １２０文献标识码：中图分类号：Ｐ１．：０３８．ｓ．０２８３．１．０９７ｓ２６１０ — ３１２１）６０３ — ３ＡＴ３１１３
ａｄＡｐｃｔｎ，００４（６：３－３．ｎｐｌａｉｓ２１。￣１）１２１４ｉｏ
ＡｂｔａｔＡｃｏｄｎｔｔｅｓｒｃ：ｃｒｉｇｏｈｍｏｉｔａｄｌｗｉｇｆａａｔａ，ｎｌｏｔｍａｅＮＳｉｒｐｓｄｏｂｌｉｙｎｆｎｏｄｔｒｍｓａａｇｒｈｅＨｄｏｓｅｉＷｓｏｏｅｔｍｉｅｈｆｑｅｔｐｎｔｅｒｕｎｅｉｍｓｔｆｍｌｉｇｉｄｗｖｒｄｔｓｅｍｓａｄｉｍｅｔｈｎｅｓｏｅｐｅｇｔｎｈｆｑｅｔｔｍｓｔｖｒｄｔｓｔｔｅｓｒｅｏａｓｉｎｗｎｏｏｅａａｔａ，ｎｔｄｒｅｓｔｅｅｄｆｐｏｌｅｔｇｔｅｒｕｎｉｉｅｅｅｓｏｅａａａ－
ｉｍｓｔｉｃｌ．ｈｓｍｅｈｄｇｅｔｃｎｒｌｈｓａｅｎｔ．ｈｅｐｒｍｅｔｒｓｌｓｏｔａｔｉｌｏｔｍａｇｏｔｅｓｒｔＴｅｅｅｄｅｙｔｏｓｒａｌｏｔｏｔｅｐｃａｄｉＴｅｘｅｙｍｅｉｎｅｕｔｈｗｈｔｈｓｇｒｈｈｓａｏｄｓａｉｐｒｒａｃｎｓｅｄａｄｓａｅｅｆｍｎｅｉｐｅｏｎｐｃ．Ｋｅｒｓｄｔｎｎ；ａａｓｒａｆｅｕｎｔｍｓｔ；ｌｉｇｗｉｄｗ；ｔｘｙｗｏｄ：ａａｍｉｉｇｄｔｔｅｍ；ｒｑｅｔｉｅｅｓｓｄｎｎｏｍａｒｉｉ
１引言
数据流挖掘是在大量流式数据上提取隐含在其中的、人们事先不知道的、但是又潜在有用的知识的过程。数据流因为不是静态存储在磁盘中，以不能多次重复扫描数据，只能对所而
大量的候选项集产生，需要较大的空间开销。受文献［— 】４６算法思想的启发，提出一种改进的滑动窗口频繁项集挖掘ＮＷ，该算法将窗口中的事务列表用二进制矩阵形式表示，Ｓ通过直接删除最老的事务而不需要移动其他事务来减少计算量，
１２２１，６１）３００４（６
ＣｍｕｒＥｎｅｉｎｐｌａｏｓ计算机工程与应用ｏｐｔｅｒｇａｄＡｐｉｔｎｅｎｃｉ
滑动窗口中数据流频繁项集挖掘方法
张月琴
ＺＨＡＮＧｅｑｎＹｕ－ｉ
南京工业大学电子与信息工程学院，南京２００１０９