闭项集挖掘算法研究综述
一种基于位运算的频繁闭项集挖掘算法
ｄ ａ ｔ ａ ｂ ａ ｓ ｅ ｏｒ ｆ ｏ ｎ ｌ ｙ ｏ ｎ ｅ ｔ ｉ ｍｅ ．Ｓ ｅ ｃ ｏ ｎ ｄ ｌ ｙ ｉ ｔ ｃ ｏ ｍｐ ｕ ｔ ｅ ｄ ｔ ｈ ｅ ｓ ｕ ｐ ｐ ｏ ￣ｏ ｆ ｉ ｔ ｅ ｍｓ ｅ ｔ ｓ ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｔ ｈ ｅ ｂ ｉ ｔ ｏ ｐ ｅ ｒ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｕ ｓ ｅ ｄ ｔ ｈ ｅ ｍａ ｔ ｒ ｉ ｃ ｅ ａ ｎ ｄ ｔ ｈ ｅ ａ ｒ ｒ ａ ｙ ｔ ｏ ｓ ｔ ｏ ｒ ｅ ｔ ｈ ｅ ａ ｎ ｃ ｉ ｌ ｌ ａ ｒ ｙ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｔ ｏ ｒ ｅ ｄ ｕ ｃ ｅ ｔ ｈ ｅ ｔ ｉ ｍｅ ａ ｎ ｄ ｍｅ ｍｅ ｏ ｒ ｙ， ａ ｎ ｄ ｕ ｓ ｅ ｄ ｐ ｒ ｕ ｎ ｉ ｎ ｇ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ｔ ｏ ｉ ｍｐ ｒ ｏ ｖ ｅ ｔ ｈ ｅ ｍｉ ｎ ｉ ｎ ｇ ｅ ｆ ｆ ｉ －
息， 减 少时间和 空 间消耗 ； 深度优 先搜 索产 生频繁 闭项集 时利 用剪枝 策略进一 步减 少挖掘 时 间 ； 利 用 同生 项集 性
质进行 闭合 性检测 ， 无 须检 查超集 或子 集。理论 分析 和 实验 结果验 证 了该算 法的有效 性 。
关键词 ：数 据挖掘 ；频繁 闭项集 ；矩 阵 ； 位 运 算 ；同生项 集 中图分 类号 ：Ｔ Ｐ ３ １ １ 文献标 志码 ：Ａ 文 章编 号 ：１ ０ ０ １ — ３ ６ ９ ５ （ ２ ０ １ ３ ） １ １ — ３ ２ ８ ０ ． ０ ３
FCIM：一种新的闭模式挖掘算法
１０ ２０ ．３３ ） ８ ０ ７ ４ （３
Ｃ ｍ ｕｅ ｎｉｅｒ ｇａ ｄＡ ｐｉ ｔｎ ｏ ｐ ｔｒＥ ｇｎｅｉ ｎ ｐ ｌａｉ ｓ计算机工程 与应用 ｎ ｃ ｏ
Ｆ Ｉ ： Ｃ Ｍ 一种新 的闭模 式挖掘 算法
李世 松 ・柴 晓辉 ｚ宋顺 林 ・ ， ，
掘 到的信息 ， 利用 Ｆ — ｒｅ Ｐ Ｔｅ 直接 产生结果 集 ， 试验结果 表明该 算 法的性能 比其它的算法 要好 。
ａ ｄ Ａ ｐｉａｉｎ ，０ ７ ４ （ ３ ： ８ － ８ ． ｎ ｐ ｌ ｔ ｓ ２ ０ ，３ ３ ） １ ０ １ ３ ｃ ｏ
Ａｂ ｔ ａ ｔ Ｔ ｉ ｐ ｐ ｒ ｐ ｏ ｏ ｅ ａ ｎ ｗ ａ ｐ ｏ ｃ ｏ ｓ ｒ ｃ ： ｈ ｓ ａ ｅ ｒｐ ｓ ｓ ｅ ｐ ｒ ａ ｈ ｔ ｍｉ ｉ ｇ ｔ ｅ ｆｅ ｕ ｎ ｃｏ ｅ ｉ ｍｓ ｔ ｉ Ｐ— ｒ ｅ ｗｉ ｏ ｔ ｄ ｐ ｉａ ｅ ｅ ｅａ ｉｎ ｎｎ ｈ ｑ ｅ ｔ ｌｓ ｄ ｔ ｒ ｅ ｅｓ ｎ Ｆ Ｔ ｅ ， ｔ ｕ ｕ ｌ ｔ ｓ ｇ ｎ ｒ ｔ ｈ ｃ ｏ ａ ｄ ｗｉ ｏ ｔ ｍｅ ｒ ｃ ｎ ｅ ｖ ｔ ｎＴ ｅ ｘ ｅ ｍｅ ｔｌ ｅ ｏ ａ ｃ ｓ ｈ ｗ ｔａ ｔ ｉ ａｇ ｒ ｈ ｎ ｔ ｕ ｍｏｙ ｏ ｓ ｒ ａｉ ．ｈ ｅ ｐ ｒ ｎ ａ ｐ ｒ ｒ ｎ ｅ ｓ ｏ ｈ ｏ ｉ ｆｍ ｈ ｔ ｈ ｓ ｌｏ ｔ ｍ ｏ ｔｅ ｆ ｒ ｓ ｅ ｔｒ ｈ ｎ ｔ ｅ ｓ ｔ ｏ ｉ ｕ ｐ ｒｏ ｂ ｔ ｔ ａ ｏ ｈ ｒ ｔ ｅ ｆ ｍ ｅ ａ
ｔ ｅ ｒ ｌ ｒｔ ｈ ａ ａｇｏｉｈｍｓ ｔ ．
Ｋｅ ｒ ｓ ｌ ｓ ｄ ｐ ｔ ｒ Ａｓ ｏ ｉｔ ｎ Ｒｕ ｅ Ｄａ ａ Ｍｉ ｉ ｇ ｙ ｗｏ ｄ ：ｃｏ ｅ ａ ｔ ｎ； ｓ ｃａｉ ｌ ； ｔ ｎ ｎ ｅ ｏ
基于频繁闭项集挖掘的增量式维护算法
［ ｓｒ ｃ］ｎｏｄ ｒｏｍｉｅ ａｔｎ ｆｃｅｔ ｅ ｕｎ ｌｓｄｉ ｍｓｔ ａｃｒｉｇｔ ｓｒｏ ， ｅｅｏ ｎ ｄｆ ａｏ ｆｈ ａ ｂ ｓ， ｉ ｐｐｒ Ａｂｔａ ｔ Ｉ ｒｅ ｎ ｓａｄｅ ｉｎｌ ｆ ｑ ｅｔ ｏｅ ｅ ｅｓ ｃｏｄｎ ｉ ｅｔ ｎ ｄｌｔ ｎａ ｄｍｏ ｉｃｔ ｎｏ ｅｄｔ ａｅ ｔ ｓ ａ ｅ ｔ ｆ ｉ ｙｒ ｃ ｔ ｏｎ ｉ ｉ ｉ ｉ ｔ ａ ｈ
ＬＩＹｕｎ ，ＳＨ ＩＹａ ｎ
（ ． ｃ ｏ ｌ ｆ ｏｔ ａｅ ＸｉｉｎＵ ｉｅ ｓ ｙ Ｘｉ ｎ７ ０ ７ ； ． ｃ ｏ ｌ ｆ ｌ ｔ ｎｃＥ ｇ ｎ ｅ ｎ ， ｄ ａ ｉｅｓ ｙ Ｘｉ ｎ７ ０ ７ ） １ Ｓ ｈ ｏ ｏ Ｓ ｆ ｒ， ｄａ ｎ ｖ ｒｉ ， ’ １０ １ ２ Ｓ ｈ ｏ Ｅ ｅ ｒ ｉ ｎ ｉｅ ｒ ｇ ＸｉｉｎＵｎｖ ｒｉ ， ’ １ ０ １ ｗ ｔ ａ ｏ ｃｏ ｉ ｔ ａ
ｂ ｓｄ ｏ ａｇ ｒ ｈ ｉ Ｔｈ ｌ ｏ ｈ ｐ ｒ ｔｏ ｓ ｄ ｔ ｎ ｏ ｄ ｆｅ ｅ ｔｇ ｏ ｓ ｔ ｉ ｔ ｐ ｏ ｏ ｅ ｎ ｉ ｃ ｅ ｎ ａ ｉ ｔ ｉ ｉ ｇ ａ ｇ ｒｔ ｍ ＣＨＡＲＭ ａ ｅ ｎ ＣＨＡＲＭ ｌ ｏ ｔ ｍ ． ｅ ａ ｇ ｒｔ ｍ ａ ｉｉ ｎ ａ ａ ｉ ｔ ｉｆ ｒ ｎ ｒ ｕｐ ｏ ｒ ｐ ｓ ｓ ａ ｎ ｒ ｍｅ ｔ ｌ ｍａｎ ａｎ ｎ ｌ ｏ ｈ Ｕ ｉ
一
即 ， 一 组 项 目的集 合 ， ｔ ，。如 果 ，中 的一 个 子 集 Ｘ 存 中
在 Ｘ ｔ ，就说一个交易包含 ｘ。 ，
一
个项集 Ｘ的支持度定义为包含项集 Ｘ的交易的数 目与
交易总数 的百分比，记 为 Ｓｐ Ｘ） ｕ ｆ 。如果项集 Ｘ 的支持度大 于 或等于用户指定的最小支持度 （ ｉ ｕ ） ｍｎ ｐ ，则称 Ｘ 为频 繁项 Ｓ 集 。 对于 频 繁 项集 Ｘ，若 不 存 在 项 集 ｙ 使 得 Ｙ Ｘ且
基于频繁闭项集的Web日志挖掘算法
１ Ｗｅ 日志 挖 掘 ｂ
Ｗｅ ｂ日志挖 掘是 指 通 过 分析 用 户 访 问 服 务器
时 留下 的访 问记 录 ， 合 各种 数 据 挖 掘 技 术 ， 到 结 得 包 括 网站运 营和 用户访 问规 律 等信 息 ， 而改 进 网 从 站 服务 ， 提高 用户 满意 度．
以提取 用 户访 问页 面间 隐含 的 因果关 系 、 简单 关 系 和前后 关 系等 ， 有 较好 的商 业前 景． 而 ， 有 的 具 然 现 基于关 联 规则 的 Ｗ ｅ 日志 挖掘 算法 往 往产 生 大 量 ｂ 的候选 规则 ， 对 规 则 的排 序 、 剪 和 查 找都 带 来 这 修
１ １ Ｗ ｅ 日志 挖 掘 模 型 ． ｂ
关 联 规则 在数 据挖 掘 中得到 了广 泛 的应 用 ， 尤
提取 Ｗｅ ｂ日志 中 的隐含 的信 息需 要 经 过数 据 预处理、 模式 发 现 和 模 式 分 析 等 阶段Ⅲ ， １显 示 图
了 Ｗ ｅ 日志 挖 掘 模 型 ． ｂ
其在 大量 商业决 策 中． 年来 页 面关联 规 则挖 掘 可 近
秦 东霞 ， 周 航 ， 张栋 梁 ， 文 欢 吴
（ 口师范 学院 计 算机 科 学与技 术 学院 ， 南 周 口 ４ ６ ０ ） 周 河 ６ ０ １
摘 要 ： 绍 了 ｗｅ 日志 挖 掘 的 模 型 ， 析 了使 用 关 联 规 则 挖 掘 Ｗ ｅ 日志 时 遇 到 的 规 则数 量 大 且 存 在 冗 余 介 ｂ 分 ｂ
们希 望在 互联 网 上 找 到 自己需 要 的 各 种 各 样 的信
息． 用户在 网上 的各 种 行 为 都 保存 在服 务 器 中 ， 如
何发 现这些 行 为 中隐含 的规则 和关 系 ， 改进 网站 对 及吸 引更 多 用 户 有 着 重 要 的 意 义． ｂ 日志数 据 Ｗｅ
一种挖掘频繁闭项集的深度优先算法
０ 引 言ห้องสมุดไป่ตู้
频 繁 项 集 挖 掘 是关 联 规 则 挖 掘 中的 关 键 步 骤 ， 是 数 据 也
Ｃ Ｉ ｒｅ Ｃｏｅ ｒ ｕｎ ｅ ｓｔ ｒｅ 两 种结 构提 高 了基 于 Ｆ． ｅ （ ｌｓｄＦｅ ｅｔ ｍ ｅ Ｔｅ ） Ｔ ｑ ｈ
Ｆ —ｒ 挖掘频繁闭项集 的算法性能。 ＰＴｅ ｅ
一
种 挖 掘 频 繁 闭项 集 的深 度 优 先 算 法
张 圻， 廖 频， 郭 波
（ 昌大学 科学技术学院 ， 南 南昌 ３０ ２ ） ３ ０ ９
（ｈｎ ｘ ＠ １３ ｃｒ） ｚａｇｉ ６ ．ｏ ｎ ｎ
摘
要： 频繁 闭项集挖掘是许 多数据挖掘应 用 中的重要 问题 。为减 少候 选项集数量和降低 支持度计算 的开销 ， 提
ｄ ｔｓｔ ｎｏ ａｉ ｔ ｅ ｙ ｔ ｍｐｏｅ ｏ ｐ ｅｓｄ Ｆ ｅ ｕ ｎ ａ ｅｎ ｔ ｅ （ Ｆ —ｒｅ ｉ ｏ ｔ ａ ｉ ｏ ｔ ｘ ａ ｄ ａ ｅ ｉｆ ｍ ｔ ｎ ｓ ｒｄ ｂ ｈ ｉ ｒｖｄ Ｃ ｍ ｒｓ ｒｑ ｅ ｔＰ ｔ ｒ ｒ ａ ｒ ｏ ｏ ｅ ｅ ｔ ｅ Ｃ ＰＴ ｅ ） ｎ ｈ ｐ ｒ ｔ ｎ ｍａ ， ｎ ｔ ｅ ｔｉ ｉ ｒ
ｄｐｈｆｓ ｓａｃ ｌ ｒｈ ｒ ｉｉｇｆ ｑ ｅｔ ｌｓｄｉ ｍ ｅｓ ａ ｅ ｅ ｔ—ｒ ｅｒｈｆｒｒｑ ｅｔ ｌｓｄｉ ｍ ｅ （ Ｆ Ｃ） ｅｔ—ｒ ｅｒｈａ ｏｉ ｍ ｆ ｎ ｅｕ ｎ ｃｏｅ ｅ ｓｔ ｃｌ ｄｄｐｈｆｓ ｓａｃ ｅｕ ｎ ｃｏｅ ｅ ｓｔ Ｄ Ｆ Ｉ ｉｔ ｇ ｔ ｏｍ ｎ ｒ ｔ ｌ ｉｔ ｏｆ ｔ ｓ ｗ ｓｐｏｏｅ ，ｗ ｉ ｏ ｌ ｒ ｕｅｔｅｎｍｂｒ ｆ ａｄｄｔ ｉ ｍ ｅｓａｄｔｅｃｓ ｏ ｕ ｐ￣ ｃｕ ｔ ｇ Ｆ Ｃ ｍ ｅｔ ｅ ａ ｒｐｓｄ ｈ ｈｃｕｄ ｅ ｃ ｈ ｕ ｅ ｏ ｎｉａ ｅ ｓｔ ｎ ｏｔ ｆｓｐ ｏ ｏｎｉ ．Ｄ Ｆ Ｉｐ ｊｃ ｄｔ ｃ ｄ ｃ ｅｔ ｈ ｎ ｅ ｈ
基于索引数组和复合频繁模式树的频繁闭项集挖掘算法
（ ｈ ｏ ｏ ｎｏｍａｉｎＥ ｇｎ ｅｉｇ Ｂ ｉｎ ｉｅｓ ｙｏ ｃｅｃ ｎ ｃ ｎ ｌｇ ，Ｂ ｉｎ ０ ０ ３ ｃ ｓ ｏ ｌ ｆ ｆｒ ｔ ｎ ｉｅｒ ， ｅ ｉｇＵｎｖ ｒｉ ｆＳｉｎ ｅ ｄＴｅｈ ｏｏ ｙ Ｉ ｏ ｎ ｊ ｔ ａ ｅ ｉｇ１ ０ ８ ） ｊ
效率较 高。
关键词
数据挖掘 ， 关联规则 ， 频繁 闭项 集， 索引数组 ， 复合频繁 模式树
Ｃｌ ｓ ｄ Ｉ ｅ ｅ ｉ ｎ ｇ ｒｔ ｍ ｓ ｄ ｎ ｎ ｅ ｒ ｙ ａ ｍｐｏ ｎｄ Ｆｒ ｑｕ ｎｔＩ ｅ ｅ ｅ ｏ ｅ ｔ ｍｓ ｔＭ ｎｉ ｇ Ａｌ ｏ ｉｈ Ｂａ ｅ ｏ Ｉ ｄ ｘ Ａｒ ａ ｎｄ Ｃｏ ｕ ｅ ｅ ｔ ｍｓ ｔＴｒ ｅ
ｅ． Ｔｈ ｎ，ｂ ｓ ｄ ｏ ｉ ｐ，ａ ｌｏ ｉ ｍ ｏ ｏ ｕ ｉ ｎ ｅ ｒａ ｓ ｐ ｅ ｅ ｔｄ Ｆｕ ｔ ｅ ｏ ｅ ｒ ｑ ｅ ｔｉ ｍｓ ａｅ ｒ ｅ ａ ｅ ｎ ｂｔ ｍａ ｎ ａｇ ｒｔ ｈ ｆｒ ｃ ｍｐ ｔｎ ｉｄ ｘ ａ ｒｙ ｉ ｒ ｓｎ ｅ ． ｇ ｒｈ ｒ ｒ ，ｆｅ ｕ ｎ ｔ ｒ ｍ ｅ
ｔｔ ｎ ｌ ｏ ｔ Ｉ ｈｓｐ ｐ ｒ ａ ｉ ａ ｓ． ｎ ｔ ｉ ａ ｅ ，ＣＲＯＰ Ｉ ｄ ｘ，ｗｈ ｃ ｓ ａ ｍｐ ｏ ｅ ｌｏ ｉｈ ｆ ｒ ｍｉ ｉ ｇ ｆ ｅ ｕ ｎ ｌ ｓ ｄ ｉ ｍｓ ｔ ｓ ｐ ｏ ｏ ｃ ｎｅ ｉｈ ｉ ｎ ｉ ｒ ｖ ｄ ａ ｇ ｒｔ ｍ ｏ ｎ ｎ ｒ ｑ ｅ ｔｃｏ ｅ ｔ ｅ ｅ ，ｉ ｒ —
维普资讯
计 算机科学 ２ ０ Ｖｏ． ４ ０ ８ ０ ７ １ Ｎ ． ３
基于频繁概念直乘分布的全局闭频繁项集挖掘算法
关键词
Ｉｅ ｅｇ概 念 格 ； 布 式 数 据 挖 掘 ； 置 集 成 ； ｃｂ ｒ 分 并 异构 数 据 库 ； 频 繁 项 集 闭
ＴＰ １ ３１ Ｄ 号 ： ０ ３ ２ ／ Ｐ Ｊ １ １． ０ ２ ０ ９ ０ ＯＩ １ ． ７ ４ Ｓ ． ． ０ ６ ２ １ ． ０ ９
中 图法 分 类号
（ 州大学信息工程学院 郑 郑州 ４ ００ ） ５ ０ １
摘
要
基 于 概 念 格 的集 中式 数 据挖 掘算 法 ， 能 充 分 地 利 用 分 布 式 计 算 资 源 来 改 善 概 念 格 构 造 效 率 ， 而 影 响 不 从
了挖 掘 算 法 的性 能． 中进 一 步 分 析 了 Ｉ ｂ ｒ 念 格 并 置 集 成 的 内在 并 行 特 性 ； 频 繁 概 念 直 乘 及 其 下 覆 盖 为 最 文 ｃ ｅｇ概 ｅ 以
Ａｂ ｔ ａ ｔ ｓ ｒ ｃ
Ｗ ｉｈ ｎｃ ｅ ｓｎｇ ｉ ｔ ｉ ｅ ｏ ｐ ｉ ｎ ｒ ｎ ｅ ｔ ｐ ｉｄ ｘ ｅ ｉ ｌ ｔ ｉ ｒ ａ ｉ ｄ ｓ ｒｂｕｔ ｄ ｃ ｍ ｕｔｎｇ ｅ ｖｉｏ ｍ ｎ ａ ｐｌｅ ｅ ｔ ｎｓｖｅｙ， ｔ ａ ｉｉ ａ ｒ ｄ ｔｏｎ ｌ
小 粒 度 ， Ｉｅｅｇ概 念 格 并 置集 成 过 程 进 行 分 解 和 分 布 式 计 算 ； 对 其 正 确 性 理 论 证 明 的 基 础 上 ， 出 了 一 个 新 对 ｃｂｒ 在 提
颖 的异 构 分 布 式 环 境 下 闭频 繁项 集全 局挖 掘算 法 ． 算 法 利 用 Ｉｅ ｅｇ概 念 格 的半 格 以及 可 并 置 集 成 特 性 ， 分 发 此 ｃｂ ｒ 充 挥 了分 布 式环 境 下 计 算 资 源 的 优 势 ． 实验 证 明 ， 稠 密 数 据 集 和 稀 疏 数 据 集 上 ， 挖 掘算 法都 表 现 出较 好 的 性 能 ． 在 该
利用数据变换与并行运算的闭频繁项集挖掘方法
利用数据变换与并行运算的闭频繁项集挖掘方法党红恩;赵尔平;刘炜;雒伟群【摘要】针对传统闭频繁项集(CFI)挖掘方法耗时长、效率低的问题,提出一种基于数据变换与并行运算(DTPC)的新型挖掘方法:设计基于质数对数运算的数据变换方法,将大量数据转换成简单的数字;利用Spark并行框架中的平方/开方运算将这些数字转换成频繁项集.3 000万篇文章的大数据集实验结果表明,提出的DTPC算法可以大幅度提升数据挖掘效率,同时减少计算资源的不必要浪费.%A novel big datasets mining method based on data transformation and parallel computing is proposed to settle the problems of time-consuming and low efficiency of traditional closed frequent item sets (CFI) mining algorithms:designing a prime-logarithmic-operational based data transformation to transform big datasets into simple numbers;utilizing the square and square root calculation in Spark parallel framework to transform these numbers into frequent item sets.Experiments on 30 million articles indicate that the proposed DTPC algorithm can not only enhance data mining efficiency,but decrease unnecessary waste of computing resources.【期刊名称】《湘潭大学自然科学学报》【年(卷),期】2018(040)001【总页数】4页(P119-122)【关键词】闭频繁项集;大数据挖掘;质数对数变换;Spark并行计算框架【作者】党红恩;赵尔平;刘炜;雒伟群【作者单位】西藏民族大学信息工程学院,陕西咸阳712082;西藏民族大学信息工程学院,陕西咸阳712082;西藏民族大学信息工程学院,陕西咸阳712082;西藏民族大学信息工程学院,陕西咸阳712082【正文语种】中文【中图分类】TP311;O241海量信息的爆发式增长已成为当今世界最主要的特点.在这些形式各异、容量极大的数据中，如何准确提取关键信息，帮助各类决策者了解、掌握瞬息变换的客观世界，是非常重要的[1].信息技术和硬件技术的快速进步，已经使得用户生产并处理海量的事务数据(即大数据)成为可能，大数据处理的核心就是数据挖掘技术[2].然而，在物理世界中不断涌现的闭频繁项集(closed frequent itemset, CFI)加大了大数据挖掘的难度，降低了数据挖掘结果的实时性和可靠性.闭频繁项集的概念最早见于文献[3]，此后出现了大量的闭频繁项集挖掘算法[4-7].在处理小数据集或高支持阈值的CFI挖掘问题时，现有的方法表现出了良好的性能.这些算法通过将搜索空间限制在闭频繁项集而不是整个集合的幂集，将寻找频繁项集简化为挖掘闭频繁项集.但是，当数据集范围增大或支持度阈值变低时，内存占用和通信成本的急剧增大使得现有方法的可行性和运行速率变低.一些研究试图通过并列运行的方式加快CFI挖掘算法的速度，但却产生了一些如数据划分和通信成本最小化等问题，需要进一步改进.然而，不可否认的是，并行方案确实是一种解决CFI大规模挖掘的行之有效的方法.目前，针对闭频繁项集并行挖掘算法的研究相对较少.[8]基于MapReduce平台的CFI，提出一种基于贪婪策略的CFI并行平衡挖掘算法，并通过实验证明了所提算法在大规模CFI挖掘中的可靠性和快速性.[9]提出了一种充分利用频繁模式增长算法固有并行特征的多处理器顺序展开结构，实验结果表明提出的结构可以大幅度提高运算速度.[10]提出一种运行于多核处理器上的SAT并行算法，通过路径指引来分解枚举过程，大大提高了CFI挖掘的动态性能.为充分利用并行框架Spark在计算和存储等方面的优势，本文提出一种基于数据变换与并行运算(data transformation and parallel computing, DTPC)的CFI挖掘方法：利用平方和开方运算将数据集的项转化为质数，进而成频繁项集.利用3 000万篇文章组成的大数据集进行了相关实验，实验结果证明本文算法在可靠性、准确性和动态响应速度等方面大大优于现有的算法.1 DTPC算法本文提出的DTPC闭频繁项集挖掘方法包括两个步骤：第一步，进行数据转换，生成频繁项列表，并在Spark中进行降序排列；第二步，在Spark中挖掘闭频繁项集.在介绍本文具体算法之前，先对闭频繁项集的一些相关概念进行简单的介绍. 定义1 提取上下文：指一个三元组κ=(O,I,R)，式中O表示对象的有限集合，I为项的有限集合，R为二元(关联)关系(即R⊆O×I)，每对(o,i)∈R表示对象o∈O包含项i∈I.定义2 闭项集：项i∈Ι是闭环的，当且仅当I″=I；S(I)代表i的支持，其值等于κ中包含i的项数；如果S(i)比S(I)的最小值大，则认为i是频繁的.定义2中，(″)表示闭包算子，由ψ:P(i)→P(O)s.t.ψ(i)={o∈O|∀i∈I,(o,i)∈R}和φ:P(O)→P(i)s.t.φ(O)={i∈I|∀o∈O,(o,i)∈R}共同定义.闭包算子将项的幂集分割成了互不相连的子集.我们提出一种数据转换方法来生成频繁项列表，同时使用Spark[11]依据项支持的降序分类该列表.定义3 质数：一个整数Z >1是质数，当且仅当其仅能被自身和1整除.定义4 质因子：假设整数Z >1不是质数，此时Z可以通过一系列质数相乘进行表示，即其中pi为质数，mi为正整数.在定义3和定义4的基础上，给出一种新型的数据变换方法(定义5)，用来将输入数据变换为频繁项集.定义5 事务转换：假设T={ij,…,ik}为事务，项ir∈T，通过将质数pr分配给每个项ir，并用方程(1)进行计算，可以完成数据转换过程，得到事务转换后的新数值VT.表1 数据变换示例Tab.1 Example of data transformation表1给出了数据转换的示例，其中：表1(a)为提取上下文κ；表1(b)为κ中按照降序分类的项，以及这些项的质数和支持；表1(c)为上下文κ经数据转换后得到的结果.完成数据转换后，需要在Spark中提取闭频繁项集的完整集合，从而建立完整的DTPC闭频繁项集挖掘方法.定义6 条件上下文：给定提取上下文[12]κ，令i为κ中的频繁项，当省略了所有频繁项、项i和跟随i之后的项时，i的条件上下文定义为包含i的转换子集.令j 为频繁项X的条件上下文中的一个频繁项，当省略了所有频繁项、项j和跟随j之后的项时，jX条件上下文定义为包含j的、X的条件上下文中的转换子集.将频繁项按支持度的大小进行降序分类，对于每个i，DTPC只包含i的数据转换中的条件上下文.为了加快对这些子上下文的搜索，本文定义了与每个上下文关联的指示表，该表列举了按项支持度降序分裂的，包含在其相应条件上下文中的项.在本文算法中，提取闭频繁项集不需要使用此表.本文研究的项集X具有以下特征：(1) 从上下文中提取的闭项集X，是通过连接与X同样频繁的项发现的.(2) 无需设计包含在闭频繁项集的项集Y的条件上下文，来使S(X) =S(Y).定理1(最大公约数闭包) 令X条件上下文为包含X的转换集，X条件上下文中的最大公约数所有事务的闭包.将项及其事务转换为质数后，通过计算条件上下文的所有事务的最大公约数，可以很简单地计算出闭包，而且这并不需要存储条件上下文包含的项的支持度.通过将闭包与连接候选项进行连接(即将该候选项的质数与闭包的数值相乘)，即可得到闭频繁项集.本文将该闭频繁项集表示为一个数，并将该数添加到最终得到的集合中. 综上，可得DTPC算法的具体步骤：(1) 对输入数据进行基于质数平方/开方的数据转化预处理；(2) 并行挖掘闭频繁项集，即利用并行最大公约数方法挖掘局部闭频繁项集；(3) 获取输出结果，即闭频繁项集.基于以上三步，即可以正确、快速地挖掘出闭频繁项集的完整集合.事实上，在预处理阶段后，DTPC已经开始基于Spark计算项的支持度，并将项按照支持度降序进行，得到相应的列表.在正式开始挖掘闭频繁项集时，DTPC算法使用第二个Spark,通过将上下文分割为一个新的数据集，并将其作为输入数据的条件上下文.此时，DTPC算法通过应用新的闭包操作，计算条件上下文之间所有事务的最大公约数，进而提取并获取闭环.2 实验分析为了验证提出的DTPC算法的有效性，本文在两个数据集上进行测试.第一个数据集为“Google Article”，表示将Google转换为事务数据集的转换集合，每一行为一篇文章.Google Article包含5 352 741个事务，合计4 305 928个不同的项目.在这些事务中，事务的最大长度为102 394，整个数据集的尺寸为3.2 GB.第二个数据集为“Clue Web”，包含10种语言、约10亿种网页，收集于2017年1月，该数据集包含43 783 550个事务、9 802 501个项，这些事务的最大长度为403 521，整个“Clue Web”的尺寸为19.5 GB.采用高性能消息传递库OpenMPI[13]作为实验平台，选取15个节点的聚类进行实验：将一个节点选为主节点，负责在不同节点之间调度执行任务；将其他节点设置为从节点，负责并行计算.为验证该算法的优越性，将DTPC算法与[14]和[15]中的算法进行比较，结果如图1所示.图1(a)为最小支持度值小于数据库整体规模3%时，三种算法在“Google Article”上测试的实验结果.由实验结果可知，提出的DTPC算法明显优于其他算法.这是因为“Google Article”包含数量众多的项，项数几乎等于事物数.当最小支持度的值足够低时，文献[14]、[15]中的两种算法都会生成许多的候选者和条件上下文.因此，在这两种算法中所使用的方法非常复杂，进而导致挖掘性能变差.DTPC算法基于质数，通过简单的平方/开方运算即可生成条件上下文，因而计算起来非常简便.此外，每个条件上下文中的最大公约数消除了候选者和其闭包之间的支持度检验，从而省略了闭包频率的计算.图1(b)为在“Clue Web”上的实验结果，通过减少最小支持度值，闭频繁项数变化并不明显；匹配候选者事务的数量却快速增加，这样会导致项集的候选者生成较大的条件上下文.然而，在这种情况下，本文提出的DTPC算法仍能获得较好的计算性能，这是因为本文的算法避免了从每个条件上下文中产生闭包的冗余计算，而文献[14]、[15]中的两种算法则不具备这种能力.参考文献[1] 赵海燕, 王向前, 马艺. 量子密码学结合Grover搜索的大数据安全认证方案[J]. 湘潭大学自然科学学报, 2016, 38(4): 76-79.[2] 史玉珍, 吕琼帅. 基于进化模糊规则的Web新闻文本挖掘与分类方法[J]. 湘潭大学自然科学学报, 2016, 38(2): 99-103.[3]PASQUIER N,BASTIDE Y,TAOUIL R, et al. Discovering frequent closed items ets for association rules[J]. Lecture Notes in Computer Science, 1999, 1540: 398-416.[4]SUTHA M J,DHANASEELAN F R. An efficient method for detection of breast cancer based onclosed frequent itemsets mining[J]. Journal of Medical Im aging & Health Informatics, 2015, 5(5): 45-56.[5]TAN J. Efficient data streams based closed frequent itemsets mining algorit hm[J]. Applied Mechanics & Materials, 2013, 256-259: 2910-2913.[6]LUCCHESE C,ORLANDO S,PEREGO R. Fast and memory efficient mining of f requent closed itemsets[J]. IEEE Transactions on Knowledge & DataEnginee ring, 2006, 18(1): 21-36.[7] 王黎明, 张卓. 基于iceberg概念格并置集成的闭频繁项集挖掘算法[J]. 计算机研究与发展, 2007, 44(7): 1184-1190.[8] CHEN G P,YANG Y B,ZHANG Y. MapReduce-based balanced mining for closed frequent itemset[C]//International Confe rence on Web Services, 2012: 652-653.[9]IONESCU C M,COPOT D,COPOT C, et al.Parallel architecture for implement ation of frequent itemset mining using FP-growth[C]//International Conference on Signals and Systems, 2017: 92-98.[10]DLALA IO,JABBOUR S,SAIS L, et al. Parallel SAT based closed frequent item sets enumeration[C]//IEEE/ACS 12th International Conference of Computer Systems and Applications, 2015: 1-8.[11] 陈洁, 褚龙现, 夏栋梁. 一种支持并行处理的矢量数据存储与查询方法[J]. 电子设计工程, 2017, 25(10): 31-33.[12]HAN J,PEI J,YIN Y, et al. Mining frequent patterns without candidate genera tion: a frequent-pattern tree approach[J]. Data Mining & Knowledge Discovery, 2004, 8(1): 53-87.[13]PERKS O,BECKINGSALE D A,DAWES A S, et al. Analysing the influence of Inf iniBand choice on OpenMPI memory consumption[C]//International Confe rence on High Performance Computing and Simulation, 2013: 186-193. [14] 唐颖峰, 陈世平. 一种基于后缀项表的并行闭频繁项集挖掘算法[J]. 计算机应用研究, 2014, 31(2): 373-377.[15] 李海峰. 基于GPU的闭合频繁项集挖掘方法[J]. 计算机工程, 2011, 37(14): 59-61.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
闭项集挖掘算法研究综述
刘文杰;秦伟德;张晓蝶
【期刊名称】《大众标准化》
【年(卷),期】2022()8
【摘要】频繁项集挖掘算法和高效用项集挖掘算法是数据挖掘关联规则领域非常重要的两个分支,旨在发现项之间隐藏的关联性。
然而,这两类算法会产生大量的频繁项集和高效用项集,算法效率有待提高。
考虑到这一问题,闭项集的概念被提出,衍生出闭项集挖掘算法。
首先对闭项集的概念进行描述,给出闭频繁项集和闭高效用项集的相关定义性质,然后从算法机制、数据结构、阶段数等角度对现有闭频繁和闭高效用算法进行总结归纳。
【总页数】3页(P151-153)
【作者】刘文杰;秦伟德;张晓蝶
【作者单位】兰州财经大学
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于概念格的频繁闭项集增量挖掘算法研究
2.基于频繁项集挖掘最大频繁项集和频繁闭项集
3.一种挖掘频繁项集和频繁闭包项集的算法
4.基于定量更新滑动窗口频繁闭项集挖掘算法研究
5.稀疏数据频繁项集挖掘算法研究综述
因版权原因，仅展示原文概要，查看原文内容请购买。