基于粗糙集的数据挖掘方法探讨
基于粗糙集理论的数据挖掘方法(2006.10.16)
关于属性选择
许多学习算法处理高维数据有困难, 并且大量 无关属性的存在, 也使得数据分析受到干扰. 目的是找到满足特定标准的最小的属性子集. 搜索算法起着重要的作用. 搜索算法可以用搜 索方向(前向, 后向, 双向), 搜索方式(穷尽搜索, 启发式, 非确定式)及评价方式(精确度, 一致性, 依赖度, 信息熵等)等三个方面来分类. 约简的特点是可以保持分类/近似能力不变。
x5
x6 x7
MBA
MCE MSc
Low
Low Medium
Yes
Yes Yes
Neutral
Good Neutral
Reject
Reject Reject
x8
MCE
x1
Low
x2 x3
No
x4
Excellent
x5 x6
Reject
x7 x8
x1 x2 x3 x4 x5 x6 x7 x8 er der dr def de der e defr der der er def efr def defr der
例如，x1的决策函数 为f(x1)=(e r) (d e r) (d r) (d e f) 整个Accept类的决策 函数为f(Accept)=f(x1) f(x2) f(x3) f(x4) 化成析取范式后，各 项就是Accept类最小 决策规则
粗糙集和其他理论方法结合
和模糊集(Fuzzy set) ►模糊粗糙集(Fuzzy-Rough set) ► 应用：特征选择 聚类 ►Rough K-means ►应用： Web挖掘
粗糙集的问题
粗糙集理论应用于实际数据分析时, 会遇到 －离散化： － 噪音: 过拟合 － 数据缺失: 如何“不可区分” ? － 大数据量: 计算复杂度太高.
试论一种基于粗糙集的海量数据挖掘算法
• 100•ELECTRONICS WORLD ・探索与观察试论一种基于粗糙集的海量数据挖掘算法中国计量大学信息工程学院 蔡丛豫引言：就传统的数据挖掘技术来说，其在数据量级方面存在着一定的局限性，影响最终的效果，所以将粗糙集理论应用其中。
对此，本文以算法的优化为切入点，对一种基于粗糙集的海量数据挖掘算法进行分析。
结合本文的分析，其目的就是优化海量数据挖掘算法，并以全新的并行算法等为基础，提高海量数据挖掘的效率，以期为相关人员提供参考。
1.基于粗糙集对Rough Set知识约简算法的改进1.1 离散化算法在Rough Set 知识获取方法中，数据离散化是其关键的构成内容之一，本文就采用属性重要性的方式，将CDL 引入到原算法之中，保证这种算法能够实现对海量数据的挖掘。
具体来说，这种算法的具体步骤为：（1）对每一个连续的条件属性，进行循环遍历，同时能够生成条件信息熵，即ICDL （{a i }）的信息熵。
（2）结合条件信息，对信息熵以降序的方式进行排序，即将所有连续的属性均进行排列。
（3）对于完成排序的DT ，并每个条件的a i 进行循环遍历，从而能够形成ICDL （C\{a i }）。
在这一条件下，可以将S zone 设置为null ，而S zone 实际上是a i 值域的子集。
（4）对（S a ，S b ）区间的额每一个断点，进行循环遍历，而S a 、S b 是a i 的连续属性值，并设S zone 的值为S zone 与S a 的和。
（5）对DT 中所有满足条件SV j （a i ）=S h 的样本，进行循环遍历，即SV j ，而其中的S h=属于S zone 。
（6）对DT 中所有满足条件SV j （a i ）=S b 的样本，进行循环遍历，即SV k ，如果样本SV k 、SV j 属于ICDL （{a i }）的同一分类中，并且使用@的符号进行连接，在需要将（S a ，S b ）的断点选择出来，并对S zone 进行重置（空）。
基于粗糙集和遗传算法的数据挖掘方法
基于粗糙集和遗传算法旳数据挖掘措施摘要：运用粗糙集和遗传算法旳理论,为大型旳数据挖掘提供了一种新旳措施。
首先通过粗糙集理论对数据进行预处理, 然后对属性简约，最终通过遗传算法进行规则提取, 寻找最优解。
关键词:粗糙集;遗传算法；数据挖掘；知识发现Dａｔa ExｔracｔioｎＢased on Rｏuｇh Ｓｅt and GｅnｅtiｃＡlｇoｒithmAbstｒact: A neｗ ａpproach for datａmining bｙ using ｒougｈset and ｇeneｔic ａｌgoriｔhm is inｔrｏduced in this aｒtiｃle. First oｆall ｗe ｐretrｅａｔour daｔaｗｉth roｕｇh set, anｄthen reｄucｅ ａｔtribｕtｅｓ， finally we extｒacｔｔhe beｓｔruｌe thｒough genetｉｃ ａlｇｏriｔhm.Keｙ Words:Ｒougｈ Seｔ；Genｅtｉc Aｌgoriｔhm; Data Extration; Knowｌedge Diｓｃoｖeｒy0 引言数据挖掘[1]又称知识发现, 是从大量旳、不完全旳、有躁声旳、模糊旳实际数据中, 提取隐含在其中旳、人们事先不懂得旳、但又很有用旳知识和信息旳过程。
它旳一般环节如下: 提出问题→数据准备→数据整顿→建立模型→评价和解释。
它是数据库研究、开发和应用最活跃旳一种分支, 是多学科旳交叉领域, 波及数据库技术、人工智能、机器学习、神经网络、数学、记录学、模式识别、知识库系统、知识获取、信息提取、高性能计算、并行计算、数据可视化等多方面旳知识。
1 粗糙集与遗传算法旳基本概念粗糙集( Rｏugh Set，RS)[2]作为一种全新旳数学概念,为处理具有不完整、不一致及不确定性特性旳信息提供了新旳有效工具, 它旳重要特点之一是不必提供问题所需处理旳数据集合之外旳任何先验信息。
基于粗糙集的海量数据挖掘算法研究
基于粗糙集的海量数据挖掘算法研究作者：张贵红李中华来源：《现代电子技术》2016年第17期摘要：针对传统数据挖掘算法在数据量级方面的局限性，提出在粗糙集理论的基础上，采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法；讨论了基于动态聚类的两步离散化算法，当算法适应大数据处理之后，采用并行计算的方法提高算法的执行效率。
算法测试结果表明改进的算法能有效地处理大数据量，同时并行计算解决了大数据量处理带来的效率问题。
关键词：数据挖掘；粗糙集；大数据处理；并行计算中图分类号： TN911⁃34； TQ028.1 文献标识码： A 文章编号： 1004⁃373X（2016）17⁃0116⁃040 引言信息时代，数据（尤其是海量数据）已被各企业、各研究机构当成重大的知识来源、决策的重要依据[1]，对数据的急速增长，如何有效地解决数据挖掘过程中空间和时间的可伸缩性已经成为数据挖掘领域中迫切需要解决的难题[2]。
从知识发现的过程中可以看到，数据挖掘不仅面临着数据库中的庞大数据问题[3]，而且这些数据有可能是不整齐的、不完全的、随机的、有噪声的、有复杂的数据结构、维数大[4]。
传统的数据挖掘算法还限制于单机内存的容量[5]，当一次性需要分析的数据不能全部进入内存时，算法的性能就会严重降低[6]，甚至得不到预期的结果，使用基于粗糙集理论的算法策略将有效地解决这个问题[7]。
本文针对传统数据挖掘算法在数据量级方面的局限性，提出了结合类分布链表，把数据挖掘算法推广到可以处理更高数据量级，最后采用并行计算的方法提高基于动态聚类的两步离散化算法适应大数据处理之后的执行效率。
1 改进的Rough Set知识约简算法许多经典的Rough Set知识约简算法都可以通过引进CDL（类分布链表）改进，CDL可以反映某个条件属性组合对论域的分类情况。
CDL分为不相容类分布链表（ICDL）和相容类分布链表（CCDL）两部分，CCDL根据链表中每个分类的样本数目又可分为单例相容类分布链表（SSCDL）和多例相容分布链表（MSCDL）[7]。
基于粗糙集的数据挖掘技术在电子商务中的应用
基于粗糙集的数据挖掘技术在电子商务中的应用摘要数据挖掘技术应用于电子商务，高效组织利用大量的数据信息，再把粗糙集的基本思想应用于电子商务，创新了一种利用数据挖掘技术的关于客户数据库的方法，以它的高效性再次使电子商务技术得到了发展。
关键词数据挖掘；电子商务；粗糙集；聚类分析粗糙集是一种由波兰科学家Pawlak创立数据分析处理理论，最开始只是研究语言问题，后来才进入数学及计算机领域；数据挖掘技术则是一种对事物分类处理，更是对数据的深度处理的方式，可以应用于数学、商业等等领域。
但是当粗糙集理论和数据挖掘技术相结合运用于电子商务的管理和进程，将会产生一种意想不到的高效及便捷。
1 粗糙集的基本思想和背景针对所讨论的论域中的任意一个对象，都会有一些被我们获得的知识去解释和描述它，这就是粗糙集的理论出发点。
1.1 知识的约简知识的约简是粗糙集理论的核心之一，是粗糙集在应用中的关键。
知识的约简分为属性约简和属性值约简。
对于信息系统，大量的属性并不是具有等同地位的，甚者有些属性是负赘的。
因此，首要目的是维护信息系统的划分类别的职能不变的情况下进行删减冗余属性，这也是属性约简的任务。
1.2 粗糙集理论的特点决策表是粗糙集理论最主要的研究对象。
对决策表进行分析是有决策的分析，对于有决策的分析，包括属性约简以及属性值约简这两个步骤，然而对无决策的分析，只进行属性约简即可。
然而对于有决策的分析，最终的目的不仅仅是通过属性约简去掉冗余属性，用户希望得到的是决策规则。
只依靠属性约简是不可能达到目的的，只有通过属性值的约简才可以实现。
粗糙集理论具有以下特点：1）粗糙集理论不需要依赖先验知识；2）粗糙集理论能够进行高效的数据分析；3）粗糙集理论能够关系型数据库里的关系转化成决策表，这就是为什么粗糙集理论被广泛应用的重要原因。
粗糙集理论提取的规则更加容易被检测；4）粗糙集理论可以和模糊集相互补充，更好的完善了对信息的描述。
2 基于粗糙集的数据挖掘技术运用于电子商务下面是基于粗糙集的数据挖掘技术运用于电子商务的一个实例。
基于粗糙集理论的数据挖掘技术研究
基于粗糙集理论的数据挖掘技术研究随着信息时代的到来，数据量的飞速增长和数据质量要求的不断提高，数据挖掘技术越来越受到重视。
在数据挖掘中，粗糙集理论是一种重要的方法。
粗糙集理论是由波兰数学家Pawlak于1982年提出的一种不确定性的近似推理理论，适用于含有不确定信息的数据处理与分析，被广泛应用在分类、聚类和特征选择等领域。
本文将对基于粗糙集理论的数据挖掘技术进行研究探讨。
一、粗糙集理论简介1.1 基本概念粗糙集理论的核心概念是上近似和下近似。
设U为一个数据集，X和Y分别为U的属性集和决策集，A是X的子集，则A的下近似表示为：$〖POS〗_A=\{x\in〖U｜A｜},∀y∈Y,(x,y)\in 〖IND〗_1(X,Y)→y∈A_Y\}$A的上近似表示为：$NEG_A=\{x∈U|x∈A^C , ∀y∈Y∃x′∈〖POS｜A｜}(x′,y)\in IND_1(X,Y),y∈A_Y\}$其中$〖IND〗_1(X,Y)$是X与Y之间的条件最小化依赖关系，$A^C$表示A的补集。
1.2 粗糙集的属性约简属性约简是粗糙集理论的一个重要应用之一。
约简是指从原始数据中排除无用信息以减少数据的复杂度，并保证信息的完整性和可靠性。
属性约简是指在原始属性集合中，找出能够尽量多地保存与决策集相关依赖关系的最小属性子集。
粗糙集属性约简通过粗糙集下近似、下近似核以及属性重要性的定义和计算，来实现属性约简。
二、基于粗糙集理论的分类方法基于粗糙集理论的分类方法是通过构建决策表来实现的。
决策表是一种可以清晰表达出属性与决策之间联系的数据集表示方式，由属性集和决策集组成。
2.1 基本思路基于粗糙集理论的分类方法基本思路是将数据分成不相交的决策类，而将每个决策类逐步划分成两个子类，最终构成一棵决策树，再利用决策树对新数据进行分类。
2.2 树的生成一棵决策树可以通过粗糙集下近似和基本学习算法的结合生成。
下面给出决策树的生成步骤：1）初始化，将根节点定义为整个数据集U，将所有属性作为候选属性。
基于粗糙集的数据挖掘算法研究
复杂，仅仅采用粗糙集理论来对数 据集进行分类 ，其 结果 的稳定 性与 的阈值，由 来 对该 阈值进行 表示 ，此外输入内容还包括条件属性。规
精度也往往较差 ，而且在交互验证 方面的能力较为欠缺，因此需要将 则挖 掘算法的 最终输出为规 则集。规则挖 掘算法在 应用过程 中共 分
其与其他方 法进行 结合应用才能取得更好 的应 用效果 。为此 ，本文便 为三个步骤 ，第一步是将 条件属性 作为输入条件 ；第二步是在 中获
其也是实现信息智 能化处 理的重要处理技术 。通常来说 ，数据 挖掘作 的空 属性集矩阵来生 成分辨矩阵 ，并由分 辨矩阵得到 ；第三 步是对
为知识 发现中的 关键环 节，其是在 某种约束 的基 础上，通过 数据发现 分辨矩 阵进行求核，如果 ，在 中添加 ；第四步是把包含 的矩阵进
与数 据分析算法的应用，以从中找 出特定模 式。对数 学挖掘进行研究 行 元素置空 ；第五步是得 出矩阵 中次数出现最 多的属性 ，用 来 表示
包括 肯定支 持、不支持与可能支持。其通过上下限 定域与边界这三个
决策系统通 过计算能够生 成该系统的分 辨矩阵 ，通过 该分辨矩
近似集 合来对上述 三种支持 程度 进行表 示。
阵能够得 出 与 相等 ，并以约减作为出发 点，以此衍生出相应 的节点，
１．１粗 糙 集 定 义
并通过 决策系统将各个节点中满足 的节点规 则进行记录 ，然后将其
的Ｐ，其ｎ Ｐ均为论 域 中的 等价关 系，由此可判定 为ｎ Ｐ和 Ｐ之 间
３基 于 粗 糙 集 的 数 据 挖 掘 算 法 的优 劣 势 及 解 决 策 略
具备不 可分 辨关 系，可利用ｍｄ（ｅ）来 对这种关系进行表示 。当 （，
基于粗糙集的数据挖掘方法研究
应用场景：粗糙集 适用于处理不确定、 不精确或不完全的 数据
适用范围：粗糙集 适用于分类、聚类、 特征选择和规则生 成等数据挖掘任务
比较优势：粗糙集能 够处理数据中的噪声 和异常值，对数据规 模和维度没有限制
集合论基础：粗糙集理论基于集合 论，将数据集表示为一系列的集合
粗糙集：在近似空间中，粗糙集表 示数据集的近似边界
添加标题
添加标题
添加标题
添加标题
近似空间：定义了近似空间，用于 描述数据集的近似关系
近似精度：定义了近似精度，用于 衡量数据集的近似程度
基于粗糙集的数据 预处理
数据清洗：去 除重复、缺失、
感谢您的观看
汇报人：XX
粗糙集方法能够有 效地处理大规模数 据集，具有较好的 扩展性和可伸缩性 。
优点：粗糙集方法能够处理不确定、不精确和不完全的数据，并且不需要预先对数据进行预 处理或特征选择。
缺点：粗糙集方法对于大规模数据的处理效率较低，并且对于连续属性和高维数据的处理存 在限制。
与其他数据挖掘方法的比较：粗糙集方法可以与其他数据挖掘方法结合使用，例如与聚类、 分类和关联规则挖掘等方法结合，以获得更好的数据挖掘效果。
基于粗糙集的数据挖 掘方法研究
汇报人：XX
目录
添加目录标题
粗糙集理论概述
基于粗糙集的数据预 处理
基于粗糙集的数据挖 掘算法
粗糙集与其他数据挖 掘方法的比较
基于粗糙集的数据挖 掘应用案例
添加章节标题
粗糙集理论概述
粗糙集是一种处理不确定性和模糊 性的数学工具。
粗糙集理论具有强大的数据分析和 处理能力，尤其在处理分类问题上 表现突出。
基于粗糙集的数据挖掘方法在机械故障诊断中的应用
４０ ４ ；、 ５ ０ １２ 中国 电子 科 技 集 团公 司 第 ２ ７研 究所 ， 南 郑 州 ４ ０ ０ ； 、 州 大 学机械 工 河 ５ ０５ ３ 郑 程 学院 河 南 郑 州 ４ ０ ０１ ５０ ２
摘 要： 粗糙 集理 论无 需提供 除 问题相 关的数 据集 合外 的任何 先验信 息 ， 合 于发现数 据 中隐含 的 、 在的规 律 。文章将 数据挖 掘 中 适 潜 粗糙 集方 法应用 于机械 故 障诊 断 领域 ， 对大量 的机组 状 态数 据进 行挖 掘 ， 现故 障数据 中存 在的 规律 ， 以规则 的形式 体现 出来 。 发 并 结 果表 明 ， 用粗糙 集方 法所得 出的规 则是 正确 的 ， 能正确 用 于机 械故 障 的分类 工作 。 采 并 关键 词 ： 粗糙 集 ； 障诊 断 ； 故 属性 中图分 类号 ： Ｈ１ 文献 标识 码 ： Ｔ ６ Ｂ
原始决策表的条件属性集 合为Ｐ矗ｉ ＝ Ｉ ， ＝ 决策属性集合为 Ｄ ｆ ， ＝ｄ 则冗余 属性约简思想 可 ｌ
题相关的数据集合外的任何先验信息，适合于 描述为 ： 对于每一个 条件 屙 陛 ａ 如果删除该 属 ， 发 现数据 中隐含 的 、 在的规 律 ， 潜 而且 。 它发现 性 ａ 使 得 Ｐ ｐ ＰｓＱ ， 明 属性 ａ ． ， 晦 （：ｏＡ） 则说 Ｊ ｉ 是
概述
则可辨识矩阵 ｃ定义为 ：
一 １ ａ ） 畸） ） 』 ％≠ ） ≠ Ｅ ＾
一 、
大型回转类机械是 电力 、 石化 、 等工业 冶炼 领域的一类重要生产设备 。对 于回转类机 械设 备而言 ， 备振动信号是设备状态信息 的载体 ， 设 它蕴含了丰富的设备异 常或故 障的信息ｍ 。为了 在丰富的信息 中间发现重要 的知识 。 寻求设 备 故障原因 、 故障机理 ， 数据挖掘方法 的引用便不 可避免。 粗糙集理论是 由波兰华沙理工 大学 Ｐ ｗａ ａｌ ｋ 教授 于 ２ ０世纪 ８ 年 代提 出 的一种 研究 不完 ０ 整、 不确定 知识 和数据 表达 、 习 、 学 归纳 的理论 方法 ， 近年来得到 国际上众多学 者的重视 。 在诸 多数据挖 掘方法中 ，粗糙集理论无需提供 除问
一种基于粗糙集的数据挖掘模型
一种基于粗糙集的数据挖掘模型摘要：粗糙集理论是一种处理不确定和不精确问题的数学工具。
运用模拟例子通过不同简化层次的算法导出每个层次上的信息集，最后得到规则集来说明如何建立和运用这种数据挖掘模型。
关键词：粗糙集；数据挖掘；规则提取；算法数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
按照数据挖掘技术所能发现的规律，可以将挖掘任务分成5种：①总结规则挖掘：从指定的数据中，从不同的角度或层次上挖掘出平均值、极小值、极大值、总和、百分比等；②关联规则挖掘：从数据库中挖掘出满足一定条件的依赖性关系；③分类规则挖掘：在已知训练集的特征和分类结果的基础上，为每一种类别找到一个合理的描述或模型；④聚类规则挖掘：客观地按被处理对象的特征分类，将有相同特征的对象归为一类；⑤预测及趋势性规则挖掘：对数据进行分类或回归分析，或对数据将来的发展进行估计。
粗糙集（Rough Set）理论是由波兰数学家Z.Pawlak于1982年提出的一种处理不确定性问题的数学工具。
所谓粗糙集方法，是基于一个机构（或一组机构）关于一些现实的大量数据信息，以对观察和测量所得数据进行分类的能力为基础，从中发现推理知识和分辨系统的某些特点、过程、对象等。
粗糙集理论不仅为信息科学和认知科学提供了新的科学逻辑和研究方法，而且为智能信息处理提供了有效的处理技术。
粗糙集理论运用于数据挖掘中所带来的优点有以下几方面：①不需要数据集合之外的任何先验知识，仅利用数据本身所提供的信息；②可以从不同的抽象层次来对数据进行建模和分析，以更好地揭示数据间的依赖关系，发现数据间的规律；③基于集合理论，有效地分析和处理不精确、不完备和不一致数据，简化输入信息的表达空间；④生成规则简洁准确、易于验证。
1 粗糙集的基本概念决策表信息系统是Rough Set理论的主要研究对象。