模糊数学在数据挖掘领域综述

模糊数学在数据挖掘研究综述

一、模糊数学

关于数学的分类，根据所研究对象的确定性可以分为经典数学、随机数学以及模糊数学。三者的关系如图1所示。经典数学建立在集合论的基础上，一个对象对于一个集合要么属于，要么不属于，两者必居其一，且仅居其一，绝不可模棱两可，由于这个要求，大大限制了数学的应用范围，使它无法处理日常生活中大量的不明确的模糊现象与概念。随着发展,过去那些与数学毫无关系或关系不大的学科如生物学，心理学，等都迫切要求定量化和数学化。

图1依照研究对象是否确定的数学分类

在日常生活中，我们经常会遇到一些模糊不清的概念。例如，“高个子”、“矮个子”等。如果把1.80米的人算高个子，那么，身高1.76米的人算不算高个子呢？这就很难说，因为“高个子”，“矮个子”并没有二者明确的标准，因而这些概念就显得模糊不清。为了适应这些学科自身的特点，只有通过改造数学，使它应用的面更为广泛。模糊数学就是研究事物这种模糊性质的一门数学学科。

模糊数学诞生于1965年，创始人是美国自动控制专家查德，他最早提出了模糊集合的概念，引入了隶属函数。自诞生之日起，就与电子计算机息息相关。今天精确的数学计算当然是不可少的，然而，当我们要求脑功能的时候，精确这个长处反而成了短处。例如，我们在判别走过的人是谁时，总是将来人的高矮，胖瘦、走路姿势与大脑存储的样子进行比较，从而作出判断。一般说来，这不是件难事，即使是分别多年的老友，也会很快地认出他来，但是若让计算机做这件事，使用精确数学就太复杂了。得测量来人的身高、体重、手臂摆的角度以及鞋底对地面的正压力、磨擦力、速度、加速度等数据，而且非要精确到后几十位才肯罢休。如果有位熟人最近稍为瘦了或胖了一些，计算机就“翻脸不认了”。显然，这样的“精确”容易使人糊涂。由此可见，要使计算机能模拟人功能，一定程度的模糊是必要的。模糊数学就是在这样的背景下诞生的。

随机数学与模糊数学都是对不确定性量的研究，但与模糊数学不同的是，随机数学是研究随机现象统计规律性的一个数学分支，涉及四个主要部分：概率论、随机过程、数理统计、随机运筹。随机数学更强调对数据的统计规律；而模糊数学强调的是变量的定义的模糊性。

模糊数学是一门新兴学科，过去那些与数学毫不相关或关系不大的学科（如生物学、心理学、语言学、社会科学等）都有可能用定量化和数学化加以描述和处理，从而使数学的应用范围大大扩展。它已初步应用于模糊控制、模糊识别、模糊聚类分析、模糊决策、模糊评判、系统理论、信息检索、医学、生物学等各个方面，并且在气象、结构力学、控制、心理学等方面已有具体的研究成果。模糊数学最重要的应用领域是计算机职能，它与新一代计算机的研制有密切的联系。

二、模糊计算

精确的数学语言、定量化分析传统计算的方式无法解决概念模糊的问题，如大房子，小个子等，所以需要引入模糊计算来对模糊概念变量的计算。普通计算一般是指函数式，自变量与因变量是一一对应的关系。而模糊计算，一个变量，可以对应于多个状态值。当然，这些个状态与普通的函数表示也不是完全相同的，并不是完全确定的，它们有一个隶属度，或者说概率，来表示这个状态。隶属度表示程度，它的值越大，表明这个状态的概率越高，反之则表明这个状态的概率越低，其原因在于有一些概念模糊的问题，需要模糊计算来处理。

本节讨论关于模糊数学计算的基本知识。

1、模糊集、隶属函数及模糊集的运算

对于普通集合A ，对x ?，有A x ∈或A x ?。

如果要进一步描述一个人属于年轻人的程度大小时，仅用特征函数就不够了。模糊集理论将普通集合的特征函数的值域推广到[0，1]闭区间内，取值的函数以度量这种程度的大小，这个函数（记为)(x E ）称为集合E 的隶属函数。即对于每一个元素x ，有[0,1]内的一个数)(x E 与之对应。

模糊子集的定义：射给定论域U ，U 到[0，1]上的任一映射：

))((],1,0[:U u u A u U A ∈?→→

都确定了U 上的一个模糊集合，简称为模糊子集。)(u A 称为元素u 属于模糊集A 的隶属度。映射所表示的函数称为隶属函数。

模糊集合的运算：

)}(),.....,(),({21n u A u A u A A =，)}(),.....,(),({21n u B u B u B B =，

并集：)}()(),.....,()(),()({2211n n u B u A u B u A u B u A B A ∨∨∨=?，

交集：)}()(),.....,()(),()({2211n n u B u A u B u A u B u A B A ∧∧∧=?，

补集：

)}(1),.....,(1),(1{21n c u A u A u A A ---=， 包含：B A u B u A U u ?≤∈?，则有有若)()(,。

2、模糊数学基本定理

①、模糊截积：

已知U 上模糊子集))((],1,0[:U u u A u U A ∈?→→

对]1,0[∈λ，A λ也是U 上模糊集，其隶属函数为：)(),())((U u u A u A ∈?∧=λλ； 称为A λ为λ与A 的模糊截积。

②、分解定理1：已知模糊子集)(U F A ∈，则λλλA A ]

1,0[∈?= 推论1：对,U u ∈?}],1,0[{)(λλλA u u A ∈∈∨=

③、分解定理2：已知模糊子集)(U F A ∈，则S A A λλλ]

1,0[∈?= 推论2：对,U u ∈?}],1,0[{)(S A u u A λλλ∈∈∨=

三、模糊聚类

1、模糊聚类分析法与聚类分析法

模糊聚类分析是聚类分析的一种。聚类分析按照不同的分类标准可以进行不同的分类。就好像人按照性别可以分成男人和女人，按照年龄可以分为老中青一样。聚类分析如果按照隶属度的取值范围可以分为两类，一类叫硬聚类算法，另一类就是模糊聚类算法。

隶属度的概念是从模糊集理论里引申出来的。传统硬聚类算法隶属度只有两个值 0 和

1。 也就是说一个样本只能完全属于某一个类或者完全不属于某一个类。举个例子，把温度分为两类，大于10度为热，小于或者等于10度为冷，这就是典型的“硬隶属度”概念。 那么不论是5度 还是负100度都属于冷这个类，而不属于热这个类的。而模糊集里的隶属度是一个取值在[0 1]区间内的数。一个样本同时属于所有的类，但是通过隶属度的大小来区分其差异。比如5度，可能属于冷这类的隶属度值为0.7,而属于热这个类的值为0.3。这样做就比较合理，硬聚类也可以看做模糊聚类的一个特例。

2、模糊聚类步骤

模糊聚类法和一般的聚类方法相似，先将数据进行标准化，计算变量间相似矩阵或样品间的距离矩阵，将其元素压缩到0与1之间形成模糊相似矩阵，进一步改造为模糊等价矩阵，最后取不同的标准λ，得到不同的-λ截阵，从而就可以得到不同的类。具体步骤如下： 第一步：数据标准化

1）.数据矩阵

设论域},...,,{21n x x x U =为被分类的对象，每个对象又由m 个指标表示其性状：

},...,,{21im i i i x x x x =（n i ,...,2,1=）

于是得到原始数据矩阵为

????????????nm n n m m x x x x x x x x x (2122221)

11211

2）.数据标准化

在实际问题中，不同的数据一般有不同的量纲。为了使有不同的量纲的量也能进行比较，通常需要对数据作适当的变换。但是，即使这样得到的数据也不一定在区间[0，1]上。因此，这里所说的数据标准化，就是要根据模糊矩阵的要求，将数据压缩到区间[0,1]上。通常需要作如下变换：平移标准差变换、平移级差变换。

第二步：建立模糊相似矩阵

设论},...,,{},,...,,{2121im i i i n x x x x x x x U ==依照传统的方法确定相似系数，建立模糊

相似矩阵，

i x 与j x 的相似程度),(j i ij x x R r =。可根据问题的性质，选取下列公式之一计算ij r ：数量积法、夹角余弦法、最大最小法、算术平均最小法、几何平均最小法等等。 第三步：进行模糊聚类

1）．基于模糊等价矩阵聚类方法

一般来说。上述模糊矩阵)(ij r R =是一个模糊相似矩阵，不一定具有等价性，即R 不一定是模糊等价矩阵。这可以通过模糊矩阵的褶积将其转化为模糊等价阵，具体方法如下： 计算2R = R R ?,4R = 22R R ?,8R = 44R R ?,…,直到满足k k R R

=2这时模糊矩阵k R 便是一个模糊等价矩阵。记

k

ij R r R ==)~(~。 将ij r ~按由大到小的顺序排列，从λ＝1开始，沿着ij r ~由大到小的次序依次取λ＝ij r ~，求R ~的

相应的-λ截阵λR ~，其中元素为1的表示将其对应的两个变量（或样品）归为一类，随着λ

的变小，其合并的类越来越多，最终当λ＝}~{min ,1ij n

j i r ≤≤时，将全部变量（或样品）归为一个大类。按λ值画出聚类的谱系图

2）．直接聚类法

所谓直接聚类法是指：在建立模糊相似矩阵之后，不去求传递闭包)(R t ，直接从相似矩阵出发，求得聚类图。其步骤如下：

① 、取1λ＝1（最大值），对每个i x 作相似类R i x ][:

R i x ][={j x |1=ij r },

即将满足1=ij r 的i x 与j x 放在一类，构成相似类。相似类与等价类的不同之处是，不

同的相似类可能有公共元素，即可出现

R i x ][={i x ,k x },R j x ][={j x ,k x },[i x ]?[j x ]φ≠.此时只要将有公共元素的相似类合并，即可得1λ＝1水平上的等价分类。

②、取2λ为次大值，从R 中直接找出相似程度为2λ的元素对（i x ，j x ）（即

2λ=ij r ），相应的将对应于1λ＝1的等价分类中i x 所在类与j x 所在类合并，将所有这些情况合并后，即得对应2λ的等价分类。

③、取3λ为第三大值，从R 中直接找出相似程度为3λ的元素对（i x ，j x ）（即

3λ=ij r ），类似的将对应于2λ的等价分类中

i x 所在类与j x 所在类合并，将所有这些情况合并后，即得对应3λ的等价分类。

④、依次类推，直到合并到U 成为一类为止。

四、模糊数学与模糊数据挖掘

1、模糊数据挖掘

在过去几十年里，模糊集理论已成功地应用于模式识别、智能控制、机器学习、人工智能等诸多领域的研究。长期以来，知识表示和知识推理是模糊集理论研究的一个主要方向，其研究成果为构建基于知识的智能系统设计提供理论依据。然而，知识获取成为制约基于知识的智能系统进一步发展的瓶颈。面对大量的数据，单靠人工去收集、整理以及采用传统的数据分析处理工具来获取知识，已无法解决这个问题。数据挖掘的出现，为知识获取开辟了一条新的图径。数据挖掘有效地解决由于知识短缺、知识获取瓶颈这一阻碍基于知识的智能系统进一步发展的问题。数据挖掘融合了数据库、机器学习、人工智能、统计学等学科技术去挖掘数据，以获得有用的知识。近年来，一类称之为软计算的智能化信息处理技术受到人们广泛的关注，软计算和传统的硬计算不同，软计算适合对包含有不确定性数据、不完全数据、噪声数据以及与模式可理解性有关问题的分析和建模，在不能获得或不追求问题精确解的前提下，使用软计算可以快速地获得一个近似解。软计算主要包括模糊集理论、粗糙集、神经网络、遗传算法等。其中，模糊集理论是软计算中应用到数据挖掘研究中的最为成熟和最成功的理论，本文阐述模糊论在数据挖掘任务中的聚类、关联挖掘、分类上应用，反映模糊论在数据挖掘上述应用研究中的基本现状。

数据挖掘是从大量数据中挖掘有用知识的过程，数据可以是从简单结构到复杂结构、从有序到无序、从精确性到模糊性、从集中到分布式等等。当数据具有模糊和不确定性时，常采用模糊理论去处理，实际上，模糊集理论早已应用于数据清理、数据选择、数据分析和建模，对数据的分析，至少可采用两种方法：一种是用模糊论方法对传统方法加以扩展；另一种是把数据嵌入到更复杂的数学空间来进行处理，如把模糊数据映射到模糊测度空间来处理。聚类是模糊集理论研究得比较早的一个方向，聚类在机器学习、人工智能、信息检索、统计分析、数据挖掘等领域里有大量的应用。在数据挖掘当中，利用模糊聚类对有用模式进行聚类，有助于对有用模式的搜索，设计一个模糊聚类算法，利用上下文相关信息和诱导出一个语言值空间更好地在数据挖掘中进行信息搜索。模糊集理论用于挖掘具有数量属性的关联规则，人们已提出了不少模糊关联规则挖掘算法，大多数算法是基于Apriori 算法，有的算法主要是讨论数量属性如何用语言值表述，或对其进行划分；有的是探讨在对属性进行加权的情况下规则发现的算法，此外，模糊集理论还用到数据选择、属性泛化、数据总结、Web 应用等数据挖掘任务当中。限于篇幅，我们简要地综述模糊集理论在数据挖掘任务中的聚类、关联挖掘、分类上的若干应用。

2、模糊聚类

聚类是一种无监督的学习，所谓聚类，是把一组对象按其相互间相似程度分成若干簇，使得在同一簇中的对象相似，而在不同簇中对象相异。在传统的聚类中，每个对象被指定到

唯一的簇，簇与簇之间有着明显的分界，即簇与簇之间并无重叠。但在现实应用中，大量数据由于其属性的不确定性以及模糊性，因而很难把数据划分到唯一的一簇中。在这种情况下，采用模糊逻辑和传统聚类技术结合的方法来处理，结果更符合实际。这就是模糊聚类方法，在模糊聚类中，聚类的对象可以在某种程度上同时属于多个簇，用隶属度这个概念去表示这种程度的大小。

人们已经提出了不少的模糊聚类的方法，模糊c-均值聚类是一个最常用的模糊聚类方法，其过程与基本c-均值聚类相似，不同的地方在于，在模糊c-均值聚类中，数据是以隶属度的形式从属于某个簇的。不过，模糊c-均值聚类也存在着一些缺陷，如对初始状态比

较敏感，容易陷入局部极小值或者落入所谓的鞍点，另外，它不能较好地处理离群点的数据。为克服这些缺陷，有的学者给出一个自适应的模糊聚类算法来解决离群点聚类的问题，该算法不采用现有的大多数算法所用的聚类数据点在所有簇中的隶属度之和为1这一限制条件，而是采用新的约束条件，所有数据在各簇的隶属度之和等于数据的个数，最后对数据点的隶属度作归一化处理，这使得离群点的隶属度变得非常之小，比较符合实际情况。文献给出一个全局模糊c-均值聚类算法GFCM，该算法不依赖于初始条件，通过一个确定性的全局搜索程序来获取聚类结果，同时提出一个快速的全局模糊c-均值聚类算法来加快GFCM的收敛速度。文献提出了不确定隶属度的概念，设计一种新的基于隶属关系不确定的可能性模糊聚类新算法，新算法将迭代过程中数据集对聚类簇隶属的可能性与不确定性关系引入目标函数中，达到优化聚类结果的功效。

数据流挖掘和动态数据挖掘是数据挖掘的一个研究热点，对数据流进行聚类的算法很多，但有关模糊聚类的算法仍较少在数据流聚类研究的相关文献中出现，有的学者提出一个对数据流进行加权的模糊聚类的算法，该算法是基于模糊c-均值算法，算法的主要特点是，根

据数据在聚类过程中的重要性对其进行加权处理，通过递归不断地对类中心进行加权直到代价函数获得一个满意的结果或者递归到预定的次数为止。现有的大多数聚类算法都是针对静态数据进行，且多数要求指定聚类后类的数目，这不适合动态数据聚类。对动态数据聚类，要采用进化的策略，类的数目在聚类过程中得到优化。有的学者给出一个基于模糊c-均值

聚类的动态数据挖掘方法，有的学者给出一个函数模糊c-均值算法去处理动态对象间的相

似度问题。

高维数据聚类是聚类的一个难点，为解决高维数据聚类问题，人们提出了不少有效算法，模糊联合聚类是其一的一种，所谓联合聚类是指同时对对象和属性进行聚类，以加快聚类速度。有的学者提出一个新的基于启发式的模糊联合聚类算法HFCR，以解决存在特征重合情

况下和存在异常数据的挖掘性能问题。提供用户参与聚类过程，能改善聚类效率和性能，尤其对大规则、稀疏高维数据聚类显得更加迫切，有的学者给出一个交互式的可视化聚类算法，用户通过选择、丢弃、改变候选簇来改善聚类过程。

利用相关领域知识来辅助聚类有时能够改善聚类效率，有的学者给出两个基于领域知识的聚类方法，通过利用领域知识获得一个语义接近矩阵，之后，聚类可以在领域知识的指导下进行。

3、模糊关联分析

关联挖掘是数据挖掘的重要内容，传统关联规则挖掘主要针对的是定性属性，然而实际生活中，存在着大量的定量数据，许多对象的属性是定量的，因而挖掘定量关联规则有着现实的意义。

人们提出了许多模糊关联规则挖掘算法，有的学者提出一个用模糊词汇来描述关系数据库的数字和类属属性，然后给出一个挖掘混合数据的模糊关联规则的算法。有的学者提出一个以模糊集理论和Apriori算法相结合的从数据库中发现兴趣模糊关联规则的算法。有的学

者给出一个基于AprioriTid算法的模糊关联规则挖掘算法。有的学者提出了一种基于自组织特征映射网络的自动确定样本数据隶属度函数的新方法，并在此基础上根据相似性的概念，给出了相似度的计算公式，提出一种挖掘模糊相似关联规则的新算法。有的学者提出两种加权模糊关联规则的挖掘算法。有的学者提出一种新的模糊加权支持度和确信度的概念，能够在加权情况下利用Apriori求频繁项集时所用到的向下封闭这一特性。

有的学者应用了一个预定义的语言标记集，使用调整后的差别和证据的权重这两个度量值来表示模糊关联规则的重要性和精确度，用调整后的差别来分析和判断属性之间的关联，如果调整后的差别值大于某一给定的值时，则可认为属性间存在着有趣的关联。证据的权重是信息增益的一种度量，用户可用它来估计规则有多大的兴趣。有的学者给出一个用语言值表示发现的规则，算法避免由于产生大规模候选集而产生的开销，利用互信息来表示属性之间存在着的强的信息关系，发现潜在的频繁项集，同时使用调整后的差别分析方法，不需要用户事先定义好关联阈值。有的学者采用信息理论的方法来挖掘模糊关联规则，它构建一个互信息图，用图的最大团来代表大多数的频繁项集，利用图的最大团来求解频繁项集，然后利用频繁项集和前缀树结构来挖掘关联规则。有的学者给出一个针对调查表中的数据所进行的一种模糊关联挖掘算法，用一种统一的方式对各类调查数据进行统一挖掘。有的学者给出一个基于FP-tree算法的模糊关联挖掘算法，有的学者提出一个挖掘多层次多最小支持度约束下的模糊关联规则算法，该算法采用自顶向下逐步递进的方式来寻找频繁项集，并且在此约束下能保持向下封闭的特性。有的学者给出一个以模糊集理论和粗糙集相结合的从不完全数量数据中发现关联规则的算法。有的学者提出一种新的模糊数据挖掘方法，它挖掘的是对象与对象间、对象内部之间存在的关联。此外，有的学者探讨了用模糊集理论挖掘序列模式的方法。

4、模糊分类

分类与聚类不同，分类属有监督的学习。对于大规模数据分类仍然是一个具有挑战性的问题，在过去几十年里，作为研究智能系统的一个重要工具，模糊逻辑在分类问题上得到广泛的应用，其提供语言表达能力，使用语言词汇很方便地用规则形式去描述存储在数据库中的知识，人们也容易理解这些规则。

有的学者提出一个自适应的模糊分类模型，该模型通过对训练数据的特征的学习能自动产生IF-THEN规则，规则后件采用置信度如数据所属类别来表示。有的学者提出一种基于模糊信息增益度量的分类方法，该方法首先根据给出的训练样例，对样例中的特征进行模糊信息增益度量，根据模糊信息增益度量，提出一个构建隶属度函数的算法。

在数据挖掘中，高维数据分类，依然是一个具挑战性的问题，在基于模糊IF-THEN规则的模糊逻辑用于解决分类问题上，规则的精确性和可解析性在模糊分类中是十分重要的，通常，这些规则是由专家给出的，自动获取分类规则是一件不容易做到的事情，在对数字数据分类中，目前已提出了不少获得模糊规则的算法，这些方法包括采用启发式程序，模糊神经技术，聚类方法，模糊聚类和模糊关系相结合的方法，此外，还有模糊最近邻和遗传算法等。有的学者提出一个加权函数用于改变模式的兼容度以此获得分类的准确性，而不降低规则的可解析性。有的学者提出一个基于模拟退火启发式方法来构建分类系统，该方法采用模拟启发式学习能力和模糊逻辑的推理能力相结合建立模糊分类系统，系统能够精确抽取输入数据集中精确的分类规则。在没有任何先验知识的前提下，对大规模数据进行分类是一个具挑战性的问题。有的学者提出一个基于原型的自适应的图像分类方法，该方法的目标是对一部分样例进行手工标记，然后在此基础上自动地对剩下的图像进行分类。在对部分样例进行手工标记后，采用模糊c-均值聚类算法对数据集进行初始聚类，之后允许用户根据已知的样例

类别对初始类别进行调整，受主动学习概念的启发，在学习的过程中，学习者可以去查询最

“有用”的样例，因而使得整个监督学习的开销能保持在一个较低水平。

在基于模糊规则的分类系统中，对规则进行加权处理可以作为调整分类结果的一种简单机制，有的学者给出一个含有加权训练模式的模糊分类系统，系统已应用到几个图像系统中去。该文同时提出一个用于调整模糊规则置信度的学习算法，实验证明算法能增加分类的正确率和减少分类过程的开销。

5、总结

随着数据挖掘向结构更复杂、异构、动态、分布数据挖掘方向发展，对模糊集理论提出了新的挑战，例如为了适应大规模动态数据的挖掘，要求算法具有可扩展性，如何进行降维、挖掘性能如何评价、如何缩小数据和人的认识之间存在的语义鸿沟以便较好实现数据的计算机表示与人的认识间的转换，等等。为应对这些挑战，我们认为，可以从下面3个方面对模糊理论作进一步的研究：①继续探讨模糊集理论与其它传统的和非传统的技术相结合的方法，取长补短，更好地应用到数据挖掘上，在这方面，在机器学习和人工智能上，有过成功的例子，如模糊集和神经网络相结合，形成模糊-神经计算模式，它一方面利用了神经网络较强的学习能力和适于信息并行处理能力，另一方面，利用模糊逻辑善于对不精确性数据建模的能力，这使得模糊神经网络模型在模糊知识表达与推理方面得到广泛应用。②随着数据挖掘向复杂结构知识挖掘方向发展，进一步促进归纳推理与挖掘过程研究的深入，机器学习在当中扮演十分重要的角色。而模糊集理论在学习能力方面的研究，目前还没有得到更多应有的关注，今后可以沿着这个方向作更深入的研究。③人们对大规模数据挖掘的结果要求正确、完整、高效的同时，又要求所挖掘出来的模式简单和易于理解，但是全部满足这些特性往往是困难的，如何平衡各种性能指标是一个重要的问题，而且如何去衡量这些指标优劣，目前还没有一个公认的标准。在模糊数据挖掘当中，采用怎样的模糊理论的相关数学表达方式去研究它们之间的关系，以及与之有关的其它问题都有作深入研究的必要。