分类算法
数据挖掘算法种类
数据挖掘算法种类数据挖掘是从大量数据中发现有用的信息和模式的过程，而数据挖掘算法是实现这一过程的核心工具。
随着数据的不断增长和业务需求的提升，数据挖掘算法也不断发展和完善。
本文将介绍几种常见的数据挖掘算法。
一、分类算法分类算法是数据挖掘中最常用的算法之一。
它通过对已知数据集进行学习，构建一个分类模型，然后使用该模型对未知数据进行分类。
常见的分类算法有决策树、朴素贝叶斯、逻辑回归、支持向量机等。
决策树算法是一种基于树结构的分类方法，它通过对属性的选择和划分建立一棵决策树，从而实现对数据的分类。
朴素贝叶斯算法基于贝叶斯定理和特征条件独立性假设，通过计算后验概率来进行分类。
逻辑回归算法是一种广义线性模型，通过对输入与输出之间的关系进行建模，实现对数据的分类。
支持向量机算法通过构建一个最优超平面，将数据进行分割，从而实现对数据的分类。
二、聚类算法聚类算法是将数据按照其相似性进行分组的一种方法。
它通过计算数据对象之间的距离或相似度，将相似的对象划分到同一簇中。
常见的聚类算法有k-means、层次聚类、DBSCAN等。
k-means算法是一种基于距离的聚类算法，它通过迭代计算数据对象与簇中心之间的距离，将数据划分到最近的簇中。
层次聚类算法将数据对象逐步合并或分割，构建一个层次化的聚类结构。
DBSCAN算法是一种基于密度的聚类算法，它通过计算数据对象的邻域密度来确定簇的形状。
三、关联规则算法关联规则算法用于发现数据中的关联规则，即一个事件或项集与另一个事件或项集之间的关系。
常见的关联规则算法有Apriori、FP-Growth等。
Apriori算法是一种频繁项集挖掘算法，它通过迭代计算数据中的频繁项集，然后生成关联规则。
FP-Growth算法是一种基于前缀树的关联规则挖掘算法，它通过构建一个FP树来高效地挖掘频繁项集。
四、回归算法回归算法用于建立一个输入变量与输出变量之间的关系模型，从而预测未知数据的输出值。
机器学习领域中的分类算法
机器学习领域中的分类算法随着大数据时代的到来，机器学习已经成为了最炙手可热的技术之一。
在数据挖掘和人工智能领域，分类问题一直是非常重要的问题之一。
分类指的是将数据集中的实例按照某种规则将其区分开来。
分类算法可以让机器对不同的输入数据进行自动分类，从而得到更加精准、高质量的预测结果。
在机器学习领域中，分类算法是比较基础和常用的方法之一。
在研究分类算法之前，需要了解一下两个非常重要的概念：特征和标签。
特征是指用于对实例进行描述的属性，比如身高、体重、性别等；而标签则是对每个实例所属类别的标记，也称为类标。
分类算法的目的就是，通过学习这些特征和标签之间的关系，预测新的输入数据的类别。
分类算法的种类非常多，我们可以根据不同的分类方式来对其进行分类。
比如说，可以根据分类模型的分布方式将其分为生成模型和判别模型；也可以根据算法中使用的训练方法将其分为监督学习和非监督学习。
下面我们将会讨论一些常见的分类算法。
1. K最近邻算法（K-Nearest Neighbor Algorithm）K最近邻算法是一种监督学习的算法，它的主要思想是：对于一个新的输入样本，它所属的类别应当与与它最近的K个训练样本的类别相同。
其中K是一个可调参数，也称为邻居的个数。
算法的流程大致如下：首先确定K的值，然后计算每一个测试数据点与训练数据集中每个点的距离，并根据距离从小到大进行排序。
最后统计前K个训练样本中各类别出现的次数，选取出现次数最多的类别作为该测试样本的输出。
K最近邻算法简单易用，但是它有一些局限性。
首先，算法的分类效果对数据的质量非常敏感，因此需要对数据进行预处理。
其次，算法需要存储全部的训练数据，对于大规模数据集，存储和计算的开销非常大。
2. 决策树算法（Decision Tree Algorithm）决策树是一种基于树形结构进行决策支持的算法。
其原理是：将一个问题转化为简单的二选一问题并逐步求解，形成一棵树形结构，从而形成不同的决策路径。
分类预测的算法
分类预测的算法分类预测算法是一种常见的机器学习算法，它在数据分析和预测中具有广泛应用。
分类预测算法的目的是在给定数据集的情况下，将其分成多个类别或标签，以便对未来的数据进行准确预测。
本文将介绍一些常见的分类预测算法，并提供一些应用示例和实践指南。
一、常见分类预测算法1.决策树算法决策树算法是一种常见的分类预测算法。
它使用树形结构来表示所有可能的决策路径和结果。
在分类问题中，决策树通过将数据分成不同的区域来确定最终分类结果。
它的优点是易于实现，并且能够处理各种不同的数据类型。
2.支持向量机算法支持向量机算法是一种基于统计学的分类预测算法。
它尝试找到一条最优直线或超平面，将不同的数据点分为两个或更多个类别。
它的优点是具有良好的鲁棒性和分类性能。
3.朴素贝叶斯算法朴素贝叶斯算法是一种概率分类预测算法。
它使用贝叶斯公式来预测未来的数据。
该算法假设所有特征之间相互独立，从而简化了计算难度。
它还可以有效地处理大型数据集。
4.神经网络算法神经网络算法是一种基于生物神经系统工作原理的分类预测算法。
它使用大量的神经元来模拟人脑的功能，对多维数据进行复杂的分类和预测。
该算法的优点是可以从数据中自动学习特征，并且适用于大型高维数据集。
二、分类预测算法的应用示例分类预测算法在实际应用中有很多应用场景，以下是一些示例：1.医疗诊断预测分类预测算法可以用于医疗领域中的疾病预测和诊断。
例如，可以使用朴素贝叶斯算法来预测患有特定疾病的人的概率。
医生可以根据预测结果为患者进行进一步的检查和治疗。
2.金融风险分析分类预测算法可以用于金融领域中的风险分析。
例如，可以使用支持向量机算法来预测贷款违约的风险。
这种预测可以帮助银行减少贷款违约的风险，保护自身的财产安全。
3.商品推荐分类预测算法可以用于电子商务平台中的商品推荐。
例如，可以使用神经网络算法来分析用户的浏览和购买历史，预测用户感兴趣的商品类型，并将相关商品推荐给用户。
三、分类预测算法的实践指南在使用分类预测算法时，以下是一些实践指南：1.选择合适的算法不同的分类预测算法适用于不同类型的数据集。
鸢尾花分类所用的算法
鸢尾花分类所用的算法
鸢尾花分类是机器学习领域中一个经典的问题，常用的算法包括K近邻算法（K-Nearest Neighbors, KNN）、支持向量机（Support Vector Machine, SVM）、决策树（Decision Tree）、随机森林（Random Forest）、朴素贝叶斯（Naive Bayes）和神经网络等。
K近邻算法是一种基于实例的学习方法，它根据新样本与已知样本的距离来进行分类，选择距离最近的K个样本进行投票决定分类结果。
支持向量机是一种监督学习算法，它通过将数据映射到高维空间，找到一个最优的超平面来进行分类。
决策树是一种树形结构的分类器，通过一系列的规则对数据进行划分，最终得到分类结果。
随机森林是一种集成学习方法，它由多个决策树组成，通过对多个决策树的结果进行投票来进行分类。
朴素贝叶斯是一种基于贝叶斯定理的分类算法，它假设特征之间相互独立，通过计算样本属于每个类别的概率来进行分类。
神经网络是一种模仿人脑神经元网络结构的算法，通过多层神经元的连接和权重调整来进行分类。
这些算法在鸢尾花分类问题中都有较好的表现，选择合适的算法取决于数据集的特征、样本量、计算资源和准确度要求等因素。
同时，也可以通过交叉验证等方法来评估不同算法的性能，以选择最适合的算法进行鸢尾花分类。
分类学习算法综述及其应用案例
分类学习算法综述及其应用案例机器学习是现代社会中非常重要的技术之一。
它是指计算机通过对数据的学习和分析，从中发现某种规律或复杂关系的过程。
分类学习是机器学习中的重要分支之一，它可以用来解决各种问题，如文本分类、图像分类、音频分类等。
本文将综述分类学习算法的基本原理、优缺点及应用案例。
一、分类学习算法简介分类学习算法是指通过对数据的分析，将数据分为不同的类别。
分类问题通常是指给定一组样本，每个样本都有一组属性值，并且每个样本都属于某个类别。
分类算法的任务是学习一个分类模型，用来将每个新的样本分成之前定义的类别中的一个。
在分类学习算法中，通常有两种基本的分类方法：监督学习和无监督学习。
监督学习是指训练数据已经知道它们的类别，算法可以从这些类别中学习如何正确地分类。
常见的监督学习算法有决策树、支持向量机、最近邻算法、神经网络等。
而无监督学习是指训练数据没有预先定义的类别，算法需要自己确定如何将数据分为不同的类别。
常见的无监督学习算法有 K-means、高斯混合模型、层次聚类等。
在本文中，我们将主要介绍监督学习算法，因为它是最常用的分类算法之一，同时具有可解释性和预测准确性较高的优点。
二、分类学习算法的优缺点1. 决策树决策树是一种基于树形结构的分类算法，其主要优点是易于理解和解释。
决策树的每个节点表示一个属性，每个分支表示属性值，树的叶子节点表示分类结果。
决策树可以通过算法自动构建，因此可以适用于大规模的数据集。
但是决策树容易受到噪声数据的干扰，同时容易产生过度拟合问题。
2. 支持向量机支持向量机是一种基于统计学习理论的分类算法，其主要优点是在处理高维数据时具有较好的表现。
支持向量机可以将数据映射到高维空间中，从而将数据集分割为不同的超平面。
支持向量机的缺点是算法复杂度较高，且容易受到选择核函数的影响。
3. 最近邻算法最近邻算法是一种基于临近数据的分类算法，其主要优点是可以自适应地适应数据的分布，因此对于不同的数据集都可以表现出较好的分类效果。
分类与回归应用的主要算法
分类与回归应用的主要算法分类与回归是机器学习中最普遍且重要的应用之一。
其目的是预测输出变量的值，考虑特征变量的影响。
机器学习中常用的分类算法有决策树、支持向量机、朴素贝叶斯和随机森林等，回归算法有线性回归、岭回归、LASSO回归和K-近邻回归等。
1.决策树决策树是一种基于树形结构进行决策的分类算法。
它通过判断特征变量的取值最为关键，根据特征值划分出不同的子节点，并根据节点之间的关系识别输出变量的值。
决策树有较高的解释性和可读性，处理小规模数据的效果非常出色，由于它的效率高、准确性好，近年来逐渐成为了分类问题中的主流方法。
2.支持向量机支持向量机(SVM)是一种基于间隔最大化原理进行分类的算法。
SVM通过选择最优的超平面来划分不同的类别，最终达到分类的目的。
该算法可以有效地解决高维数据的分类问题，广泛应用于文本分类、图像识别、生物信息学、金融和医学等领域。
3.朴素贝叶斯朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设进行分类的算法。
朴素贝叶斯算法可以对大规模样本进行有效的分类，广泛应用于文本分类、垃圾邮件过滤、情感分析等领域。
4.随机森林随机森林(RF)是一种基于随机特征选择和决策树分类的算法。
RF可以在保证精确度的同时降低过拟合风险，不易受到噪声和异常点的影响，广泛应用于遥感影像分类、图像处理、文本分类等领域。
5.线性回归线性回归是一种基于线性模型进行回归分析的算法。
它可以通过变量之间线性关系进行预测，并给出输出变量的具体数值。
线性回归在数据量较大、特征空间较稀疏的情况下运行效果非常好，广泛应用于金融、医学和社会学等领域。
6.岭回归岭回归是一种基于线性回归进行优化的算法。
随着特征数量的增加，线性回归常常会发生过拟合的现象。
岭回归通过在原有的线性回归的模型中添加一个正则项(L2范数)来限制参数，降低模型的方差。
岭回归适用于处理多元线性回归并减少过拟合的问题。
SSO回归LASSO回归是一种基于线性回归进行优化的算法。
高斯贝叶斯算法分类
高斯贝叶斯算法分类
高斯贝叶斯分类器是一种基于贝叶斯定理的分类算法，它假设特征的概率分布是高斯分布。
这种分类器通常用于处理连续型特征的数据集。
高斯贝叶斯分类器的工作原理如下：
1. 计算每个类别的先验概率：在训练数据集中，计算每个类别的先验概率，即类别发生的频率。
2. 计算每个类别的条件概率：对于每个类别，计算每个特征的条件概率，即给定类别的情况下，每个特征值发生的概率。
3. 预测类别：对于一个给定的样本，根据贝叶斯定理计算每个类别的后验概率，并选择具有最高概率的类别作为预测结果。
4. 高斯贝叶斯分类器的主要假设是特征之间相互独立，因此可以将条件概率分解为每个特征的概率乘积。
5. 在实践中，高斯贝叶斯分类器通常用于处理连续型特征的数据集，例如人体特征、天气特征等。
6. 高斯贝叶斯分类器的优点是简单且易于实现，但它对数据的分布有一定的假设，因此在处理非高斯分布的数据时可能效果不佳。
7. 在sklearn 中，可以使用GaussianNB 类来实现高斯贝叶斯分类器。
1/ 1。
python分类方法
python分类方法Python分类方法Python是一种广泛应用于数据分析和机器学习的编程语言，拥有丰富的分类方法可以用于解决各种问题。
本文将介绍几种常见的Python分类方法，并分别对其原理和应用进行详细阐述。
一、K近邻算法（K-Nearest Neighbors，KNN）K近邻算法是一种简单而有效的分类算法，其基本思想是通过计算待分类样本与训练集中样本之间的距离，选择距离最近的K个样本作为参考，根据这K个样本中的多数类别来确定待分类样本的类别。
KNN算法虽然简单，但在许多实际问题中表现出了良好的效果。
本文将详细介绍KNN算法的原理、优缺点以及在Python中的应用。
二、决策树算法（Decision Tree）决策树算法是一种常用的分类方法，它通过构建一棵树状结构来对样本进行分类。
决策树算法的核心思想是通过一系列的判断条件将样本划分为不同的类别，直到达到最终的分类结果。
本文将详细介绍决策树算法的原理、构建过程、优缺点以及在Python中的实现方法。
三、朴素贝叶斯算法（Naive Bayes）朴素贝叶斯算法是一种基于贝叶斯定理的分类方法，它假设特征之间相互独立，通过计算后验概率来确定待分类样本的类别。
朴素贝叶斯算法在文本分类、垃圾邮件过滤等领域有着广泛的应用。
本文将详细介绍朴素贝叶斯算法的原理、应用场景以及在Python中的实现方法。
四、支持向量机算法（Support Vector Machine，SVM）支持向量机算法是一种基于统计学习理论的分类方法，它通过寻找一个最优的超平面来对样本进行分类。
支持向量机算法的核心思想是将样本映射到高维空间中，使得样本在高维空间中线性可分。
本文将详细介绍支持向量机算法的原理、优缺点以及在Python中的应用。
五、随机森林算法（Random Forest）随机森林算法是一种基于决策树的集成学习方法，它通过构建多棵决策树来对样本进行分类，并通过投票的方式确定最终的分类结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
分类算法摘要：分类算法是数据挖掘中的最重要的技术之一。
通过对当前提出的最新的具有代表性的分类算法进行分析和比较，总结每类算法的各方面特性，从而便于研究者对已有的算法进行改进，提出具有更好性能的新的分类算法，同时方便使用者在应用时对算法的选择和使用。
关键词：分类算法决策树基于规则贝叶斯人工神经网络支持向量机分类是挖掘数据的一个重要技术，是数据挖掘中最有应用价值的技术之一，其应用遍及社会各个领域。
分类任务就是通过学习得到一个目标函数（通常也称作分类模型，即分类器），把每个属性集映射到一个预先定义的类标号。
分类和回归都可以用于预测。
和回归方法不同的是，分类的类标号是离散属性，而预测建模的回归的目标属性是连续的。
构造分类器的过程一般分为训练和测试两个阶段。
在构造模型之前，要求将数据集随机地分为训练数据集和测试数据集。
在训练阶段,分析训练数据集的属性，为每个属性产生一个对相应数据集的属性描述或模型。
在测试阶段，利用属性描述或模型对测试数据集进行分类,测试其分类准确度。
一般来说，测试阶段的代价远远低于训练阶段。
为了提高分类的准确性、有效性和可伸缩性，在进行分类之前，通常要对数据进行预处理，包括：(1)数据清理。
其目的是消除或减少数据噪声，处理空缺值。
(2)相关性分析。
由于数据集中的许多属性可能与分类任务不相关，若包含这些属性将减慢和可能误导学习过程。
相关性分析的目的就是删除这些不相关或冗余的属性。
(3)数据变换。
数据可以概化到较高层概念。
比如，连续值属性“收入”的数值可以概化为离散值：低，中，高。
又比如，标称值属性“市”可概化到高层概念“省”。
此外，数据也可以规范化, ,规范化将给定属性的值按比例缩放，落入较小的区间，比如[0,1]等。
分类模型的构造方法有决策树类、基于规则类、最近邻类、贝叶斯类、人工神经网络类等。
1决策树分类算法1.1决策树基本概念决策树是一种由结点和有向边组成的层次结构，树中包含三种结点；根结点、内部结点和叶结点（终结点）。
它采用自顶向下的递归方式，在根结点使用属性将训练数据集区分开，在内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，树的每个叶结点都赋予一个类标号，即在叶结点得到结论。
决策树是实例的分类器。
从根到叶结点的一条路径就对应着一条规则，整个决策树就对应着一组析取表达式规则。
可将实例分到多个分类(≥2)并以析取范式(DNF)形式重写为规则。
这种具有预测功能的系统叫决策树分类器。
1.2常用的决策树算法决策树分类算法从提出以来，出现了很多算法，比较常用的有：1986年Quinlan提出了著名的ID3算法。
ID3算法体现了决策树分类的优点：算法的理论清晰，方法简单，学习能力较强。
其缺点是:只对比较小的数据集有效，且对噪声比较敏感，当训练数据集加大时，决策树可能会随之改变，并且在测试属性选择时，它倾向于选择取值较多的属性。
在ID3算法的基础上，1993年Quinlan又自己提出了改进算法—C4. 5算法。
为了适应处理大规模数据集的需要，后来又提出了若干改进的算法，其中SLIQ(su-pervised learning in quest)和SPRINT (scalable parallelizable induction of decision trees)是比较有代表性的两个算法，PUBLIC (Pruning andBuilding Integrated in Classification)算法是一种很典型的在建树的同时进行剪枝的算法。
此外，还有很多决策树分类算法。
1.3决策树技术中的核心问题建立决策树的目标是通过训练样本集，建立目标变量关于各输入变量的分类预测模型，全面实现输入变量和目标变量不同取值下的数据分组，进而用于对新数据对象的分类和预测。
当利用所建决策树对一个新数据对象进行分析时，决策树能够依据该数据输入变量的取值，推断出相应目标变量的分类或取值。
决策树技术中有各种各样的算法，这些算法都存在各自的优势和不足。
目前，从事机器学习的专家学者们仍在潜心对现有算法的改进，或研究更有效的新算法总结起来，决策树算法主要围绕两大核心问题展开:第一，决策树的生长问题，即利用训练样本集，完成决策树的建立过程。
第二，决策树的剪枝问题，即利用检验样本集，对形成的决策树进行优化处理。
以下将主要就这两方面的问题进行论述。
1.4决策树的应用和注意事项决策树是数据挖掘应用最广的技术之一，一般用于对新数据对象的分类或预测。
在实际分析中，决策树还可以应用到其他方面，如生成推理规则，寻找最佳变量等决策树可以看成是推理规则的一种图形表示，可以在决策树的基础之上产生推理规则。
另外，由于决策树的建立过程是一个不断选择最佳输入变量的过程。
因此，在划分数据方面，高层结点上的输入变量比低层结点上的输入变量更有价值，所以可以将决策树看成一种测度变量价值大小的工具。
应用决策树技术时应注意以下几个问题：第一，一般的决策树算法中，决策树的每个分枝判断只能针对单个输入变量值进行，无法同时根据多个输入变量的取值情况进行判断，这会在一定程度上限制决策树的应用范围。
从而，需要事先对变量进行处理。
第二，决策树所处理的输入变量的类型可以是定距型，也可以是定类或定序型。
在处理不同类型数据时，决策树有各自的优点和问题：当输入变量是定距型时，决策树技术的主要优势是：当数据采用不同的计量单位或当数据中存在离群点时，不会给决策树带来显著影响，因而不会给数据的准备工作带来额外负担;缺点是：忽略了数据所中蕴涵的分布形态的信息。
当输入变量是定类或定序型时，决策树的建树效率会较高。
但主要的问题是:当输入变量的分类值很多且取值分布极为分散时，决策树会过于“茂盛”，使得树结点上的样本量随着树层数的增加而快速下降，不利于决策树的合理生长改进的方法是将样本量较少的类合并，但由于类间合并有很多可选择的方案，只有穷尽所有的类合并方案后才有可能得到较好的合并结果，但穷尽的可行性会受到实际应用的限制。
1.5决策树算法的实例决策树分类可应用在钢铁厂轧辊选择中，用于决策是否更换某一轧辊的情况，在钢铁厂中，轧辊是易磨损的，且轧辊选择中，用于决策是价格比较高，需要经常更换，使用成本比较高。
而且一旦轧辊出了问题，可能会造成很大的损失。
正确的决策是否更换某一轧辊，使得公司的效益最大化，具有重要的现实意义。
把以往的更换情况整理的数据作为训练集，然后对影响是否更换的相关特征进行数据挖掘，从而可得到对轧辊的选择的决策进行指导的有意义的知识。
在进行挖掘前，首先对数据进行清理，可采用平滑技术消除或减少噪声，用该属性最常用的值处理空缺值。
用决策树算法进行分类，要求处理连续属性和离散属性。
在选择中，轧辊受役龄、价格、是否关键部件和磨损程度等多种因素影响，通过分类算法得到决策树，用来决策正在生产线上的某一轧辊是否需要更换。
表1中的数据是从钢铁厂的轧辊更换的数据库中抽取出的部分数据，含有5个属性：役龄、价格、是否关键部件、磨损程度和是否更换。
利用这样的少量的数据来说明决策树分类在钢铁厂轧辊选择中的应用。
表1 轧辊更换情况数据库训练数据使用信息增益进行属性选择：更新的备件数为s1，不更新的备件数为s2。
I (s1, s2)=I(9, 5)=0.94E(役龄)=0.694Gain(役龄)=0.245同理，Gain(价格)=0. 21, Gain(是否关键部件)=0. 15, Gain(磨损程度)=0. 10因为Gain(磨损程度)<Gain(关键部件)<Gain(价格)<Gain(役龄)，可以看出以“役龄”，这个属性进行训练集分类的信息赢取值最大，于是“役龄”就被选为用于划分的属性，以此类推，可以得到决策树如图1所不。
图1使用ID3算法得到轧辊是否更换问题的决策树这样的通过训练集得到的决策树分类模型就可以用来对新数据进行分类了，即可以判断生产线上的轧辊是否需要更换了。
2基于规则分类算法2.1基于规则分类器概念基于规则的分类器是使用一组“if …then ”规则来分类记录的技术。
模型店规则用析取范式 R=（r 1 v r 2 v ···v r k ）表示，而每一项分类规则可以表示为如下形式：r i （条件i ）——>y i其中R 称作规则集，r i 是分类规则或析取项，给则的左边称为规则前件，右边称为规则后件。
如果规则r 的前件和记录x 的属性匹配，则称r 覆盖x 。
分类规则的质量可以用覆盖率和准确率（或置信因子）来度量。
若给定数据集D 和条件A ，则有：覆盖率=D A 准确率=AyA ⋂其中A 是满足规则前件的记录数，y ⋂A 是同时满足规则前件和后件的记录数，D 是记录总数。
2.2基于规则分类器工作原理基于规则的分类器根据测试记录所触发的规则来分类记录，所产生的规则集有两个重要的性质：第一是互斥规则，如果规则集R 中不存在两条规则被同一条记录触发；第二是穷举规则，如果对属性值的任一组合，R 中都存在一条规则加以覆盖。
两个性质可以保证每一条记录被且仅被一条规则覆盖。
而解决规则集不是互斥的所带来可能相互冲突的预测规则有两种方法：第一是有序规则，使规则集中的规则按照优先等级排序，避免由多条预测而产生的类冲突的问题；第二是无需规则，把每条规则的后件看做是对相应的一次投票，然后计票确定测试记录的类标号，可以避免由于选择不当的规则而产生的错误影响，其次模型的开销相对较小，从而不必维护规则的顺序。
2.3基于关联规则(CBA: Classification Based on Association Rule)的分类算法CBA 算法主要是通过发现样本集中的关联规则来构造分类器。
关联规则的发现采用经典算法Apriori ，通过迭代检索出数据集中所有的频繁项集，即支持度小低于用户设定阈值的项集。
此算法的优点是发现的规则相对较全面且分类准确度较高，其缺点是：①当潜在频繁2项集规模较大时，算法会受到硬件内存的制约，导致系统I/O 负荷过重；②由于对数据的多次扫描和JOIN 运算所产生潜在频繁项集，Apriori 算法的时问代价高昂。
针对Apriori 算法的缺陷，LIG(large items generation)算法在求解频繁1项集的同时计算相应项的相关区问，以此得到缩小了的项集的潜在频繁2项集。
频繁模式增长((FP)算法放弃利用潜在频繁项集求解频繁项集的做法，进而提出频率增长算法。
该算法通过扫描数据集得到频繁项的集合以及各项支持度，并按支持度大小降序排列频繁项目列表，然后通过构造一个FP —树来进行关联规则挖掘。
其优点是:在完备性上，它不会打破任何模式且包含挖掘所需的全部信息；而在紧密性方面，它能剔除不相关信息，并不包含非频繁项，故支持度高的项在FP —树中共享机会也高。