数据挖掘期末实验报告

合集下载

数据挖掘实验报告

数据挖掘实验报告

数据挖掘实验报告一、引言。

数据挖掘作为一种从大量数据中发现隐藏模式和信息的技术,已经被广泛应用于各个领域。

本实验旨在通过对给定数据集的分析和挖掘,探索其中潜在的规律和价值信息,为实际问题的决策提供支持和参考。

二、数据集描述。

本次实验使用的数据集包含了某电商平台上用户的购物记录,其中包括了用户的基本信息、购买商品的种类和数量、购买时间等多个维度的数据。

数据集共包括了10000条记录,涵盖了近一年的购物数据。

三、数据预处理。

在进行数据挖掘之前,我们首先对数据进行了预处理。

具体包括了数据清洗、缺失值处理、异常值处理等步骤。

通过对数据的清洗和处理,保证了后续挖掘分析的准确性和可靠性。

四、数据分析与挖掘。

1. 用户购买行为分析。

我们首先对用户的购买行为进行了分析,包括了用户购买的商品种类偏好、购买频次、购买金额分布等。

通过对用户购买行为的分析,我们发现了用户的购买偏好和消费习惯,为电商平台的商品推荐和营销策略提供了参考。

2. 商品关联规则挖掘。

通过关联规则挖掘,我们发现了一些商品之间的潜在关联关系。

例如,购买商品A的用户80%也会购买商品B,这为商品的搭配推荐和促销活动提供了依据。

3. 用户价值分析。

基于用户的购买金额、购买频次等指标,我们对用户的价值进行了分析和挖掘。

通过对用户价值的评估,可以针对不同价值的用户采取个性化的营销策略,提高用户忠诚度和购买转化率。

五、实验结果。

通过对数据的分析和挖掘,我们得到了一些有价值的实验结果和结论。

例如,发现了用户的购买偏好和消费习惯,发现了商品之间的关联规则,发现了用户的不同价值等。

这些结论为电商平台的运营和管理提供了一定的参考和决策支持。

六、结论与展望。

通过本次实验,我们对数据挖掘技术有了更深入的理解和应用。

同时,也发现了一些问题和不足,例如数据质量对挖掘结果的影响,挖掘算法的选择和优化等。

未来,我们将继续深入研究数据挖掘技术,不断提升数据挖掘的准确性和效率,为更多实际问题的决策提供更有力的支持。

数据挖掘实验报告结论(3篇)

数据挖掘实验报告结论(3篇)

第1篇一、实验概述本次数据挖掘实验以Apriori算法为核心,通过对GutenBerg和DBLP两个数据集进行关联规则挖掘,旨在探讨数据挖掘技术在知识发现中的应用。

实验过程中,我们遵循数据挖掘的一般流程,包括数据预处理、关联规则挖掘、结果分析和可视化等步骤。

二、实验结果分析1. 数据预处理在实验开始之前,我们对GutenBerg和DBLP数据集进行了预处理,包括数据清洗、数据集成和数据变换等。

通过对数据集的分析,我们发现了以下问题:(1)数据缺失:部分数据集存在缺失值,需要通过插补或删除缺失数据的方法进行处理。

(2)数据不一致:数据集中存在不同格式的数据,需要进行统一处理。

(3)数据噪声:数据集中存在一些异常值,需要通过滤波或聚类等方法进行处理。

2. 关联规则挖掘在数据预处理完成后,我们使用Apriori算法对数据集进行关联规则挖掘。

实验中,我们设置了不同的最小支持度和最小置信度阈值,以挖掘出不同粒度的关联规则。

以下是实验结果分析:(1)GutenBerg数据集在GutenBerg数据集中,我们以句子为篮子粒度,挖掘了林肯演讲集的关联规则。

通过分析挖掘结果,我们发现:- 单词“the”和“of”在句子中频繁出现,表明这两个词在林肯演讲中具有较高的出现频率。

- “and”和“to”等连接词也具有较高的出现频率,说明林肯演讲中句子结构较为复杂。

- 部分单词组合具有较高的置信度,如“war”和“soldier”,表明在林肯演讲中提到“war”时,很可能同时提到“soldier”。

(2)DBLP数据集在DBLP数据集中,我们以作者为单位,挖掘了作者之间的合作关系。

实验结果表明:- 部分作者之间存在较强的合作关系,如同一研究领域内的作者。

- 部分作者在多个研究领域均有合作关系,表明他们在不同领域具有一定的学术影响力。

3. 结果分析和可视化为了更好地展示实验结果,我们对挖掘出的关联规则进行了可视化处理。

通过可视化,我们可以直观地看出以下信息:(1)频繁项集的分布情况:通过柱状图展示频繁项集的分布情况,便于分析不同项集的出现频率。

数据挖掘实验报告

数据挖掘实验报告

数据挖掘实验报告数据挖掘是一门涉及发现、提取和分析大量数据的技术和过程,它可以揭示出隐藏在数据背后的模式、关系和趋势,对决策和预测具有重要的价值。

本文将介绍我在数据挖掘实验中的一些主要收获和心得体会。

实验一:数据预处理在数据挖掘的整个过程中,最重要的一环就是数据预处理。

数据预处理包括数据清洗、数据集成、数据转换和数据规约等步骤,目的是为了提高数据的质量和可用性。

首先,我对所使用的数据集进行了初步的观察和探索。

发现数据集中存在着一些缺失值和异常值。

为此,我使用了一些常见的缺失值处理方法,如均值替代、中值替代和删除等。

对于异常值,我采用了离群值检测和修正等方法,使得数据在后续的分析过程中更加真实可信。

其次,我进行了数据集成的工作。

数据集合并是为了整合多个来源的数据,从而得到更全面和综合的信息。

在这个过程中,我需要考虑数据的一致性和冗余情况。

通过采用数据压缩和去重等技术,我成功地完成了数据集成的工作。

接着,我进行了数据转换的处理。

数据转换是为了将原始的数据转换成适合数据挖掘算法处理的形式。

在这个实验中,我采用了数据标准化和归一化等方法,使得不同属性之间具备了可比性和可计算性,从而便于后续的分析过程。

最后,我进行了数据规约的操作。

数据规约的目的在于减少数据的维数和复杂度,以提高数据挖掘的效果。

在这个阶段,我采用了主成分分析和属性筛选等方法,通过压缩数据集的维度和减少冗余属性,成功地简化了数据结构,提高了挖掘效率。

实验二:关联规则挖掘关联规则挖掘是数据挖掘中常用的一种方法,它用于发现数据集中项集之间的关联关系。

在这个实验中,我使用了Apriori算法来进行关联规则的挖掘。

首先,我对数据进行了预处理,包括数据清洗和转换。

然后,我选择了适当的最小支持度和最小置信度阈值,通过对数据集的扫描和频繁项集生成,找出了数据集中的频繁项集。

接着,我使用了关联规则挖掘算法,从频繁项集中挖掘出了具有一定置信度的关联规则。

在实验过程中,我发现挖掘出的关联规则具有一定的实用性和可行性。

数据挖掘实验报告

数据挖掘实验报告

数据挖掘实验报告一、实验目的本次数据挖掘实验的主要目的是深入了解数据挖掘的基本概念和方法,并通过实际操作来探索数据中潜在的有价值信息。

二、实验环境本次实验使用了以下软件和工具:1、 Python 编程语言,及其相关的数据挖掘库,如 Pandas、NumPy、Scikitlearn 等。

2、 Jupyter Notebook 作为开发环境,方便进行代码编写和结果展示。

三、实验数据实验所使用的数据来源于一个公开的数据集,该数据集包含了关于_____的相关信息。

具体包括_____、_____、_____等多个字段,数据量约为_____条记录。

四、实验步骤1、数据预处理首先,对原始数据进行了清洗,处理了缺失值和异常值。

对于缺失值,根据数据的特点和分布,采用了平均值、中位数或删除等方法进行处理。

对于异常值,通过箱线图等方法进行识别,并根据具体情况进行了修正或删除。

接着,对数据进行了标准化和归一化处理,使得不同特征之间具有可比性。

2、特征工程从原始数据中提取了有意义的特征。

例如,通过计算某些字段的均值、方差等统计量,以及构建新的特征组合,来增强数据的表达能力。

对特征进行了筛选和降维,使用了主成分分析(PCA)等方法,减少了特征的数量,同时保留了主要的信息。

3、模型选择与训练尝试了多种数据挖掘模型,包括决策树、随机森林、支持向量机(SVM)等。

使用交叉验证等技术对模型进行了评估和调优,选择了性能最优的模型。

4、模型评估使用测试集对训练好的模型进行了评估,计算了准确率、召回率、F1 值等指标,以评估模型的性能。

五、实验结果与分析1、不同模型的性能比较决策树模型在准确率上表现较好,但在处理复杂数据时容易出现过拟合现象。

随机森林模型在稳定性和泛化能力方面表现出色,准确率和召回率都比较高。

SVM 模型对于线性可分的数据表现良好,但对于非线性数据的处理能力相对较弱。

2、特征工程的影响经过合理的特征工程处理,模型的性能得到了显著提升,表明有效的特征提取和选择对于数据挖掘任务至关重要。

数据挖掘 实验报告

数据挖掘 实验报告

数据挖掘实验报告数据挖掘实验报告引言:数据挖掘是一门涉及从大量数据中提取有用信息的技术和方法。

在当今信息爆炸的时代,数据挖掘在各个领域中扮演着重要的角色。

本实验旨在通过应用数据挖掘技术,探索数据中的隐藏模式和规律,以提高决策和预测的准确性。

一、数据收集与预处理在数据挖掘的过程中,数据的质量和完整性对结果的影响至关重要。

在本次实验中,我们选择了某电商平台的销售数据作为研究对象。

通过与数据提供方合作,我们获得了一份包含订单信息、用户信息和商品信息的数据集。

在数据预处理阶段,我们对数据进行了清洗、去重和缺失值处理。

清洗数据的目的是去除噪声和异常值,以确保数据的准确性。

去重操作是为了避免重复数据对结果的干扰。

而缺失值处理则是填补或删除缺失的数据,以保证数据的完整性。

二、数据探索与可视化数据探索是数据挖掘的重要环节,通过对数据的分析和可视化,我们可以发现数据中的潜在关系和规律。

在本次实验中,我们使用了数据可视化工具来展示数据的分布、相关性和趋势。

首先,我们对销售数据进行了时间序列的可视化。

通过绘制折线图,我们可以观察到销售额随时间的变化趋势,从而判断销售业绩的季节性和趋势性。

其次,我们对用户的购买行为进行了可视化分析。

通过绘制柱状图和饼图,我们可以了解用户的购买偏好和消费习惯。

三、数据挖掘建模在数据挖掘建模阶段,我们选择了关联规则和聚类分析两种常用的数据挖掘技术。

关联规则分析用于发现数据集中的频繁项集和关联规则。

通过关联规则分析,我们可以了解到哪些商品经常被一起购买,从而为销售策略的制定提供参考。

在本次实验中,我们使用了Apriori算法来挖掘频繁项集和关联规则。

通过设置支持度和置信度的阈值,我们筛选出了一些有意义的关联规则,并对其进行了解释和分析。

聚类分析用于将数据集中的对象划分为不同的组,使得同一组内的对象相似度较高,而不同组之间的相似度较低。

在本次实验中,我们选择了K-means算法进行聚类分析。

通过调整聚类的簇数和距离度量方式,我们得到了一些具有实际意义的聚类结果,并对不同簇的特征进行了解读和解释。

数据挖掘实验报告总结

数据挖掘实验报告总结

数据挖掘实验报告总结引言数据挖掘是一种从大规模数据集中提取有用信息和模式的过程。

本实验是基于Python的数据挖掘实验,旨在使用已掌握的数据挖掘算法对给定的数据集进行分析和预测。

本报告将对实验过程进行总结,并对结果进行评估和分析。

实验步骤实验过程主要包括以下步骤:1.数据集的加载与探索:首先,我们需要加载数据集并对其进行初步的探索。

这包括查看数据的前几行,了解数据的结构和特征等。

2.数据预处理:在进行数据挖掘之前,需要对数据进行预处理,包括数据清洗、缺失值处理、数据变换等。

这有助于提高数据质量和模型的准确性。

3.特征选择与降维:选择合适的特征对于数据挖掘的准确性和效率至关重要。

本实验中,我们将使用特征选择算法和降维技术来减少特征的数量并保留最具代表性的特征。

4.模型选择与训练:在经过特征选择和降维之后,我们需要选择合适的数据挖掘算法来进行模型训练。

本实验将使用常见的分类算法和聚类算法进行模型选择和训练。

5.模型评估与优化:最后,我们将评估模型的性能并进行优化。

通过对模型结果进行评估,我们可以了解模型在不同指标下的表现,并针对具体问题优化模型的参数和算法选择。

实验结果经过以上步骤,我们得到了以下实验结果:1.数据集加载与探索结果:通过查看数据集,我们了解到数据集包含X个特征和Y个样本。

数据的结构和特征分布情况也得到了初步的了解。

2.数据预处理结果:在数据预处理过程中,我们对数据进行了清洗,处理了缺失值,并进行了特征变换。

这些处理操作使数据集更加干净和整洁,为后续的数据挖掘建模做了准备。

3.特征选择与降维结果:通过特征选择算法和降维技术,我们成功减少了数据集的维度,并保留了最具代表性的特征。

这有助于提高模型的训练效率和准确性。

4.模型选择与训练结果:在模型选择和训练阶段,我们尝试了多个经典的分类算法和聚类算法。

经过比较和实验,我们选择了X算法进行模型训练。

模型的训练结果显示,模型在训练集上的准确率为X%。

数据挖掘实验报告

数据挖掘实验报告

数据挖掘实验报告一、实验背景。

数据挖掘是指从大量的数据中发现隐藏的、有价值的信息的过程。

在当今信息爆炸的时代,数据挖掘技术越来越受到重视,被广泛应用于商业、科研、医疗等领域。

本次实验旨在通过数据挖掘技术,对给定的数据集进行分析和挖掘,从中发现有用的信息并进行分析。

二、实验目的。

本次实验的目的是通过数据挖掘技术,对给定的数据集进行分析和挖掘,包括数据的预处理、特征选择、模型建立等步骤,最终得出有用的信息并进行分析。

三、实验内容。

1. 数据预处理。

在本次实验中,首先对给定的数据集进行数据预处理。

数据预处理是数据挖掘过程中非常重要的一步,包括数据清洗、数据变换、数据规约等。

通过数据预处理,可以提高数据的质量,为后续的分析和挖掘奠定基础。

2. 特征选择。

在数据挖掘过程中,特征选择是非常关键的一步。

通过特征选择,可以筛选出对挖掘目标有用的特征,减少数据维度,提高挖掘效率。

本次实验将对数据集进行特征选择,并分析选取的特征对挖掘结果的影响。

3. 模型建立。

在数据挖掘过程中,模型的建立是非常重要的一步。

通过建立合适的模型,可以更好地挖掘数据中的信息。

本次实验将尝试不同的数据挖掘模型,比较它们的效果,并选取最优的模型进行进一步分析。

4. 数据挖掘分析。

最终,本次实验将对挖掘得到的信息进行分析,包括数据的趋势、规律、异常等。

通过数据挖掘分析,可以为实际问题的决策提供有力的支持。

四、实验结果。

经过数据预处理、特征选择、模型建立和数据挖掘分析,我们得到了如下实验结果:1. 数据预处理的结果表明,经过数据清洗和变换后,数据质量得到了显著提高,为后续的分析和挖掘奠定了基础。

2. 特征选择的结果表明,选取的特征对挖掘结果有着重要的影响,不同的特征组合会对挖掘效果产生不同的影响。

3. 模型建立的结果表明,经过比较和分析,我们选取了最优的数据挖掘模型,并对数据集进行了进一步的挖掘。

4. 数据挖掘分析的结果表明,我们发现了数据中的一些有意义的趋势和规律,这些信息对实际问题的决策具有重要的参考价值。

数据挖掘实例实验报告(3篇)

数据挖掘实例实验报告(3篇)

第1篇一、实验背景随着大数据时代的到来,数据挖掘技术逐渐成为各个行业的重要工具。

数据挖掘是指从大量数据中提取有价值的信息和知识的过程。

本实验旨在通过数据挖掘技术,对某个具体领域的数据进行挖掘,分析数据中的规律和趋势,为相关决策提供支持。

二、实验目标1. 熟悉数据挖掘的基本流程,包括数据预处理、特征选择、模型选择、模型训练和模型评估等步骤。

2. 掌握常用的数据挖掘算法,如决策树、支持向量机、聚类、关联规则等。

3. 应用数据挖掘技术解决实际问题,提高数据分析和处理能力。

4. 实验结束后,提交一份完整的实验报告,包括实验过程、结果分析及总结。

三、实验环境1. 操作系统:Windows 102. 编程语言:Python3. 数据挖掘库:pandas、numpy、scikit-learn、matplotlib四、实验数据本实验选取了某电商平台用户购买行为数据作为实验数据。

数据包括用户ID、商品ID、购买时间、价格、商品类别、用户年龄、性别、职业等。

五、实验步骤1. 数据预处理(1)数据清洗:剔除缺失值、异常值等无效数据。

(2)数据转换:将分类变量转换为数值变量,如年龄、性别等。

(3)数据归一化:将不同特征的范围统一到相同的尺度,便于模型训练。

2. 特征选择(1)相关性分析:计算特征之间的相关系数,剔除冗余特征。

(2)信息增益:根据特征的信息增益选择特征。

3. 模型选择(1)决策树:采用CART决策树算法。

(2)支持向量机:采用线性核函数。

(3)聚类:采用K-Means算法。

(4)关联规则:采用Apriori算法。

4. 模型训练使用训练集对各个模型进行训练。

5. 模型评估使用测试集对各个模型进行评估,比较不同模型的性能。

六、实验结果与分析1. 数据预处理经过数据清洗,剔除缺失值和异常值后,剩余数据量为10000条。

2. 特征选择通过相关性分析和信息增益,选取以下特征:用户ID、商品ID、购买时间、价格、商品类别、用户年龄、性别、职业。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

数据挖掘技术期末报告理学院姓名:学号:联系电话:专业班级:评分:优□|良□|中□|及格□|不及格□一、实验目的基于从UCI公开数据库中下载的数据,使用数据挖掘中的分类算法,用Weka 平台的基本功能对数据集进行分类,对算法结果进行性能比较,画出性能比较图,另外针对不同数量的训练集进行对比实验,并画出性能比较图训练并测试。

二、实验环境实验采用Weka平台,数据使用来自从UCI公开数据库中下载,主要使用其中的Breast Cancer Wisc-onsin (Original) Data Set数据。

Weka是怀卡托智能分析系统的缩写,该系统由新西兰怀卡托大学开发。

Weka使用Java写成的,并且限制在GNU通用公共证书的条件下发布。

它可以运行于几乎所有操作平台,是一款免费的,非商业化的机器学习以及数据挖掘软件。

Weka提供了一个统一界面,可结合预处理以及后处理方法,将许多不同的学习算法应用于任何所给的数据集,并评估由不同的学习方案所得出的结果。

三、实验步骤3.1数据预处理本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类,该表含有Sample code number(样本代码),Clump Thickness(丛厚度),Uniformity of Cell Size(均匀的细胞大小),Uniformity of Cell Shape (均匀的细胞形状),Marginal Adhesion(边际粘连),Single Epithelial Cell Size(单一的上皮细胞大小),Bare Nuclei(裸核),Bland Chromatin(平淡的染色质),Normal Nucleoli(正常的核仁),Mitoses(有丝分裂),Class(分类),其中第二项到第十项取值均为1-10,分类中2代表良性,4代表恶性。

通过实验,希望能找出患乳腺癌客户各指标的分布情况。

该数据的数据属性如下:1. Sample code number(numeric),样本代码;2. Clump Thickness(numeric),丛厚度;3.Uniformity of Cell Size(numeric)均匀的细胞大小;4. Uniformity of Cell Shape(numeric),均匀的细胞形状;5.Marginal Adhesion(numeric),边际粘连;6.Single Epithelial Cell Size(numeric),单一的上皮细胞大小;7.Bare Nuclei(numeric),裸核;8.Bland Chromatin(numeric),平淡的染色质;9. Normal Nucleoli(numeric),正常的核仁;10.Mitoses(numeric),有丝分裂;11.Class(enum),分类。

3.2数据分析由UCI公开数据库得到一组由逗号隔开的数据,复制粘贴至excel表中,选择数据——分列——下一步——逗号——完成,该数据是有关乳腺癌数据集,有11个属性,分别为Sample code number(样本代码),Clump Thickness (丛厚度),Uniformity of Cell Size(均匀的细胞大小),Uniformity of Cell Shape (均匀的细胞形状),Marginal Adhesion(边际粘连),Single Epithelial Cell Size(单一的上皮细胞大小),Bare Nuclei(裸核),Bland Chromatin(平淡的染色质),Normal Nucleoli(正常的核仁),Mitoses(有丝分裂),Class (分类),因为复制粘贴过来的数据没有属性,所以手工添加一行属性名。

Weka 分类数据需把excel保存为一个csv文件。

图1中显示的是使用“Exploer”打开“乳腺癌数据集.csv.arff”的情况.如图1所示:(图1)3.2.1 数据预处理很明显发现,所用的数据都是(numeric)数值型的,需要将数值型离散化,将“Clump Thickness ”,“Uniformity of Cell Size ”,“Uniformity of Cell Shape”,“Marginal Adhesion ”,“Marginal Adhesion ”,“Bare Nuclei ”,“Bland Chromatin ”,“Normal Nucleoli ”,“Mitoses”,“Class”离散化。

我们需要借助Weka中名为“Discretize”的Filter来完成。

在区域2中点“Choose”,出现一棵“Filter树”,逐级找到“weka.filters.unsupervised.attribute.Discretize”点击,即可。

现在“Choose”旁边的文本框应该显示“Discretize -B 10 -M -0.1 -Rfirst-last”。

如图箭头所示,点击这个文本框会弹出新窗口以修改离散化的参数。

我们需将第1,2,3,4,5,6,7,8,9,10项离散化,其中第一项为id,可移除。

把attributeIndices右边改成“1,2,3,4,5,6,7,8,9,10”。

我们把这两个属性都分成10段,于是把“bins”改成“10”。

其它不变。

点“OK”回到“Explorer”,可以看到“Clump Thickness ”,“Uniformity of Cell Size ”,“Uniformity of Cell Shape”,“Marginal Adhesion ”,“Marginal Adhesion ”,“Bare Nuclei ”,“Bland Chromatin ”,“Normal Nucleoli ”,“Mitoses”,已经被离散化成分类型的属性。

经移除后剩10项属性,其中一项如图2所示,10项属性可视化如图3所示:(图2)(图3)3.3.1决策树分类用“Explorer”打开刚才得到的“乳腺癌数据集.csv.arff”,并切换到“Class”。

点“Choose”按钮选择“tree(weka.classifiers.trees.j48)”,这是Weka中实现的决策树算法。

得到结果如图4和图5所示:(图4)这个是针对第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项运用C4.5决策算法得到误差分析的结果,分析可知总共有699个数据进行分类,Clump Thickness(丛厚度)其中102个为正确分类,正确分类率为26.03726%,517个为错误分类,错误分类为73.9268%。

而第九项Mitoses有丝分裂项也是分析699个数据,其中正确分类有579个数据,正确率为82.8326%,错误分类的有120个,错误分类的有17.1674%。

根据混淆矩阵,被错误分类实例很多如图(图6)3.3.2贝叶斯分类为了与上面决策树作比较,贝叶斯也选择第一项第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项,得到结果如下图7,8所示:(图7)(图8)这个是针对第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项运用贝叶斯算法得到误差分析的结果,分析可知总共有699个数据进行分类,Clump Thickness(丛厚度)其中198个为正确分类,正确分类率为28.3262%,501个为错误分类,错误分类为71.6738%。

而第九项Mitoses有丝分裂项其中正确分类有467个数据,正确率为66.8097%,错误分类的有232个,错误分类的有33.1903%。

根据混淆矩阵,被错误分类实例很多,相对来说,Clump Thickness丛厚度用两种方法混淆程度差不多,错综复杂,而Mitoses有丝分裂项用贝叶斯分类明显混淆矩阵要比用决策树方法混淆率要低,中间第六项到就第九项明显混响不是很多,如图9所示。

基于以上两种分析,建议用贝叶斯分类方法分类,降低混淆率,提高正确率。

(图9)3.3.3K最近邻算法分类在刚才进行决策树分类和贝叶斯分类的的的那个页面,点“Choose”按钮选择“laze->ibk”,选择Cross-Validatioin folds=10,然后点击“start”按钮:同样选择图中箭头指向选择属性,然后点击“start”按钮:为了与上面决策树和贝叶斯作比较,K最近邻算法分类也选择第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项,得到结果如下图10,11所示:(图10)(图11)这个是针对第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项运用K最近邻算法得到误差分析的结果,分析可知总共有699个数据进行分类,Clump Thickness(丛厚度)其中191个为正确分类,正确分类率为27.3247%,508个为错误分类,错误分类为72.6753%。

而第九项Mitoses有丝分裂项其中正确分类有546个数据,正确率为78.1116%,错误分类的有153个,错误分类的有21.8884%。

根据混淆矩阵,被错误分类实例很多,相对来说,Clump Thickness丛厚度与前两个算法混淆程度差不多,错综复杂,甚至比前两个更要复杂,而Mitoses有丝分裂项用K最近邻算法明显混淆矩阵要比用决策树方法和贝叶斯方法混淆率要低,中间第四项到就最后明显混响不是很多,如图12所示:(图12)3.4三种分类方法结果比较如表所示:四、三种算法在进行测试的性能比较要进行性能比较,则需比较这10项属性的预测,同上文一样,这里只比较第一项Clump Thickness丛厚度和第九项Mitoses有丝分裂项,点“more options...”按钮,选勾选“out prediction”,其他不勾选,然后点击“OK”按钮如图13所示:(图13)得到性能测试结果如下,图14分别为第一项Clump Thickness丛厚度用决策树方法、贝叶斯、K最近邻算法预测的结果,图15分别为第九项Mitoses 有丝分裂项用决策树方法、贝叶斯、K最近邻算法预测的结果。

结果如下:(图14)分析第一项Clump Thickness丛厚度。

性能分析应该包括两个部分,一个部分是测试速度,另一个部分是测试的质量。

由于本次使用所使用的数据量一般,不是很多,在测试速度的对比上相差太少,无法进行准确的分析。

而在测试质量上,可以从上述数据中很明显得到,在“error”(错误项),决策树和K最近邻算法很多加号,这说明错误率很大,从而导致分类质量的降低;而对于“probability distribution”(概率分布项),决策树和K最近邻算法分布很混乱,前六项属性的概率分布波动较大,而贝叶斯与其相比,“error”(错误项)几乎无“+”,说明其错误率相对其他两种方法,贝叶斯的错误率降低很多,而且在“probability distribution”(概率分布项),上,分布很整齐,所以从性能角度上讲,贝叶斯算法好一点。

相关文档
最新文档