基于WEKA平台的数据挖掘及其在地下水分类中的应用_陈小燕

第20卷第7期2014年7月

水利科技与经济

Water Conservancy Science and Technology and Economy Vol.20No.7Jul.，2014

［收稿日期］2014－03－05

［作者简介］陈小燕（1985－），女，湖北随州人，助理工程师，硕士，主要从事水利水电工程设计工作；易仲强（1985－），

男，湖北荆州人，助理工程师，硕士，主要从事水利水电工程设计工作.

基于WEKA 平台的数据挖掘及其在

地下水分类中的应用

陈小燕1，易仲强

2

（1.贵州省水利水电勘测设计研究院，贵阳

550002； 2.中国水电顾问集团贵阳勘测设计研究院有限公司，贵阳

550081）

［摘

要］工程技术研究离不开科学数据的分析，

而潜在数据很难挖掘出事物的特征和本质，数据挖掘技术能够从这些数据中挖掘出有用信息。以数据挖掘技术为基础，尝试通过WEKA 中C4.5算法的J48决策树模型进行地下水分类研究。结果表明，该方法具有可行性和有效性，为研究人员进行数据挖掘提供参考。［关键词］数据挖掘;WEKA ;地下水分类

［中图分类号］TV213

［文献标识码］B

［文章编号］1006－7175（2014）07－0084－03

如今获取数据的技术和手段越来越多样化，海量的

数据被收集，

但怎样从庞大的数据量中发现背后所隐藏的重要信息，以此来预测未来趋势，为决策提供支持，已成为当务之急。人们需要更有效的手段对各种大量的数据进行分析、提取以挖掘其潜能。数据挖掘正是在这样的应用需求环境下产生并迅速发展起来的，利用数据挖

掘进行分类、预测已经成为当前研究的热点［1］

。

当今许多研究领域，如水利、环境、地质灾害和新能源等诸多问题，都以获取完整可用的科学数据作为其首要任务，从而收集整理数据并建立完善数据库，进而挖掘出潜在的、有用的知识和信息。本文旨在运用基于WEKA 平台的数据挖掘方法进行地下水分类研究与探索，为研究人员提供参考。

1数据挖掘概述

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不

知道的、但又是潜在有用的信息和知识的过程［2］

。

采用数据库管理系统来存储数据，采用机器学习的

方法来分析数据，

挖掘大量数据背后的信息，这两者的结合促成了数据库中知识发现的产生，数据挖掘是KDD 最

核心的部分［3］

。

数据挖掘是通过深入分析数据来解决问题的。在进行数据挖掘过程中，数据以电子化的形式由计算机存储，查询数据可以自动实现；再通过关联规则、分类回归、聚

类分析等算法对数据进行一系列的分析处理，

探寻、描述数据中的结构形式，进而挖掘出隐藏的有用信息。数据挖掘的过程见图1。

数据挖掘从一开始就是应用性的科学、

实用性的技

图1数据挖掘过程图

术，它有很强的实验性。因此，在数据挖掘实验中，选择合适的数据挖掘软件非常重要。目前世界上比较著名的数

据挖掘系统有SAS 公司的Enterprise Miner ，

IBM 公司的Intelligent Miner ，SPSS 公司的Clementine ，Sybase 公司的Warehouse Studio 等一些数据挖掘软件，而在怀卡托大学的WEKA 小组获得了数据挖掘和知识探索领域的最高服

务奖后，

WEKA 系统被广泛认可和接受，是现今最完备的数据挖掘工具之一［4］

。

2WEKA 简介

WEKA ，即怀卡托智能分析环境（Waikato Environment for Knowledge Analysis ），它是一套基于Java 环境的、开源的机器学习和数据挖掘软件。与其它数据挖掘工具的复

杂不同，WEKA 使数据挖掘轻松易行，无需编程也能轻松

实现：它提供了统一的用户界面，

可在任何数据集上应用各种预处理和数据挖掘算法，同时还提供了数据可视化

—

48—

陈小燕，等:基于WEKA 平台的数据挖掘及其在地下水分类中的应用

第7期

功能。

开源性是WEKA 的最大优势，其源代码能方便地在

官方网站获得，

它是一款免费的提供学术许可的软件，因此能根据工作需要，通过实现其接口或继承其方法，进一步开发出适用于各自专业方面的数据挖掘系统。

WEKA 是跨平台的，即能处理连续型数据，也能处理

离散型（字符型、

日期型）数据，它支持结构化文本和数据挖掘格式的文件，提供数据库的接口。它能较好地完成数据预处理、分类、聚类、关联等任务，同时能有效地对噪

声消除、

空缺值处理、离散化、标准化、属性构造等进行操作。它支持参数的设置和算法的嵌入，并且方便地生成基本报告，对模型进行解释，进而实现数据和挖掘过程、

结果的可视化［5］

。

3

数据预处理

3.1

数据准备

WEKA 的数据类型包含数值型、字符串型、分类型、时间型和关系型，并且以AＲFF 文件的格式进行存储。AＲFF 文件由一组实例组成，且由逗号分开每个实例的属性值，目前大部分电子数据表及数据库程序允许用户把数据导入到数值文件中。根据实际需要从数据库或数据

文件中提取出相关数据，

即将目标数据导入WEKA （图2）

。

图2AＲFF 文件导入WEKA 示意图

3.2数据转换及预览

在运用WEKA 进行数据挖掘之前，首先要把数据库

中经过预处理的数据转换为AＲFF 文件。这种转换能直接在WEKA 中进行操作。可以把原始的Excel 文件另存

为CSV 格式，

然后打开WEKA 进入Explorer 模块，打开此CSV 文件，再另存为AＲFF 格式即转换成功。其次是对AＲFF 文件的某些属性进行离散化。这种离散化可以借助WEKA 中的Filter 和UltraEidt 编辑器来完成，也可在数据准备时进行处理。

在Explorer 模块中，通过Preprocess 标签能实现数据加载、

基本信息预览等操作。其中属性的直方图（图3）直观展示了数据集，通过对直方图的分析，能更深入地了解

数据集，

获得对后续操作有用的信息。从图3可以看出，多数属性的直方图呈正态分布，但也存在个别异常。

4决策树分类算法

决策树学习是以实例为基础的归纳学习算法，

它从

图3数据属性直方图

一组无次序、无规律的事例中进行推理并以决策树表示，构建分类器和预测模型，对未知数据进行分类或预测。它由两个过程组成：①利用数据样本集进行训练，精化出一棵决策树，并建立决策树模型；②利用建立的决策树对新的数据进行分类或预测。

决策树分类算法起源于概念学习系统CLS （Concept Learning System ），然后发展到ID3方法，后又演化为能处

理连续属性的C4.5，常用的决策树方法还有Cart 、

Assis-tant 、Sliq 和Sprint 等等［6］

。本文采用WEKA 中C4.5算法的J48决策树模型进行分类预测。C4.5算法主要内容如下：

设S 为s 个数据样本集合，假设类标号属性有m 个不

同值，定义m 个不同类C i （i =1，…，m ），设s i 是类C i 中的

样本数。从而对一个给定的样本分类所需要的期望信息通过下式给出：

I （S 1，S 2，...，S m ）=－∑m

i =1P i log 2（P i ）

其中P i 是任意样本属于C i 的概率，用s i /s 估计。

设属性A 有v 个不同值｛a 1，a 2，...，a v ｝；能用属性A 将S 划分为v 个子集｛S 1，

S 2，...，S v ｝；其中，S j 含S 中样本，并在A 上具有值a j 。若将A 选作测试属性，则这些子

集对应于由包含集合S 的节点生长出来的分枝。设s ij 是子集S j 中C i 的样本数。由A 划分成子集的熵或期望信息为：

E （A ）=－∑v

j =1（（S 1j +…S mj ）/S ）·I （S 1j ，…S mj ）

项（S 1j +…+S mj ）/S 为第j 个子集的权，且等于子集

（即A 值为a j ）中的样本个数与S 中的样本总数的比值。熵值越小，子集划分的纯度越高。对于给定的子集S j ，

I （S 1j ，S 2，...，S mj ）=－∑m

i =1P ij log 2（P ij ）

其中P ij =S ij /S j 是S j 中的样本属于类C i 的概率。

在A 上分枝将获得的编码信息为：Gain （A ）=I （S 1j ，…S mj ）－E （A ）

信息增益率函数：

gainratio （A ）=gain （A ）/spliti （A ）spliti （A ）=－∑v

i =1（P i /m ）log 2（P i /m ）

通过算法计算得到每个属性的信息增益率，具有高

信息增益率的属性被选作集S 的测试属性，创建一个节点，并以该属性进行标记，从而对属性的每一个值创建分

—

58—

第20卷第7期2014年7月

水利科技与经济

Water Conservancy Science and Technology and Economy Vol.20No.7

Jul.，2014

枝，并划分样本。

5实例应用

本文采用2008年贵州某地区地下水观测数据，数据里

含有178个样本属于3个类别（类别1样本数为59，类别2样本数为71，类别3样本数为48），每个样本包含13个特

征分量即属性。实验进行时，

随机选取每类样本的一半作为训练样本，选取每类样本的另一半作为测试样本。

利用WEKA 对数据进行J48决策树分析，其中采用

的参数为：confidenceFactor （置信因数）=0.25，

minNumObj （最小实例数）=1，numFolds （交叉数）=3，Seed （种子数）=1，cross －validation （交叉验证）=6，运行的结果见图4。

通过J48算法生成决策树（图5）。训练样本决策树的结果可解释为：通过决策树中的矩阵可得出，实际为“类别1”的实例，其中26例被正确预测为

“类别1”，4例被错误预测为“类别2”；实际为“类别2”的实例，其中34例被正确预测为

“类别2”，1例被错误预测成“类别1”，1例被错误预测成“类别3”；实际为“类别3”的实例，其中

20例被正确预测为“类别3”，3例被错误预测成“类别2”，可见模型的准确度达90%

。

图4

WEKA

分类结果

图5WEKA 中J48算法生成的决策树

采用生成的决策树模型对测试样本的数据集进行分类预测，且将测试样本数据集和训练样本数据集各个属性的设置保持一致。所得出的预测结果见图6。

从预测结果来看，分类模型中没有出现“跳级”的误判，只有在相邻的等级出现了分类错误。3个原本是“类

别1”的实例，被错误的预测为了

“类别2”，1个原本是“

类图6地下水分类预测结果

别3”的实例，被错误地预测为了“类别2”

；89个测试样本，85个被正确分类预测，预测类别的准确率达到了95.5%。而且该模型能提取相关的评判规则，可以同时处

理数值型和非数值型数据，

清楚地显示某个变量的相对重要程度，可用来构建明确的统计规则模型。由此可见，该方法完全可以用于等级分类预测研究，并对预测结果做出合理的解释。

6结语

本文尝试运用基于WEKA 的数据挖掘分类方法，对2008年贵州某地区地下水进行了分类预测，初步为数据分类在现实中的应用进行了探讨。结果表明，该方法具有可行性和有效性，而且计算简便，不涉及其他更加高深的数学知识和方法，意义清楚，从而为技术性较强的工科类研究提供了便利。在水利科学和电力系统等研究领域都涉及到数据挖掘中的分类和预测问题，如水资源开发利用评价、围岩稳定性分类、电力系统故障分析和电力系统安全稳定性评估等，如果在这些过程中正确合理地引入数据挖掘技术，将会对期望解决的问题有更深刻的认识，理解数据，了解其过程，从而做出科学合理的解释和评估。

［参考文献］

［1］罗泽旺.数据挖掘在水资源分析评价中的应用研究

［D ］.南京：河海大学，2006.［2］Han J W ，Kamber M.数据挖掘：概念与技术［M ］.北

京：机械工业出版社，

2005.3－6.［3］刘晓华.基于WEKA 的数据挖掘技术在物流系统中

的应用［

J ］.科技情报开发与经济，2007，17（22）：189－190.［4］Witten ，I H ，Frank E.Data Mining ：Practical Machine

Learning Tools and Techniques （Second Edition ）［M ］

.Morgan Kaufmann Publishers ，2005.［5］孟晓明，陈慧萍，张涛.基于WEKA 平台的Web 事

务聚类算法的研究［

J ］.计算机工程与设计，2009，30（6）：1332－1338.［6］邵峰晶，于忠清.数据挖掘原理［M ］

.北京：中国水利出版社，

2003.［7］徐邵兵.决策树算法在纳税信用等级评定中的应用

研究［

J ］.电脑知识与技术，2009，5（2）：286－288.(编辑:赵琳琳)

—

68—