数据分析与挖掘论文

数据挖掘算法——神经网络模型

摘要：通过分析数据挖掘中现有的算法的研究现状以及它们的局限性，介绍一种基于数据库的数据挖掘算法——神经网络模型，本文最后也提出了神经网络模型在数据挖掘中存在的一些问题和发展前景。

关键字：神经网络模型，数据挖掘

引言: 数据挖掘是适应信息社会从海量的数据库中提取信息的需要而产生的新学科。它是统计学、机器学习、数据库、模式识别、人工智能等学科的交叉。数据挖掘往往针对特定的数据、特定的问题，选择一种或者多种挖掘算法，找到数据下面隐藏的规律，这些规律往往被用来预测、支持决策。它的应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务。

数据挖掘技术的方法：

①神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art模型、koholon模型为代表的，用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性，人们难以理解网络的学习和决策过程。

②遗传算法：遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

③决策树方法：决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。

④粗集方法：粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息；简化输入信息的表达空间；算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统，为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论，难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。

⑤覆盖正例排斥反例方法：它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则。

⑥统计分析方法：在数据库字段项之间存在两种关系：函数关系(能用函数公式表示的确定性关系)和相关关系(不能用函数公式表示，但仍是相关确定性关系)，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。

⑦模糊集方法：即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上，提出了定性定量不确定性转换模型--云模型，并形成了云理论。

神经网络发展历史：1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。90年代初，又有脉冲耦合神经网络模型被提出。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

神经网络的的基本特征：

（1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

神经网络的应用：神经网络的应用已经涉及到各个领域，且取得了很大的进展。

自动控制领域：主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。

处理组合优化问题：成功解决了旅行商问题，另外还有最大匹配问题，装箱问题和作业调度问题。

模式识别：手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。

图像处理：对图像进行边缘监测，图像分割，图像压缩和图像恢复。

机器人控制：对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。

医疗：在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进，疾病诊断模型等方面均有应用。

神经网络方法：神经网络方法用于分类、聚类、特征挖掘、预测和模式识别，神经网络方法模仿动物的脑神经元结构，以M—P模型和Hebb学习规则为基础。在本质上是一个分布式矩阵结构，通过对训练数据的挖掘，逐步计算神经网络连接的权值。神经网络模型大致可分为以下三种：（1）前馈式网络：以感知机、反向传播模型和函数型网络为代表，主要用于预测和模式识别等领域；（2）反馈式网络：以Hopfield离散模型和连续模型为代表，主要用于联想记忆和优化计算；（3）自组织网络：以自适应共振理论：ART模型和Kohonen模型为代表，主要用于聚类分析。

神经网络模型存在问题：①数据质量：由于许多数据是动态的、有冗余或不完整，致使产生的规则存在不真实和异常等问题。

②非数值型数据的处理：合理量化此类数据往往凭人们的主观经验而定，这将影响挖掘结果。

③学习样本的大小：对于数据量较小的数据库，可能出现错误的结果，这时就可以把这些数据作为新样本补充到学习样本中去。

④激励函数的选取：激励函数是对多个输入进行处理产生输出的功能模块，它将关系到结果是否有价值和真实，对于数据库中模糊知识的发现，往往先对输出状态进行编码，采用符号函数作为激励函数。

⑤神经网络的训练速度问题：构造神经网络时要求对其训练许多遍，这意味着获得精确的神经网络需要花费许多时间。

神经网络的发展前景：针对神经网络存在的问题和社会需求，今后发展的主要方向可分为理论研究和应用研究两个方面。

（1）利用神经生理与认识科学研究大脑思维及智能的机理、计算理论，带着问题研究理论。人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径，但是由于人类起初对神经系统了解非常有限，对于自身脑结构及其活动机理的认识还十分肤浅，并且带有某种“先验”。而且，神经科学，心理学和认识科学等方面提出的一些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决有助于完善和发展神经网络理论。因此利用神经生理和认识科学研究大脑思维及智能的机理，如有新的突破，将会改变智能和机器关系的认识。利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的网络数理理论。由于神经网络的非线性，因此非线性问题的研究是神经网络理论发展的一个最大动力。特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角度出发是研究神经网络的根本手段。

（2）神经网络软件模拟，硬件实现的研究以及神经网络在各个科学技术领域应用的研究。

由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题；如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机，分子神经计算机，将具有十分诱人的前景

参考文献：

[1] 林筑英，林建勤数据挖掘技术及其所面临的问题贵州师范大学学报2003.8

[2]闪四清，陈茵，程雁数据挖掘清华大学出版社2003

[3]党建武神经网络技术及应用中国铁道出版社1999

[4]胡守仁神经网络应用技术国防科技大学出版社1998

[5]陈京民数据仓库与数据挖掘电子工业出版社2002

[6]李庆亮，张彦峰人工智能的应用及发展前景洛阳师范学院学报1998

[7]杨建刚人工神经网络实用教程浙江大学出版社2001.1