数据挖掘-从海量数据中发现规则和规律

数据挖掘--从海量数据中发现规则和规律

数据挖掘

徐良为（日本数理系统株式会社）

徐良为

-----------基于数据挖掘进行工业上的品质管理和节省能源控制

关键字：不确定性，知识发现，机器学习，品质改善，节省能源控制

1 前言

数据挖掘借助于计算机的存贮能力与计算能力，从海量的、复杂的数据中发现有价值的知识、规律性和要素之间的对应联系等等。近年来，随着数据挖掘技术迅速的发展，在各种各样的行业中得到有效地运用和实践。在这样的背景下，充满着复杂性、多样性和不确定性的社会中如何去理解和合理地判断、从已有的记录数据出发如何将其复杂的关联性要素进行清晰化模型化、如何将类似的东西合理地分类、计算不确定的事情的发生概率大小等等各类重要性有必要进行重新认识。

对于本文，作者从数据挖掘系统开发者的观点出发，结合以往的制造业质量管理和节省能源控制等项目的实施经验进行数据挖掘的基础技术介绍。第二节是对数据挖掘过程的基本介绍，第三节是制造业的质量改进，第四节是关于产品的生产控制以及节省能源应用的例子。最后一节叙述了数据挖掘将来的展望。

2 数据挖掘过程的基础

我们经常会听到诸如“明日的最高气温是多少度”的问题，由于影响实际气温的因素有许许多多，包括一些人类无法预知的因素，所以要非常精确地说“明日的最高气温是25.4度”是很困难的。但是如果根据最高与最低气温的记录得到“明日的最高气温是（-41,40.9）”谁都不会有异议。但是这个范围太广了，如果说是北京，则根据当地气象状况得到(-9.2,39.5)的范围。更进一步，能够加入季节、周边地区的气象状况等条件的话，这个温度的判断范围还会缩小。但是这个范围始终是概率上的推定，还是有较小的可能性最终实际温度会偏离这个范围。为了缩小范围，需要从海量且复杂的气象数据中将最高气温的关联原因找出来。在这里，我们说：“推断明日的最高气温”这个话题其实是数据挖掘过程的一种基本形式。

图1 数据挖掘作业图

数据挖掘过程中的几个主要步骤：

（1）挖掘目标需明确化

首先要清楚做什么。例如，想知道影响半导体硅晶片震动停滞的原因、生产线故障诊断、生产计划的用料量预测、制造控制中的最优化制动等等。

（2）数据收集

从各种数据存储容器（数据库等）里选择、收集可供数据挖掘使用的数据。为了进行有效的数据挖掘，尽量选择精度高的数据（例如气温相关的记录）是十分重要的。这个阶段收集得到的数据的质量好坏直接影响到最终数据挖掘的成功与否。有关的分析统计结果表明数据挖掘整个过程中有九成时间是花在数据准备上的。

（3）数据加工

为了将取得的数据进行分析，需要进行数据的整理加工，这样才能使之符合分析的格式。具体来说数据加工有缺值的补充或者错误值的修正，单位格式的统一和规格化处理等。

（4）挖掘

这一步骤是数据挖掘的核心部分。主要是选择数据挖掘的方法,其次是从数据出发将有用的数据抽取出来形成一个模型进行假设验证。

（5）结果显示

使用可以让决策者容易理解的形式去将得到的挖掘结果表现出来。

通常，数据挖掘的对象-数据（收集、加工完）是以下表的形式表现的：

表1 制造工程记录数据

上表是检测某个精密仪器所得到实际生产数据。各列（称为变量）是制造条件及最终的合格与否。各行描述了整个制造过程。数据挖掘从表数据出发，寻找制造条件（说明变量）和产品是否合格（目的变量）之间相互影响关系，制造条件与合格与否间是否有某种相关性（用函数及Model形式来体现）。数据的变量可以分为三类：整数型，实数型以及分类型。例如“合格还是不合格”的取值是两种：Yes或者No，这个‘合否’列就是分类型变量。温度是实数变量。

数据挖掘的核心方法部分可以分为以下几类：

·模型的做成与验证（回归分析、分类分析）

·聚类分析

·关联规则

·时间序列分析

·数据可视化及其他

【模型做成、验证】是找到输入（此例中是制造条件）与输出（此例中是合否）的对应关系，或者说模型是一种函数关系。模型常常从既存的数据出发去训练和发现。由于模型是用函数来表达的，所以给函数赋值（此例即制造条件）后得到函数的结果（即合格与否），这在数据挖掘里被称为“预测”。并且根据模型所应用的算法可以得到影响最终合格不合格的制造条件的潜在规律。在统计上，如果目的变量是分类型变量的话常常用分类模型去分析，如果目的变量是数值型变量，则常常用回归分析等方法。

评价一个模型的好坏是用模型的预测精度来衡量的。通常，将记录数据随机地分为学习数据与验证用数据，使用学习数据建立模型，用验证数据来验证模型的预测精度。

模型作成（学习）的方法有很多，现在业界同样有许多新的技术正在研发。具有代表性的有：线性回归分析、决策树、神经网络、k-NN、支持向量机、贝叶斯网络等，还有的将几种模型混合在一起进行集团学习的方法。模型的预测精度依赖于被训练的数据的规模数量。模型一旦做成后，不仅仅是模型的预测精度，包括数据的顽健性（学习数据能涵盖到知识内容的多少），说明能力（模型的结论能和人类的实践经验一致，需具有说服力）等都需要验证和评价。当和期待的结果不一致的时候，重新退回到数据收集阶段，需要检查是否还有其它解释变量需要添加。模型就是这样一个循环往复进行试行验证与纠正的过程。

【聚类分析】将数据看成多维空间中的点，根据点之间的距离划分成多个类。按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。

聚类算法有多分类基准，如基于划分: K-means, K-medoids；基于层次: HFC； 基于密度: DBSCAN；基于网格: CLIQUE , STING；其它还有诸如SOM，Dendrogram，二项soft聚类。

图2 左为K-means 右为二项soft聚类

二项soft聚类[5][6]是近年新兴起的一个热点技术。这是一种针对两个分类型变量间的共起概率（同时发生的可能性大小）进行聚类的一种数据挖掘方法。例如，从顾客对商品所表现的兴趣程度（购买数量与金额等等），预先设置好几种类别将两边的变量顾客与商品进行归类（如图2右）。被分在同一个类别（如上图中的Z1）里面的顾客和商品之间的“关联性”较高，不同类别之间的顾客商品的关联性较弱。经过大量实践证明，这种分类法在文本挖掘（文章与词语，文章与语义之间的关系）、推荐系统（商品与顾客，服务与顾客）、人事系统（工人与工作）都有很好的应用效果。

同时数据挖掘在制造业中的CRM、产品设计（后述）、生产计划排程都发挥着很大的作用。

【关联分析】从数据出发，得到以下的规则（前提至结论）：

工程B.材料=S --> 是否合格=YES

为了评价规则的有效性，可信度

可信度（工程B.材料=S的数据中，合否=YES所占的比重）

可信度

与支持度

支持度(工程B.材料=S并且合否=YES的数据在全体数据中所占比例)是常常使用的支持度

参数。关联分析就是自动的将数据中可信度高并且支持度高的规则发掘出来，也是在数据发生的时候逐次将规则挖掘出来的过程。

【时间序列分析】例如，分析品质管理中的检查装置里得到的根据时间排列的数值数据的变化特征（pattern）情况。时间序列预测一般反映三种实际变化规律:趋势

变化、周期性变化、随机性变化。为了时间序列的显示，常会用到傅里叶变换、平稳随机序列、差分序列等等诸多数学方法。在检测装置的模型抽出、时间序列的聚类、

分段线性表示。

异常信号的检出中常常会用分段线性表示

分段线性表示

图3 时间序列的分段线性表示模式发掘

数据挖掘常常会将以上几种技术进行组合做成一个复杂的模式(Model)进行专业领域的挖掘工作。例如，对检测设备得到的实际数据进行时间序列的分析后，再将其结果进行聚类分析，将不同组的特征挖掘出来，进行每个组的模型的分类分析。

数据挖掘在制造业中品质改善的应用

制造业中品质改善的应用

3 数据挖掘在

数据挖掘在制造业中有着广泛的应用，包括制造过程、生产控制、设备维护、品质改善、缺陷检出、工程技术、精密仪器、决策分析等各种各样的实际运用。本节主要讨论了制造业中的设计阶段和制造阶段的应用。

【设计阶段】为了提高顾客的满意度，有必要考虑诸如产品的价格、性能和功用等因素。提高顾客满意的最好的办法是将每个顾客的需求都能够实现，但是这样导致成本很高，最终会体现在价格上。这样的方式是没有厂家会去采用的。为了兼顾制造成本和顾客满意度，厂商往往会将顾客的需求归类，根据每个类别的特征去设计和生产。

根据顾客产品特征进行问卷调查，将调查结果用二项soft聚类算法进行顾客和产品的两种类别分析。不仅是产品的变化特征，还要得到制造数量比例的指针。产品的特征分类的同时针对顾客进行不同的归类。设置簇ID作为目的变量分析顾客的属性，进一步建立预测模型。各个簇中的顾客属性特征进行关联性分析和群间比较[5]，最终的数据挖掘的结论作为产品设计的参考和帮助指导市场战略的方向性。

【制造阶段】制造条件（制造参数）的最优化是品质改善中极为重要的一个环节。在制造的初期阶段，特别是制造数据很少的情况下，为了得到最优或者说最佳的制造参数，常常用到试验设计法。随着制造生产的进行，制造过程中所积累的数据会越来越多。数据挖掘技术在其中常会起到关键性的作用。其中，不仅仅是单纯的生产参数，包括影响到结果的控制与不能控制的相互关联的基础上进行贴近现实和实际生产情况的模型设计与分析，例如实时分析等等。制造控制的挖掘方法会在下面进行详细介绍。

数据挖掘技术可以直接用在故障的原因诊断，故障的事情预防等等。图4是某一个制造现场的各个工程的工作流程。

图4 制造业中的数据收集过程

学习模型将许许多多的检查数据、制造条件、产品的最终检查结果结合起来，供数据挖掘的决策树分析方法提供数据源。

图5 决策树分析模型

从上面的决策树分析中可以得出两个结论：

（1） 检查6的检查值对于产品的最终合格与否影响较大（因为在决策树算法中，根

节点的解释变量往往是对目标变量影响程度最大的）；

（2） 从根节点顺着子节点去摸索，可以找出产品合格与否因素的一些规律。 4 数据挖掘在数据挖掘在节省节省节省能源能源能源上的应用上的应用

为了对应日趋严重的地球温暖化，节省能源是一个非常必要的方法。其中，节省能源方式的重点是供给侧的能源的生产效率、消费侧的消费效率、以及如何提高生产与消费之间匹配的关系问题。通常以以下的定式化方程来表示：

Max y = f (x , z ) x S

其中，f 是目的函数，y 是f 的输出结果，x 是能够控制的变量群，z 是可以观测但是不可控的外部因素的变量群。S 是x 的取值空间或制约条件。S 一般会随着时间的变化而变化。例如，在风力发电[3]的场合里，f 为输出电力，可控变量如偏摆角度、齿距

角度等组成x，x在可以调整的范围之内，但是如风向、和风速是不可控因素，将之表

示为z。在火力发电[4]的场合里，锅炉效率表示为f，可控变量群x有空气投入量、

煤炭投入量、投入空气的温度等，不可控变量群z有外部气温、河水温度、煤炭质量等。与能源消耗相关的，空调冰箱等电力的消费表示为f(这里以min取代上面定式化

方程中的max)，可控变量群x有电机的外施电压、压缩机电机的回转数，z表示为气温、人体的舒适度等。

现实世界里，问题的对象f是未知的，需要人们去推测和求解。以往的推测方法

常常根据人们自身的经验来判断，将问题过于简单化。但是f的最终结果是受到很多

因素牵制的，并且可能多个因素之间互相影响。所以光凭经验是很难得到理想的预测

效果的。数据挖掘的方法是总已有的积累数据出发进行“学习”。数据挖掘的模型有

时候是不能以数学表达式来体现的。函数由于没有连续性（不能求微分），所以得不

到最大值。所以，从可控变量x的取值范围S（不可控变量z不变或者小范围变动）里进行探索，将得到f达到最大值时的x的变量值，从而控制制造流程。如果考虑变量

之间相互影响的因素，在确定x的变动范围S的同时，将z的变化也考虑进去。针对

数据集（x，z）进行聚类分析，将x的解空间限定在一个簇里面。f的最大值求解方法有局部探索、禁忌探索、退火探索、遗传算法、ES算法、、PSO（Particle Swarm Optimization）法等等。

5 结束语

本文所介绍的一系列数据挖掘方法和例子只是数据挖掘应用中小小的一角。随着

时代的发展，在工业界、商业界、学术界仍然有层出不穷的新的数据挖掘应用案例。

在实际应用的时候，常常会遇到数据量不足或者数据量过于庞大这两个极端的情况。前者可能是在初级阶段无法收集到很多有价值的数据。这种情况下往往会采取

“仿真”的方法进行数据的模拟，进行真实环境下的模拟仿真测试，通过模型来得到

现场的经验方法和有益结论。后者主要是因为社会系统本来就有海量数据的问题，还

有包括诸如从质量管理监测装置和能源消耗测量装置里得到的监测数据。由于检测装

置是高速运转的，无时无刻不在接受数据，如果是这样的情况下，用原来的数据挖掘

的对应方法是无法去解析海量数据的。这个时候需要用到流式数据挖掘技术了，即新

入数据能实时反映在数据挖掘模型里后将其随时丢弃等手法。

数据挖掘是一门交叉学科，它汇集了统计学、人工智能、数据库、模式识别等各

个领域的知识，是在当今世界中发挥着重要作用的一门新兴科学。就如同在数据库系

统中数据的保存和管理是不可或缺的，数据挖掘让数据有效地发挥作用也是当今世界

不可或缺的一项环节。

2011-6-10收录

文 献

(１) J.A.Harding,M.Shahbaz,Srinivas,A.Kusiak:“Data Mining in Manufacturing: AReview”,Journal of Manufacturing Science and Engineering,Vol.128,pp

969-976 (2006)

(２) Shu-guangHe,ZhenHe,G.AlanWang and LiLi:“Quality Improvement using

Data Mining in Manufacturing Processes”,in Data Mining and Knowledge Discovery in Real Life Applications, Edited by: Julio Ponce and Adem

Karahoca, pp.438(2009)

(３) Andrew Kusiak,Haiyang Zheng,Zhe Song:“Power optimization of wind turbines with data mining and evolutionary computation”,Renewable Energy 35,pp1324-1332(2010)

(４) Zhe Song and Andrew Kusaik:“Constraint-Based Control of Boiler Efficiency: A Data-Mining Approach”,IEEE Transactions on industrial informatics,Vol.3,No.1(2007)

(５) 数理系统,「Visual Mining Studio V7.0 用户手册」,技术资料(2011)

(６) T. Hofmann: “Probabilistic Latent Semantic Analysis”,Uncertainty in Artificial Intelligence (1999)

(７) Chiristopher M.Bishop:“Pattern Recognition and Machine Learning”, Springer(2006)

作者作者：：徐良为徐良为。。

上海交通大学毕业后上海交通大学毕业后上海交通大学毕业后，，在日本东京大学获得硕士及博士学位在日本东京大学获得硕士及博士学位。。现就职于日本数理系统公司现就职于日本数理系统公司，，任董事兼数据挖掘部部长任董事兼数据挖掘部部长。。是日本唯一的通用数据挖掘系统Visual Mining Studio 的开发者的开发者。。该工具曾荣获日本计算机统计学会软件开发大奖荣获日本计算机统计学会软件开发大奖，，在同类系统中在同类系统中，，被评价为功能最为丰富的软件包功能最为丰富的软件包。。

在在十几年的数据挖掘技术生涯中十几年的数据挖掘技术生涯中，，为各行业的众多日本顶级企业的统计和数据挖掘技术的应用做过大量的咨询服务业的统计和数据挖掘技术的应用做过大量的咨询服务，，具有统计和数据挖掘极其丰富的经验数据挖掘极其丰富的经验。。