数据挖掘与统计工作

台湾辅仁大学教授谢绑昌先生作的“数据挖掘与统计工作”

报告原文

数据发掘的工作（Data Mining）是近年来数据库应用领域中，相当热门的议题。它是个神奇又时髦的技术，但却也不是什么新东西，因为Data Mining使用的分析方法，如预测模型（回归、时间数列）、数据库分割（Database Segmentation）、连接分析（Link Analysis）、偏差侦测（Deviation Detection）等；美国政府从第二次世界大战前，就在人口普查以及军事方面使用这些技术，但是信息科技的进展超乎想象，新工具的出现，例如关连式数据库、对象导向数据库、柔性计算理论（包括Neural network、Fuzzy theory、Genetic Algorithms、Rough Set等）、人工智能的应用（如知识工程、专家系统），以及网络通讯技术的发展，使从数据堆中挖掘宝藏，常常能超越归纳范围的关系；使Data Mining成为企业智慧的一部份。

Data Mining是一个浮现中的新领域。在范围和定义上、推理和期望上有一些不同。时代不一样了，现在数据来得既多又便宜，多到了没有人有时间去看的程度。挖掘的信息和知识从巨大的数据库而来，它被许多研究者在数据库系统和机器学习当作关键研究议题，而且也被企业体当作主要利基的重要所在。有许多不同领域的专家，对Data Mining展现出极大兴趣，例如在信息服务业中，浮现一些应用，如在Internet之数据仓储和在线服务，并且增加企业的许多生机。

我们对于这种Data Mining的产品应该有一个正确的认知，就是它不是一个无所不能的魔法。它不是在那边监视你的数据的状况，然后告诉你说你的数据库里发生了某种特别的现象。也不是说有了Data Mining的工具，就连不了解业务、不了解资料所代表的意义、或是不了解统计原理的人也可以做Data Mining。Data Mining所挖掘出来的信息，也不是你可以不经确认，就可以照单全收应用到业务上的。事实上，Data Mining工具是用来帮助业务分析策画人员从资料中发掘出各

种假设（Hypothesis），但是它并不帮你查证（Verify）这些假设，也不帮你判断这些假设对你的价值。

The Evolution of Data Mining

何谓Data Mining

Data Mining是指找寻隐藏在数据中的讯息，如趋势（Trend）、特征（Pattern）及相关性（Relationship）的过程，也就是从数据中发掘信息或知识（有人称为Knowledge Discovery in Databases, KDD），也有人称为「资料考古学」(Data Archaeology)、「数据样型分析」（Data Pattern Analysis）或「功能相依分析」(Functional Dependency Analysis)，目前已被许多研究人员视为结合数据库系统与机器学习技术的重要领域，许多产业界人士也认为此领域是一项增加各企业潜能的重要指标。此领域蓬勃发展的原因：现代的企业体经常搜集了大量资料，包括市场、客户、供货商、竞争对手以及未来趋势等重要信息，但是信息超载与无结构化，使得企业决策单位无法有效利用现存的信息，甚至使决策行为产生混乱与误用。如果能透过数据发掘技术，从巨量的数据库中，发掘出不同的信息与知识出来，作为决策支持之用，必能产生企业的竞争优势。

Data Mining可说会合了以下六种领域：

●Database systems, Data Warehouses, OLAP

●Machine learning

●Statistical and data analysis methods

●Visualization

●Mathematical programming

●High performance computing

Data Mining应用的行业包括了金融业、电信业、零售商、直效行销、制造业、医疗保健及制药业等等，应用领域如下表：

现今计算机运算能力的跃进，以及数据储存技术的进步，数据仓储的广泛建置，加上企业行销策略转为针对单一消费者个人行销，更突显Data Mining对于企业的迫切性。

Why do we need data mining?

–Large number of records (cases) (108-1012 bytes)

–High dimensional data (variables) (10-104 attributes)

–Only a small portion, typically 5% to 10%, of the collected data is ever analyzed.

–Data that may never be explored continues to be collected out of fear that something that may prove important in the future may be missing.

–Magnitude of data precludes most traditional analysis (more on complexity later).

Data Mining 和统计分析有什么不同？

硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，Data Mining

有下列几项特性：

1.处理大量实际资料更强势，且无须太专业的统计背景去使用Data Mining的

工具；

2.数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件，

Data Mining的工具更符合企业需求；

3.纯就理论的基础点来看，Data Mining和统计分析有应用上的差别，毕竟Data

Mining目的是方便企业末端用者使用而非给统计学家检测用的。

数据仓储、KDD、Data mining的关系若将Data Warehousing（资料仓储）比喻作矿坑，Data Mining就是深入矿坑采矿的工作。毕竟Data Mining不是一种无中生有的魔术，也不是点石成金的炼金术，若没有够丰富完整的数据，是很难期待Data Mining能挖掘出什么有意义的信息的。

要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集资料的工具。「数据仓储」，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统（Design Support System）所需的数据，供决策支持或数据分析使用。从信息技术的角度来看，数据仓储的目标是在组织中，在正确的时间，将正确的数据交给正确的人。

许多人对于数据仓储（Data Warehouse）和数据挖掘（Data Mining）时常混淆，不知如何分辨。其实，数据仓储是数据库技术的一个新主题，在数据科技日渐普及下，利用计算机系统帮助我们操作、计算和思考，让作业方式改变，决策方式也跟着改变。另外，决策支持系统和主管信息系统也日渐普遍，它们操作数据的方式不尽相同，因而有必要把作业性数据库和数据仓储分隔开来，利用不同数据库系统与技术操作，才能达系统最佳化。由于关系型数据库、平行处理及分布式数据库技术的进步，不论是主从式架构或主机型架构的数据库系统，资料仓储技术皆可以利用原有作业中或已有的(Legacy)系统，进而提供一个稳固的基础以支持全公司的决策支持系统（DSS）。

数据仓储本身是一个非常大的数据库，它储存着由组织作业数据库中整合而来的数据，特别是指从在线处理系统（OLTP）所得来的数据。将这些整合过的数

据置放于数据仓储中，而公司的决策者则利用这些数据作决策；但是，这个转换及整合数据的过程，是建立一个数据仓储最大的挑战。因为将作业中的数据转换成有用的的策略性信息是整个数据仓储的重点。也就是，数据仓储应该具有这样的数据：整合性数据（integrated data）、详细和汇总性的数据(detailed and summarized data)、历史数据、解释数据的数据（Metadata）。如果数据仓储集合具有成功有效率地探测数据的世界，则挖掘出决策有用的数据与知识，是建立数据仓储与使用Data Mining的最大目的。而从数据仓储挖掘有用的数据，则是Data Mining的研究重点，两者的本质与过程是两码事。换句话说，数据仓储应先行建立完成，Data mining才能有效率的进行，因为数据仓储本身所含数据是「干净」(不会有错误的数据参杂其中)、完整的，而且是整合在一起的。因此，或许可说Data Mining是从巨大数据仓储找出有用信息之一种过程与技术。

OLAP 能不能代替 Data Mining？

所谓OLAP（Online Analytical Process）意指由数据库所连结出来的在线查询分析程序。有些人会说：「我已经有OLAP的工具了，所以我不需要Data Mining。」事实上两者间是截然不同的，主要差异在于Data Mining用在产生假设，OLAP

则用于查证假设。简单来说，OLAP是由使用者所主导，使用者先有一些假设，然后利用OLAP来查证假设是否成立；而Data Mining则是用来帮助使用者产生

假设。所以在使用OLAP或其它Query的工具时，使用者是自己在做探索（Exploration），但Data Mining是用工具在帮助做探索。

举个例子来看，一市场分析师在为超市规划货品架柜摆设时，可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品，接着便可利用OLAP的工具去验证此假设是否为真，又成立的证据有多明显；但Data Mining则不然，执行Data Mining的人将庞大的结帐数据整理后，并不需要假设或期待可能的结果，透过Mining技术可找出存在于数据中的潜在规则，于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现，这是OLAP所做不到的。

Data Mining常能挖掘出超越归纳范围的关系，但OLAP仅能利用人工查询及可视化的报表来确认某些关系，是以Data Mining此种自动找出甚或不会被怀疑过的数据型样与关系的特性，事实上已超越了我们经验、教育、想象力的限制，OLAP可以和Data Mining互补，但这项特性是Data Mining无法被OLAP取代的。

KDD(Knowledge Discovery in Data base)和Data Mining的关系也是需要厘清的，根据Fayyad等人对KDD的定义：「The nontrivial Process of identifying valid、novel、potentially useful, and ultimately understandable pattern in data」，其流程步骤是：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择（Selection）之数据子集；再从目的数据中作前置处理（Pre-processing），去除错误或不一致的数据；然后作数据简化与转换工作（Transformation）；在经由「Data Mining」的技术程序成为样型（Patterns）、做回归分析或找出分类型态；最后经过「Interpretation/Evaluation」成为有用的知识。这些程序是一个循环的关系，一直重复的步骤，最后才得到一些有用的知识。所以，KDD是一连串的程序，Data Mining是其中的一个步骤而已。

总而言之，Data Mining，Data warehouse，KDD三者的关系可以如此厘清，即Data warehouse是一个经过处理、整合之数据库，而KDD是一种知识发现的

一连串程序，Data Mining只是KDD的一个重要程序。它们最终目的，乃为组织取得决策支持所需的信息，这个信息是突破盲点、见人所未见的知识和讯息，能替组织取得竞争优势。

Data Mining的功能

一般而言，Data Mining功能可包含下列五项功能：

?分类(classification)

?推估(estimation)

?预测(prediction)

?关联分组(affinity grouping)

?同质分组(clustering)

兹将这些功能的意义及可能使用的技巧简述如下：

分类

按照分析对象的属性分门别类加以定义，建立类组(class)。例如，将信用申请者的风险属性，区分为高度风险申请者，中度风险申请者及低度风险申请者。使用的技巧有决策树(decision tree)，记忆基础推理(memory-based reasoning)等。

推理

根据既有连续性数值之相关属性数据，以获致某一属性未知之值。例如按照信用申请者之教育程度、行为别来推估其信用卡消费量。使用的技巧包括统计方法上之相关分析、回归分析及类神经网络方法。

预测

根据对象属性之过去观察值来推估该属性未来之值。例如由顾客过去之刷卡消费量预测其未来之刷卡消费量。使用的技巧包括回归分析、时间数列分析及类神经网络方法。

关联分组

从所有对象决定那些相关对象应该放在一起。例如超市中相关之盥洗用品(牙刷、牙膏、牙线)，放在同一间货架上。在客户行销系统上，此种功能系用来确认交叉销售(cross-selling)的机会以设计出吸引人的产品群组。

同质分组

将异质母体中区隔为较具同构型之群组(clusters)。同质分组相当于行销术语中的区隔化(segmentation)，但是，假定事先未对于区隔加以定义，而数据中自然产生区隔。使用的技巧包括k-means法及agglomeration法。

Data Mining的应用

Data Mining导入企业，其重点在于企业领域方面的知识，而它的

Domain-specific Tools要结合企业中使用者的语言和分析过程，才能发挥工具的效能与增进企业的智慧。换句话说，就是要颠覆常规和超越平日的想象，展现企业目标与问题的知识，以支持解释别人看不到、看不出的信息来。企业必须能够从巨大数据库中挖掘到浓缩、先前不知、可理解的信息，并从使用中获利。例如，一个发行管理共同基金（mutual funds)的企业体要发掘潜在客户，它要能整合客户的账户、人口统计、生活型态等数据。也就是说要能把数据库中人口数据切分成为一些关键子集合：都市化情况、婚姻状态、家庭所得、年龄、风险偏好、高净值等。最后，依据资料挖宝分析结果，可区分集群和从事推广促销活动，成功的把共同基金推展至市场上。

目前企业界把Data Mining应用在许多领域。例如，行销、财务、银行、制造厂、通讯等。并且产学合作下，发展出许多实用的系统，例如MDT、Coverstory and Spotlight、NichWork visualization system、LBS、FALCON、FAIS、NYNEX、TASA等等。这些数据发掘的系统，应用非常广泛，例如有一个应用在行销领域

的例子：经由记录客户的消费记录与采购路线，超级市场可以设计出更吸引顾客购买的环境。根据数据挖掘出特别的信息来，因此现在超级市场的厨房用品，是按照女性的视线高度来摆放。根据研究指出：美国妇女的视线高度是150公分左右，男性是163公分左右，而最舒适的视线角度是视线高度以下15度左右，所以最好的货品陈列位置是在130至135公分之间。

企业界实际发展Data Mining时，效能并不能预期，因为有许多因素影响着。例如，不充足的教育训练、不适当的支持工具、数据的无效性、过于丰富的样型（patterns）、多变与具时间性的数据、空间导向数据（spatially oriented data）、复杂的数据型态、数据的衡量性(scalability)。这说明数据与知识的发掘是一项信息丰富性的工作，面对易变的环境，没有现成的Model马上可用，也不要期望按照程序即能成功。因此，我们要体会一些潜在的因素，如数据取舍、实体关系性、数量多寡、复杂性、数据质量、可取得性、变迁、专家意见等因素，才能做好资料挖掘工作。

Data Mining对每个公司来说都是一种重要的策略性的的计划，而将之列为高度机密，所以要调查各家公司到底用Data Mining来做什么样的事其实相当不容易。根据Two Crows Corp.最近的调查显示，Data Mining主要的三个应用方式-如我们所预期的-都在市场推广方面，分别是：Customer Profiling、Targeted Marketing、以及Market-Basket Analysis。

在Customer Profiling方面，我们希望找出客户的一些共同的特征，希望能藉此预测哪些人可能成为我们的客户，以帮助行销人员找到正确的行销对象。Data Mining可以从现有客户数据中找出他们的特征，再利用这些特征到潜在客户数据库里去筛选出可能成为我们客户的名单，作为行销人员推销的对象。行销人员就可以只针对这些名单寄发广告数据，以降低成本，也提高行销的成功率。

Market-Basket Analysis主要是用来帮助零售业者了解客户的消费行为，譬如哪些产品客户会一起购买，或是客户在买了某一样产品之后，在多久之内会买另一样产品等等。利用Data Mining，零售业者可以更有效的决定进货量或库存量，或是在店里要如何摆设货品，同时也可以用来评估店里的促销活动的成效。

客户关系的管理是Data Mining的另一个常见的应用方式。我们可以由一些原本是我们的客户，后来却转而成为我们竞争对手的客户群中，分析他们的特征，再根据这些特征到现有客户数据中找出有可能转向的客户，然后公司必须设计一些方法将他们留住，因为毕竟找一个新客户的成本要比留住一个原有客户的成本要高出许多。

近来电话公司、信用卡公司、保险公司、股票交易商、以及政府单位对于诈欺行为的侦测（Fraud Detection）都很有兴趣，这些行业每年因为诈欺行为而造成的损失都非常可观。Data Mining可以找出可能的诈欺交易，减少损失。财务金融业可以利用Data Mining来分析市场动向，并预测个别公司的营运以及股价走向。Data Mining的另一个独特的用法是在医疗业，用来预测手术、用药、诊断、或是流程控制的效率。

下面是一些 Data Mining 的在科学、行销、工业、商业、体育…等各方面运用的类型：

●在财务金融方面，预测市场动向，防范犯罪诈欺。

●分析客户的行为，可以让您看出您的客户是不是准备要转向您的竞争对手。数据挖采中的前后行为分析（Sequential Pattern Detection）功能让您分析那些已经转向您的竞争对手的客户在转向期间的行为，如此您就可以在现有客户中找到可能转向的客户，想办法留住他们。

●数据挖采可以帮您找出从前的一些信用不良的客户的特征，而从这些特征您就可以从现有客户中找出可能有不良信用的客户，防止产生坏账，也可以过滤这些人成为您的客户。

●数据挖采中的客户分类（Segmentation）功能，可以让您更了解您所服务的客户，这样您就可以设计更好的产品来满足您的客户的需求。

●商业智慧所要解决的问题还包括如何减低诈欺或不实的申报（Fraud）。利用资料挖采的技术，您可以在特定的客户群中找出可能的诈欺行为，如此才能减少损失，增加利润。

●如果采用不同的价格策略，是否能增加市场占有率？

●什么时候才是推出新产品的好时机？

●我们与竞争对手的优劣势如何？

●让我们获利高的客户们有什么共同的特征？

●当我们的客户要转向我们的竞争对手之前，是否有何前兆？

●如何认定客户的信用风险状况？

●如何设计更好的保险产品来吸引客户，让客户满意？

●一个经纪人在一个星期中应该可以卖出多少共同基金？

●于销售资料中，发掘顾客的消费习性

●根据以往审核的资料，找寻核发信用卡的规则

●在NBA球赛数据中，找出球员的强弱点

●从消费及缴费数据中，预警信用卡呆帐可能

●从通话记录数据中，预警盗打电话可能

●从宇宙飞船拍摄的影像数据，找寻星球上的火山

●星际星体分类

Web Mining 和Data Mining有什么不同？

如果将Web视为CRM的一个新的Channel，则Web Mining便可单纯看做Data Mining应用在网络数据的泛称。

该如何测量一个网站是否成功？哪些内容、优惠、广告是人气最旺的？主要访客是哪些人？什么原因吸引他们前来？如何从堆积如山之大量由网络所得数据中找出让网站运作更有效率的操作因素？以上种种皆属Web Mining 分析之范畴。Web Mining 不仅只限于一般较为人所知的log file分析，除了计算网页浏览率以及访客人次外，举凡网络上的零售、财务服务、通讯服务、政府机关、医疗咨询、远距教学等等，只要由网络连结出的数据库够大够完整，所有Off-Line可

进行的分析，Web Mining都可以做，甚或更可整合Off-Line及On-Line的数据库，实施更大规模的模型预测与推估，毕竟凭借因特网的便利性与渗透力再配合网络行为的可追踪性与高互动特质，一对一行销的理念是最有机会在网络世界里完全落实的。

整体而言，Web Mining具有以下特性：1. 资料收集容易且不引人注意，所谓凡走过必留下痕迹，当访客进入网站后的一切浏览行为与历程都是可以立即被纪录的；2. 以交互式个人化服务为终极目标，除了因应不同访客呈现专属设计的网页之外，不同的访客也会有不同的服务；3. 可整合外部来源数据让分析功能发挥地更深更广，除了log file、cookies、会员填表数据、在线调查数据、在线交易数据等由网络直接取得的资源外，结合实体世界累积时间更久、范围更广的资源，将使分析的结果更准确也更深入。

利用Data Mining技术建立更深入的访客数据剖析，并赖以架构精准的预测模式，以期呈现真正智能型个人化的网络服务，是Web Mining努力的方向。Data Mining 在CRM 中扮演的角色为何？

CRM（Customer Relationship Management）是近来引起热烈讨论与高度关切的议题，尤其在直效行销的崛起与网络的快速发展带动下，跟不上CRM的脚步如同跟不上时代。事实上CRM并不算新发明，奥美直效行销推动十数年的CO （Customer Ownership）就是现在大家谈的CRM—客户关系管理。

Data Mining应用在CRM的主要方式可对应在Gap Analysis之三个部分：

针对Acquisition Gap，可利用Customer Profiling找出客户的一些共同的特征，希望能藉此深入了解客户，藉由Cluster Analysis对客户进行分群后再透过Pattern

Analysis预测哪些人可能成为我们的客户，以帮助行销人员找到正确的行销对象，进而降低成本，也提高行销的成功率。

针对Sales Gap，可利用Basket Analysis帮助了解客户的产品消费模式，找出哪些产品客户最容易一起购买，或是利用Sequence Discovery预测客户在买了某一样产品之后，在多久之内会买另一样产品等等。利用Data Mining可以更有效的决定产品组合、产品推荐、进货量或库存量，甚或是在店里要如何摆设货品等，同时也可以用来评估促销活动的成效。

针对Retention Gap，可以由原客户后来却转成竞争对手的客户群中，分析其特征，再根据分析结果到现有客户资料中找出可能转向的客户，然后设计一些方法预防客户流失；更有系统的做法是藉由Neural Network根据客户的消费行为与交易纪录对客户忠诚度进行Scoring的排序，如此则可区隔流失率的等级进而配合不同的策略。

CRM不是设一个（080）客服专线就算了，更不仅只是把一堆客户基本数据输入计算机就够，完整的CRM运作机制在相关的硬软件系统能健全的支持之前，有太多的数据准备工作与分析需要推动。企业透过Data Mining可以分别针对策略、目标定位、操作效能与测量评估等四个切面之相关问题，有效率地从市场与顾客所搜集累积之大量资料中挖掘出对消费者而言最关键、最重要的答案，并赖以建立真正由客户需求点出发的客户关系管理。

Data Mining的进行步骤

资料挖掘既然可以增加企业智慧，提升企业竞争优势，到底应该如何进行呢？根据Glymour等人的研究，提出一个参考的进行步骤如下：

1.理解数据与进行的工作

2.获取相关知识与技术（Acquisition）

3.融合与查核资料（Integration and checking）

4.去除错误或不一致的数据（Data cleaning）

5.发展模式与假设（Model and hypothesis development）

6.实际数据挖掘工作

7.测试与检核所挖掘的数据（Testing and verfication）

8.解释与使用数据（Interpretation and use）

从八个步骤来看，Data Mining牵涉大量的规划与准备，而从其它文献得知，专家声称高达80%的过程花在准备数据阶段，这包括表格的Join以及可能相当大量的数据转换。从这个角度看，Data Mining只是知识发掘过程中的一个步骤而已，而达到这个步骤前还有许许多多的工作要完成。

个案研究

现在已经有相当数量的公司安装了数据挖采软件，以找出那些会造成利润差异的信息。

1.完美的购物经验-英国Safeway

此个案研究探讨英国的Safeway如何运用Data Mining来从大量的数据中萃取商业信息。英国Safeway使用Intelligent Miner从数据中萃取商业知识，这是一个Data Mining可以成为企业的一部份的最佳范例。英国Safeway定义了明确并实际的目标，使用相当干净的数据源，进行Data Mining，并且投注许多人力用以解读Data Mining的结果，并且采取实际的行动以善用Data Mining所发掘出来的信息。

英国Safeway的年销售量超过一百亿美金，旗下的员工接近七万名，是英国第三大的连锁超级市场，提供的服务种类则达三十四种。该公司的信息部有两台System/390服务器，以平行的方式执行DB2，其中最大者每周要管理八百万笔交易，以及约4TB的磁盘储存容量。

根据英国Safeway的信息总监迈克温曲指出，该公司在两年前就体会到必须要采用不同的方式来取得竞争上的优势。「在英国市场运用传统的技术，如更低的价位、更多的店面、以及更多种类的产品，竞争已经越来越困难了，」温曲先生说：「大部份的竞争对手在价格以及产品范围方面都能与我们匹敌。由于土地以及扩充的成本，没有一家公司有足够的资源可以在扩充方面超越对手。」温曲先生的说法是，这个问题的答案是：「必须以客户为导向，而非以产品与店家为导向。这意味着我们必须更了解客户个人。为了达成这个目标，我们必须了解六百万客户所做的每一笔交易，以及这些交易彼此之间的关连性。」换句话说，英国Safeway想要知道哪些种类的客户买了哪些种类的产品以及购买的频率，以建立「个人导向的市场」。

(1)一把网住

将资源集中在特定的问题上，并设定可达成的目标之后，英国Safeway在商业智慧过程（也就是Data Warehousing/Data Mining过程）中的下一步，就是选择

适当的数据来源，将客户的交易数据集中在Data Warehouse中。为了达到这个目的，该公司开始发信用卡给客户，客户用这种信用卡结帐可以享受各种优惠，这种信用卡就成为该公司在500家店面搜集六百万客户资料的「网」。这些客户的消费行为数据不断地被从主数据库中萃取出来，每周存在Data Warehouse中（大约有500GB），使用的平台则为执行Intelligent Miner的RS/6000SP2。

IBM声称该公司在1996推出的Intelligent Miner能提供Data Mining作业所需的完整环境，提供数据准备的设施，以及八种Data Mining技术，包括预测模型、数据分割、以及产品吸引力分析，当然还有图形化的结果显示。

通常数据在存入Data Warehouse之前，都必须经过各种仔细的转换（Data Cleansing），例如将标称值转换为数值、定义衍生的属性、以及去除空值（Null Values）等等，这都要视应用而定。在英国Safeway的个案里，资料源为单一的交易处理系统，该公司对这些数据质量有足够的信心，而且该公司的目标仅在于大略的估计其客户是哪些人，所以Data Cleansing并不是主要的问题。

在资料被存入Data Warehouse之后，Intelligent Miner会根据客户的相关资料，将客户分为150类。然后再用Association的技术来比较这些数据集合（这些数据包括交易数据以及产品数据），然后将列出产品吸引力的清单（例如「在购买烤肉炭的客户中，75%也会购买打火机燃料」）。温曲先生指出，这些功能是连续发生的：「并没有一位统计师在那里跑来跑去的说：「你知道这件事吗？」这个过程事实上是我们业务的一部份。」

(2)找出模式

温曲先生的说法是，由于Data Mining的贡献，「我们找出了超过人类概念范围的关连性。」例如Intelligent Miner发现某一种奶酪产品虽然销售额排名第209，可是消费额最高的客户中有25%都常常买这种奶酪，这些客户可是英国

Safeway最不想得罪的客户。如果使用传统的分析方法的话，这种产品很快就会不卖了，可是事实上这种产品是相当重要的。

英国Safeway也发现在28种品牌的橘子汁中，有8种特别受到欢迎。因此该公司得以重新安排货架的摆设，使得橘子汁的销量能够增加到最大。「我可以举出数百种与客户购买行为有关的例子，」温曲先生指出：「这些信息实在是无价之宝。」

还有，英国Safeway在了解客户每次采购时会购买哪些产品以后，就可以利用Data Mining中的Sequence Discovery的功能，以侦测出长期的经常购买行为。再将这些数据与主数据库的人口统计数据结合在一起，Safeway的行销部门就可以根据每个家庭的「弱点」，也就是在哪些季节会购买哪些产品的趋势，发出邮件。「根据这些信息，」温曲先生指出：「我们在去年发出了一千两百万封完全根据个别状况设计的邮件，这在我们销售量的成长方面扮演了很重要的角色。」有些Data Mining的结果会比较容易应用到实际上，有的则不然。针对这个事实，英国Safeway使用另外一种工具来筛选结果，也就是将Data Mining的结果再做Data Mining，以找出有显著兴趣的数据。这种工具虽然目前使用的人不多，可是等到Data Mining越来越普遍后，接受度应该会更高。

英国Safeway采取的Data Mining方式可能是很典型的。该公司把焦点集中在这种技术的商业利益上，保持数据的品质，设定实际的目标，而利用其结果时采取的步骤虽然小，但是实用。换句话说，实际的「Data Mining」只是较大规模的商业智慧过程中的一小部份而已。

2.MCI通讯公司

与其它电话公司一样，MCI想要保有最多的顾客。方法之一就是及时找出可能考虑换到竞争公司的顾客。如果做得到这一点，该公司就可以设法留下客户，例如提供特别的费率和服务。

如何从数百万的顾客之中，找到你要维持的对象昵？MCI的办法是彻底搜寻1亿4千万笔市场家庭数据，而评估每一笔数据的属性，则高达一万个。这些特性包括收入、生活力式、过去通话习惯的详绌资料等。但是哪些特性的组合才是最需要观察的？且数据的范围要订在多少昵？账单月费快速减少，可能代表顾客完全背公司而去了，但是我们可以从顾客的国际电话中找到更精微的模式吗？或从顾客打电话绐客户服务专线的次数找到模式？

为找出这个模式，MCI定期启动该公司的IBMSP/2超级计算机－该公司的数据仓储（data warehouse），以找出最显著的变项，并密切注意这个变项。到目前为止，在多次重复整理历史资料后，这台SP/2已经汇编出一套含22个详细而高度机密的统计性资料文件。MCI的信息主管LanceB.Boxer指出，没有数据挖采程序的话，不可能开发出任何统计数据文件。

https://www.360docs.net/doc/d96526817.html,West公司

和其它电话公司一样，它也希望能找出有家用第二和第三条电话线的强烈需求的家庭。这些需求是为了家中的青少年、传真设备和个人计算机。但是除非电话公司可以完全确定新增线路会产生实质的利益，否则他们是不会把钱投资在一些特别区域的网络总机和电话干线的。甚且，US West说，他们打算精确的找出特定顾客，这些顾客不仅接受公司提供的初级服务，而且会持续使用第二条电话线路，时间久到让公司获有利润。

为了找到这些人，US West使用一个叫做PALMS的程序。与该公司共同设计这套程序的有AT&T的NCR计算机部门，及拥有美国航空公司的AMR公司旗下的Sabre Decision Technologies部门。PALMS的执行平白是威力强大的NCR 平行处理计算机。首先，PALMS过滤美国凤凰城地区域数千笔顾客记录的样本

数据，这动作花了数小时。每笔家庭记录内含的项目高达250个：收入阶层、每月的电话费、去年维修记录，及该家庭尝试使用并保有如电话等候等服务的历史纪录。最后，得到一个理想的潜在客户统计模型。

然后，PALMS利用这个模型来搜寻数百万笔的顾客纪录－数据量几达一兆位。此程序在找出与其它数据的关系后，如每家的住址、US West的电话干线位置、各地总机的容量，即可辨识出一群潜在的顾客－这些家庭符合该幙式，且US West不必花费太多，就能够为这些家庭提供服务。

US West从1996年11月4日到1997年1月初，进行首波DM活动。这次活动的回复率很高，与花费数百万美元的广播活动不相上下。PALMS甚至能够计算出DM活动什么时候会达到高峰，让电话公司在回复率降低前，先行减少DM 邮件。

4.UltraGem公司

在旧金山创立的UltraGem公司，一直和一家不具名的银行，共同预估可调利率抵押贷款的获利率。UltraGem的软件先分析十万笔以上的贷款记录。数据的范围包括：顾客的年龄和邮政编码、贷款的来源、以及以及此次贷款是否从前一次的贷款转换而来。结果：产生了一组规则，这组规则可辨识出可能是最高获利率的贷款申请。这些结合各种变项而产生的规则，「是人类智能无法计算出来的，」UltraGem董事长StevenA.Vere如此说到。现在，该银行能够预测诸如谁能提早还款、谁可能拖延付款等因素，而藉此调整不同的利率与手续费。

5.Wal-MartStor e s公司

由于该公司最先采用大量的交易数据厍，而改革了零售业。从1980年代起，Wal-Mart每晚从各分店收集了大量的收款机资料。但是，除了使用来自NCR公司强大的计算机，Wal-Mart一直无法使用所有的数据。面对7亿笔令人心生畏惧