数据挖掘文献资料

《1》 综观全球，数据挖掘都是从银行和电信开始，而银行的数据比电信行业数据保存的更为完整。在商业银行有两个可利用的巨大的资源：客户的存款和客户的数据。相应地，银行的管理产生了两大任务：客户资金管理和数据挖掘。银行目前的客户数据分析仍处在比较低级阶段，从而导致银行对一般客户与高贡献的客户一视同仁。随着客户关系管理的不断发展，银行对其人口数据进行分析挖掘也势在必行。这就要建立真正由客户需求出发的客户关系管理。 随着银行数据越来越丰富，大量的数据被描述成“数据丰富，但信息缺乏”。结果，收集在大型数据库中的数据变成了“数据坟墓”——难得访问的数据文件。这样，使得银行很多重要的决定不是基于数据库信息丰富的数据，而是基于决策者的直觉，因为银行决策者缺乏从海量数据提取有价值信息的工具。而通过数据挖掘工具进行数据分析，可以发现重要的数据模式，将银行的数据坟墓转换为知识“金块”。 本文就是着眼于如何通过数据挖掘技术，实现银行的客户关系管理问题进行探讨。从数据挖掘分类分析理论和CRM入手，对数据挖掘的内涵、过程、应用以及CRM的核心思想和种类进行了论述。文中重点研究了数据挖掘的分类算法，并将相关的分类算法应用到银行CRM客户分类研究之中。 在数据挖掘分类分析中，本文描述了一般的决策树算法，介绍并比较了几种典型的决策树算法。商业银行有一项主要业务是贷款，对于申请贷款的众多客户，银行难以发现他们的分类特征，针对这些客户的营销策略的制订就显得缺乏依据。为此，银行可以利用CRM系统数据库或数据仓库中的数据对客户群进行分类，发现申请或不申请贷款的客户类型特征，从而为银行贷款业务制定最佳的指导策略。在本文中利用数据挖掘的分类功能，主要采用经典的ID3算法，进行客户分类应用研究。

《2》 随着计算机信息技术的普及，数据仓库与数据挖掘技术在我国金融业(如银行、证券、保险等行业)得到了比较广泛的应用，但是在国内期货行业，由于资金、技术、人员等问题，期货公司还很少涉及这一领域，使其在对市场研究和品种研究上始终面临着一个无法穿越的"瓶颈"。 我国期货业数据仓库应用现状 我国期货市场历经10多年的磨砺后，如今已经进入发展的"快车道"。期货市场的"火热"和上市品种的不断丰富，吸引了大量的投资者进入。由于期货市场是一个高风险与高收益并存的市场，这就要求期货公司必须在研究上下足功夫，尽量做到对期货市场风险的可控性和可预知性。 我们知道，进行期货研究所需要的数据非常多而杂，涉及层面不管是宏观的还是微观的，都要进行充分考虑和分析整合，从而对期货公司建设数据仓库提出了迫切要求，而且对数据进行深度挖掘也成为了期货公司研究的重中之重。期货公司的研究水平达到一定高度后，形成自己的核心竞争力，不仅能对自身客户投资起到一定的引导作用，而且还能吸引更多的投资者参与到市场中来。 行业整体研究水平高低会直接影响到市场发展的质量和速度。国际期货市场上，大型优质期货公司如曼氏金融、瑞富都拥有自己的一套专业数据仓库系统，且经常利用数据仓库的数据进行定量分析，撰写研究报告，为客户提供投资方案。目前，国外期货市场运用定量方法进行分析已经非常广泛，因此发展比较迅速，投资者认知水平也比较高。而国内期货市场，虽然近几年交易和持仓规模迅速扩大，期货新品种不断推出，但期货公司整体研究水平并没有紧紧跟上市场对研究的强烈需求。随着我国期货市场的发展，其不可避免地对期货公司的研发水平提出了更高的要求。 借鉴国外期货公司的经验，国内期货业整体研究水平上不去的主要原因是绝大部分研究还局限在定性分析上，定量研究方法运用得太少，直接导致期货公司在对客户投资交易的指导上表现得比较差。定量研究较少并非期货公司研究人员不会或者不愿意，而是因为定量研究需要的数据太多，实际能找到或买到的数据太少。同时，定量研究往往不局限在单一品种数据的收集上，还与国内外宏观经济数据有关联。目前，国内期货业没有具体期货品种数据的专业网站和数据仓库，即便是有也只是分散的少量数据，收集数据工作量非常大。期货公司购买的昂贵相关行业数据，也只限于一个品种和行业的数据，缺少宏观经济方面的数据。在当前上市品种不断增加的情况下，这笔支出是一般期货公司难以承受的，这也从另一方面增加了期货公司进行定量研究的难度。 研究能力是期货公司发展和体现竞争力的核心，其水平高低不仅会直接影响到公司客户的盈亏，同时也会影响到公司业务的发展。而且随着股指期货的即将推出，期货公司在提供专业化研究服务方面显得更加重要。但是，我国期货行业业务单一，竞争激烈，国内大部分期货公司仍难摆脱亏损局面，或者是盈利能力并没有随着市场发展同步提高，多数公司面临诸多的问题： 一是在品种增加、研究人员数量增加有限的情况下，单个研究人员负责的品种越来越多，受能力及精力限制，研究难以深入。 二是虽然受市场发展的推动，市场研究开始由普遍信息处理、定性分析上升为定量定性结合，但由于国内相关市场还不成熟，所需的研究数据不仅少，而且公布渠道不通畅，研究人员花费在数据寻找上的时间过多，研究效率极低。 三是即使期货公司购买了相关收费的专业资讯服务，但受端口限制，仅有少量人员能使用，相关信息并不能迅速便捷传达到公司其他员工及客户手里，即大量信息无法共享。另外随着新品种的不断推出，单一公司财力无法购买所有品种的相关信息，新品种的研究进度受到较大影响。 四是数据处理及分析的方法普遍处在低级水平，大量基础原始数据转化成可用数据的时间过长，无法使用相关分析软件进行分析又导致最终分析的深度不够。 五是研究人员的流动（转向业务或交易方面，或者直接离开期货公司或期货业）直接导致期货公司研究水平无法得到有效沉淀和积累。 以上存在的种种问题使期货公司的研究难以深入，从而构成了为投资者提供正确投资指导的一块"硬伤"。因此，对数据的收集与挖掘成为了期货公司解决当前存在问题的唯一途径。只有搜集到所需要的数据，然后通过各种方法对数据进行深度研究与挖掘，撰写出高水平的研究报告，才能提高期货公司的整体研究和服务水平。 建设数据仓库的功能和目标 为了解决期货公司数据收集难的问题，一些有能力的期货公司对数据仓库进行建设非常有必要。数据仓库的概念起源于W.H.Inmon的研究，他把数据仓库定义为面向主题的、集成的、非易失的，随时间变化的数据集合，而且可以支持各种投资管理决策的数据库系统。 期货行业数据包括国内外期货品种历史数据、品种基本数据、期货公司营业部交易结算数据、客户交易数据、国内外宏观经济数据等，数据仓库系统能帮助期货公司充分地利用这些信息资源。建立期货公司数据仓库系统，主要实现以下功能和目标: 第一，建立数据仓库系统的目标数据库，集成期货公司的相关数据。对各个营业部交易数据、行情数据、其他业务系统数据进行定期抽取，把异地系统的数据经过抽取转换，集中到公司总部的数据仓库中，为各种分析提供全局、一致的数据基础，从而提高决策信息的及时性、准确性、全局性和一致性。 第二，在数据仓库数据的基础上，建立日常的投资决策支持查询系统，包括报表查询和动态信息查询，解决现有OLTP（联机事务处理）系统中的投资决策支持查询和报表能力的不足。 第三，实现重要专题分析。专题分析是针对特定范畴的决策支持领域进行的分析，常见的专题分析包括客户关系管理分析、账户分析、交易数据分析、财务分析、经营状况分析、风险分析、利润/成本分析以及市场分析等。要求充分利用期货公司的丰富数据，能够从多个角度动态分析这些专题。 第四，以数据仓库数据和专题分析为基础，把一些信息和分析结果公布在网站上，为公司网站和CALLCENTER提供信息服务，为客户提供个性化服务。 第五，逐步实现深层次的数据挖掘和投资决策分析，研究品种、市场行情、客户、利润等数据中蕴含的内在关系。数据挖掘在期货业的技术应用方向主要有客户分析、品种分析、客户管理、交易数据分析、风险分析、投资组合分析等。 数据挖掘是数据库建设成败的关键 在完成对数据仓库的建设后，如何通过现有的数据源进行数据挖掘，将是数据仓库建设成功与否的一个重要环节。数据挖掘是指从大量的、不完全的、模糊的、随机的实际数据中提取隐含在其中但又是潜在有用信息和知识的过程。数据挖掘的过程可粗略分为:问题定义、数据收集和预处理、数据挖掘算法执行以及结果的解释和评估。 1.问题定义 问题定义指的是利用数据挖掘可以分析哪些问题。定义清晰的挖掘对象，认清数据挖掘的目标是数据挖掘的第一步。数据挖掘的最后结果往往是不可预测的，但要解决的问题是有预见性、有目标的。在定义挖掘对象时，需要确定这样一些问题:从何处入手，需要挖掘什么数据，要用多少数据，数据挖掘要进行到什么程度。在问题定义过程中，数据挖掘人员必须和相关领域专家以及最终用户紧密协作，一方面明确实际工作对数据挖掘的要求，另一方面通过对各种学习算法的对比，进而确定可用的学习算法。 2.数据收集和数据预处理 数据准备又可以分为三步:数据选取、数据预处理和数据变换。在确定数据挖掘的业务对象后，就需要搜索所有与业务对象有关的内部数据和外部数据，从中选择出适合数据挖掘应用的数据。如果数据挖掘是基于数据仓库的，那么数据的选择比较简单，因为数据仓库己经为数据挖掘者准备好了用于数据挖掘的基本数据。否则，就要从各种数据源中选择用于数据挖掘的数据，这就意味着需要集成和合并数据到单一的数据挖掘库中，并协调来自多个数据源数据的差异。对这些数据差异的协调是解决数据挖掘质量的关键，多个数据源中出现的差异主要是在数据定义和使用方法上。在选择好数据后，还需要对数据进行预处理，进行清洗，解决数据中的缺值、冗余、数据值的不一致、数据定义的不一致、过时数据等问题。数据的应用变换是为了使数据适用于计算需要而进行的一种数据转换，这种转换主要源于两方面的原因:一是现有数据不满足分析需求而进行的数据变换;二是应用具体数据挖掘算法的需要。为了使计算结果更高效准确，需要对数据进行应用变换。 3.数据挖掘 数据挖掘算法执行阶段，首先根据对问题的定义明确挖掘任务或目的，如分类、聚类、关联规则发现或序列模式发现等。在确定了挖掘任务后，就要决定使用什么样