大数据新技术发展趋势及应用研究

大数据新技术发展趋势及应用研究

目前，大数据已经为企业管理者提供了业务活动信息的汇总统计分析，从而使企业决策具有一定的洞察力。未来大数据对企业的作用，将不仅局限于决策支持，大数据的价值可以扩展到企业经营过程中，企业活动的每一个重要动作都能得到大数据的帮助，进而推进经营管理精细化、精确化进程。从而将洞察力转化为执行力。

大数据对企业的益处主要表现在两个方面：

1、企业由上至下的执行力得到显著增强

以金融企业风险管理为例，当具体业务流程尚未采用大数据技术时，大量风险无法在业务执行时得到有效规避。当采用大数据技术将“洞察力转化为执行力”后，在前端业务执行时，即可在大数据中实时使用复杂风险计算模型进行风险度量，及时提示风险，规避风险的累积，避免风险业务的产生，从而提高了风险管理的执行力。

这种思想也可以用于具体的企业营销。以金融企业市场营销为例，运用大数据技术可以根据客户行为特征实时计算识别异常交易（如突然大幅提高了交易金额）并即时进行交叉销售或客户挽留工作。

2、企业组织结构得到整体优化

从企业组织结构来看，不仅改变企业的执行能力，也意味着企业组织结构的优化。大数据应用对象将从企业的中高层管理人员延伸到企业的基层工作人员，应用范围从经营管理扩展到业务处理。企业业务系统流程将进行必要的补充和优化，大数据将成为企业经营管理和业务执行优化的支撑平台。

企业IT应用将形成“双中心”的架构：业务处理中心和信息中心。作为传统核心IT系统的业务处理中心继续承担企业业务执行的任务；以大数据为核心的信息中心除了承担既有的信息统计分析功能外，将进一步与业务处理中心集成，形成业务分析中心，为业务执行提供实时或准实时的信息分析，提升服务、风险、营销和运营的执行

力。

二、大数据技术的发展趋势及在全球金融领域的应用

（一）大数据技术的发展趋势

近年来，大数据应用深度和广度不断扩大，大数据提高了企业运行效率，使企业获得更多收益。同时，在这些应用过程中，一些新的问题促使大数据技术不断的演进，并向前发展，大数据技术出现了一些新的发展趋势。

1、动态大数据的运用

传统意义的大数据主要用于联机分析（OLAP）和数据挖掘，对于时效性的重视程度不及数据库联机事务处理（OLTP），然而，一些应用不仅需要有较好的分析能力，而且也要求能较为快速的响应，例如信用卡的欺诈消费分析。此时，就要求大数据更快的数据更新速度，更快的用户访问数据速度，更快捷的分析与更灵敏的反应速度，从而提高企业风险管理水平，增强了企业竞争力。

在实践中，动态大数据技术使数据分析不仅用于中高层管理决策，更进一步深入到一线员工的业务活动中，例如银行的信用卡业务。市场调查结果显示，在亚太地区超过半数以上的企业中，一线员工做出的重要商业决策越来越多，而约有40％的企业都是借助商业智能来制定一线决策。与此同时，由于市场竞争加剧、企业快速成长以及员工队伍日益壮大，决策制定的复杂度不断加大。将运营性分析应用增加到系统中意味着制定决策一定要以最新的数据为基础，即每天要进行两次甚至更多次数据加载。这同时意味着对大数据解决方案的高可用性提出了更高的要求。同时，在事件发生当天向一线用户推荐可操作回应的基于事件的分析也应运而生。

2、SOA(面向服务架构)、EAI（企业应用集成）与大数据的结合

多种新技术与大数据的融合也是大数据发展的一个重要趋势。大数据将不断提高对SOA 、EAI的要求，SOA、EAI能够使决策服务更广泛地在企业中延伸。

传统意义上的大数据系统可能只向企业中某个部门的小部分人

提供报告和信息，而SOA、EAI绝大多数都是用于交易服务。在通过SOA、EAI整合大数据的决策服务之后，SOA、EAI将会更多地应用于展示数据存取、数据转换、数据汇总、报表以及一系列相关的决策支持服务，就可以把决策和交易两部分结合起来，从而把SOA、EAI 和各个业务流程融合起来。

在企业的准实时或实时处理的过程，随着数据源不断进入系统，在交易的同时也可以对数据进行实时分类、过滤或分析，这样从交易开始到做出决策的周期会缩短，做出决策的速度会更快。而以上过程的实现，需要将SOA、EAI和大数据的商业智能技术有机的结合起来。

3、大数据全面支持XML数据格式

XML全称EXtensible Markup Language，即可扩展标记语言，是一种标记语言。标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种信息的文章等。XML是从1996年开始有其雏形的，在1998年2月发布为W3C的标准。随着Web技术的发展，XML的应用非常广泛，已经成为网络的通用数据格式。

随着XML技术的应用，大数据支持存储XML格式的数据并支持相关应用是必然的趋势。目前大数据和XML技术融合主要表现以下三个方面：XML存储，即设计兼容关系型数据和层次型数据混合应用的大数据、XML索引、XQuery和高级XML模式处理。

XML技术在给大数据的发展带来更多使用灵活性和应用广泛性时，也有一些焦点问题需要关注：

（1）如何定义完善的查询代数。关系数据库统治数据管理领域的基础是描述性查询语言SQL 和其运行基础关系代数。关系代数的目的一方面是约束明确的查询语义，另一方面是用于支持查询优化。关系代数的优势来自简单明确的数据模型即关系，具有完善的数学基础和系统的转换规则。而XML 数据模型本身具有的半结构化特点是定义完善的代数运算的最大障碍。XML 查询语言中的不确定性是一个需要克服的困难。

（2）XML数据信息统计和代价计算。传统对值的统计对XML 查

询是不够的。XML 数据本身缺乏模式的支持,使对数据结构信息的统计显得更加重要。XML 数据中的数值分布在类似树状结构的树叶上，即使相同类型的数据，由于半结构化特点,其分布情况也可能完全不同。因此,需要把对结构的统计信息和对值的统计信息结合到一起，才能得到足够精确的统计信息。

4、大数据系统要注重元数据建设

随着数据库规模的扩大，涉及业务领域的广泛，需要一套有效的方法对大数据众多技术元数据、业务元数据和操作性元数据进行管理。

目前，国际上主要的元数据管理模型有两个，一个是国际对象管理协会（OMG）的公共仓库元模型CWM（Common Warehouse Metamodel）标准。另一个是元数据联盟（MDC）的开放信息模型OIM（Open Information Model）。

CWM模型建立在日益为广大开发人员所接受的可扩展语言（XML和XMI）基础上，为大数据、商业智能、知识管理以及门户技术的应用提供元数据管理模型。这一模型获得了包括市场众多厂商的支持，它在数据抽取、变换、交流、加载、集成和大数据分析领域提供一系列的API、数据交换格式和其他类型的多种服务。

OIM模型的元数据类型采用统一建模语言UML进行描述，并被组织成易于使用、易于扩展的多个主题范围, 目的是通过公共的元数据信息来支持不同工具和系统之间数据的共享和重用。它涉及了信息系统（从设计到发布）的各个阶段，通过对元数据类型的标准描述来达到工具和知识库之间的数据共享。

这两大模型各有特点，前者主要是由数据库、大数据厂商提出的，以大数据建设中涉及的元数据建设问题为出发点建立的标准；后者主要是由软件厂商提出的，其出发点在于对软件开发过程各个阶段给与更好的支持，达到更好数据共享的目的。从近期的发展看，这两大模型标准在相互学习，有走向融合统一的趋势。

（二）大数据技术在全球金融领域的应用

大数据作为管理信息和分析型应用有效的方式，可以有效地为金