大数据与银行业新一代数据体系建设

合集下载

商业银行的大数据应用及发展建议

商业银行的大数据应用及发展建议

商业银行的大数据应用及发展建议摘要:本文综合分析了大数据时代,商业银行信息化建设发展的情况、存在的问题及对未来商业银行在信息化建设提出现实可行的建议。

关键词:大数据时代;商业银行;数据应用;信息化发展引言现阶段,我国商业银行的发展面临着新的问题,变量主要来自社会的发展和信息技术的进步,一方面,先进技术代表的生产力进步给社会生活造成了巨大的冲击,尤其是大数据技术,创新了商业经营模式,拓宽了人类的行动空间。

在商业银行业,大数据技术的出现淡化了传统行业之间的界限,当前商业银行的金融生态朝着更加开放化的方向变革,并且,金融生态的发展速度前所未有地提升,得到了社会各界的普遍认同。

以大数据为代表的信息技术发展是金融创新的根本。

另一方面,商业银行的经营内容与外部政策环境之间存在着不可分割的关系,支付结算开放就是其中重要的一点。

目前,微信支付和支付宝支付等独立于商业银行之外的第三方支付公司纷纷与各个商业银行之间展开了合作,建立起支付结算的通道,以网络融资产品为代表的互联网金融产品层出不穷。

鉴于此,传统商业银行需要积极展开变革,革新经营管理理念、创新运营的业务。

只有充分利用以大数据为代表的信息技术,朝着信息化的方向发展,才能在当下的环境下提高商业银行的竞争能力。

1.信息化及大数据信息化并非独立进行,其是经济社会逐渐发展过程中的产物,并且信息化处于一种动态变化的过程中,信息化作为一种先进的生产力代表,正在主导着经济社会的发展演变,以大数据为代表的新技术正在加速这一进程。

被广泛认可的“大数据”概念,最早是2001年由高德纳咨询公司的分析师道格拉斯·兰尼提出。

2011年,麦肯锡在发布的研究报告中提到大数据时代已到来。

目前公认的大数据特征有以下四点。

(1)规模性。

大数据最为明显的一个特征就是量大,需要我们有强大的数据处理技术,对信息进行统计和分析。

随着信息化技术的高速发展,数据开始爆发性增长。

大数据中的数据不再以几个GB或几个TB为单位来衡量,而是以PB(1千个T)、EB(1百万个T)或ZB(10亿个T)为计量单位。

基于大数据的商业银行对公客户画像体系的构建及应用

基于大数据的商业银行对公客户画像体系的构建及应用

摘要:金融业是基于数据和信息的服务性行业。

随着金融科技的不断发展,大数据技术将在金融业得到越来越广泛和深入的应用。

商业银行在长期的业务开展过程中积累了大量有价值的核心数据,特别是客户的信用及行为数据,从而为未来有效利用大数据奠定了很好的基础。

利用大数据对客户信息深度挖掘,在客户拓展、风险识别、主动管理等方面积极探索新的管理工具和方法,已日益成为商业银行提升核心竞争力的重要手段。

本文以某商业银行一级分行借助技术实现的对公客户画像系统功能为切入点,进一步探讨了客户画像体系的方法及其应用,重点是通过大数据挖掘分析赋能客户的精准营销和风险预警,旨在为商业银行的客户结构优化及智能风控探索新的路径。

关键词:大数据;商业银行;对公客户;画像体系一、商业银行对公客户画像的应用背景2015 年,国务0院出台的《促进大数据发展行动纲要》指出,“数据已成为国家的基础性战略资源,大数据日益成为推动经济转型和发展的新动力”。

2016 年,银监会发布《中国银行业信息科技“十三五”发展规划监管指导意见》,针对大数据的发展,要求银行业要“主动制定大数据战略,积极建立大数据服务体系,加强数据共享,深化大数据应用,充分发挥数据价值”。

随着互联网金融服务机构的发展,以个人消费者和小微企业为目标客户群的信贷产品蓬勃发展,越来越多的商业银行将金融科技发展提升至战略高度,并积极构建基于大数据技术的对私客户画像体系,助力个人金融、网络金融、银行卡业务等领域的发展和数字化运营。

例如,结合画像和人脸识别技术搭建智能柜台,提升对私客户的服务体验,并通过手机银行APP 等渠道,定向推荐与其投资偏好、消费能力相符的定制产品,提升用户粘性和推广效率;同时,对非营业时间交易、客户频繁交易等行为进行监测,促进运营精准化。

就对公客户而言,得益于政府支持企业法人公共信用信息的互联共享,获取其生产经营、投资管理、司法诉讼、外部舆情、信用行为等信息的渠道逐渐多样化,对公客户画像也逐步具备了研究及应用的基础。

大数据时代对银行业的影响与应用

大数据时代对银行业的影响与应用

大数据时代对银行业的影响与应用随着科技的不断发展,大数据已经成为了世界范围内的热门话题。

在金融行业中,大数据更是被寄予了重要的任务,被视为一个有着无限潜力的工具。

银行业也不例外。

在这个信息时代,银行业如何利用大数据,迎合时代的发展,并为客户带来更好的服务,是银行业最需要思考的问题。

1. 大数据对银行业的影响大数据的普及,对银行业的影响主要分为两个方面:一是加快了银行业的数字化转型,促进了极致智能化开展;二是对银行业的传统营销和服务模式产生了颠覆性冲击。

首先是智能化开展。

大数据的存在,为银行业的数字化转型提供了全新的机会,可以用大数据技术来更好的服务客户。

比如客户日常使用银行卡时,在交易汇总中获得每项小额交易的信息,银行可以通过分析数据,及时发现客户的消费习惯,针对客户提供更加具体的服务。

其次是服务模式的变革。

银行业作为日常消费者和商业交易的参与者,时刻都要保证良好的服务给予客户。

在这个信息化的时代,大量的信息数据摆在银行业的面前,这些数据可以被银行转化成有价值的服务内容。

比如客户可以通过银行的网络平台获取到推荐产品、投资理财的相关信息、获取人性化的智能化需求解决,大数据将客户服务转化成了高效率的应答。

2. 大数据在银行业中的应用虽然银行业如今已经高度关注大数据技术的应用,但是实际上银行业如何利用大数据来服务客户还需要探索和实践。

首先是利用大数据帮助银行的风险控制。

银行作为大量的资金运作的中心,必须要掌控风险。

银行信息系统中的行为数据、风险扫描等海量数据,可以通过分析获得可靠的数据模式,减少不良贷款等风险的产生。

其次是利用大数据精准营销。

银行通过对客户数据的分析,更好地了解客户的需求及行为特征。

这样银行就可以根据不同类型的客户群体,提供更加个性化的产品服务。

第三是利用大数据提升客户满意度。

服务是客户在银行门店或者在线上的服务体验。

大数据可以通过分析客户的消费习惯和需求特点,以及个人喜欢的服务体验,提供更人性化的服务,从而提升客户的满意度和忠诚度。

大数据对传统银行业的影响与应对研究

大数据对传统银行业的影响与应对研究

大数据对传统银行业的影响与应对研究随着数字化时代的到来,大数据已经成为了金融行业的最新热点。

传统的银行业正感受到了来自大数据的巨大冲击,并在积极探索如何应对大数据对其业务带来的挑战。

本文将从大数据对传统银行业的影响以及银行业如何与大数据结合来提升自身业务水平和创新能力两方面进行分析。

一、大数据对传统银行业的影响1.1 风险控制能力的提升在过去,传统银行业主要通过传统的风险控制手段进行风险管理,通常依靠传统的信用评估、反欺诈评估等方式进行风险防范。

而大数据时代的到来,使得银行可以通过更加深入的数据分析和挖掘,去了解客户的消费习惯、职业类型、社交情况等更细致的信息,从而更好地评估客户的信用状况、控制风险,防范欺诈和信用卡透支等问题。

1.2 数据挖掘数据挖掘在传统银行业领域中被应用得非常广泛,从数据中挖掘出隐藏的信息和规律,有助于银行制定科学的决策,实现风险控制和预测。

同时,通过对大数据的精细化挖掘和分析,银行可以为客户提供更加个性化的服务,促进客户满意度的提高。

1.3 客户服务体验大数据的开发可以帮助传统银行业提高客户的服务体验,银行可以通过数据分析,深度挖掘用户的消费习惯,提供个性化的服务。

比如提供针对个人的资产配置、智能理财方案等,为客户提供了更加贴近实际需求的服务。

二、银行业如何与大数据结合来提升自身业务水平和创新能力2.1 积极对接互联网传统银行业与互联网的结合越来越紧密,银行为了不被互联网化时代的浪潮所淘汰,积极主动地对接互联网行业,力求保持自己的竞争力。

比如,银行逐渐引入一些新的交易方式,比如让用户通过智能手机或电脑进行在线交易等,随着智能终端技术的普及,越来越多的人开始通过手机、电脑等电子手段进行银行业务办理,这一现象已经成为一种趋势。

2.2 数据技术银行业必须学习数据科学技术,掌握数据的收集、挖掘、清洗等多个环节。

银行通过采集多个渠道的数据,制定更加符合消费者的分析模型,为客户提供更加有针对性的产品和服务。

银行业的大数据应用揭示大数据对银行业的重要性和应用方法

银行业的大数据应用揭示大数据对银行业的重要性和应用方法

银行业的大数据应用揭示大数据对银行业的重要性和应用方法随着信息技术和互联网的快速发展,大数据已经成为银行业的重要组成部分。

银行作为金融行业的重要支柱,其业务涉及到大量的数据处理和分析。

利用大数据技术,银行可以更好地了解客户需求、提高风险控制能力、改进产品和服务、优化运营效率等。

本文将从银行业的角度,探讨大数据的重要性以及其在银行业中的应用方法。

一、大数据对银行业的重要性在现代社会中,数据已经成为一种重要的资产。

银行业作为金融行业的重要组成部分,其业务涉及到大量的数据处理和分析。

大数据对银行业的重要性主要体现在以下几个方面:1. 提供客户洞察:通过运用大数据分析技术,银行可以深入了解客户的行为、需求和喜好,从而更好地进行精准营销、个性化推荐和定制化服务。

银行可以通过分析客户的交易数据、社交媒体数据等,对客户进行个性化定制,提高客户满意度和忠诚度。

2. 加强风险控制:银行业是高风险行业,风险控制是银行的核心工作之一。

利用大数据技术,银行可以对客户的信用风险、市场风险和操作风险进行更加精准的分析和预测。

通过对大量的数据进行挖掘和分析,银行可以及时识别和预测风险,采取相应的措施进行风险管理,降低风险带来的损失。

3. 改进产品和服务:银行可以通过大数据分析技术,了解客户的使用习惯和需求,从而改进产品和服务。

例如,银行可以通过分析客户的网上银行操作记录,了解客户对于移动支付的需求,据此推出更加便捷的移动支付产品和服务。

通过不断优化产品和服务,银行可以提高客户满意度和竞争力。

4. 优化运营效率:银行的运营效率对于提高盈利能力和市场竞争力至关重要。

利用大数据技术,银行可以对各个环节的运营进行精细化管理和优化。

例如,银行可以通过分析客户的交易数据和资金流动情况,优化资金调配和运营成本。

通过精细化管理和优化运营,银行可以提高效率,降低成本。

二、大数据在银行业中的应用方法1. 风险控制:银行可以通过大数据技术对客户的信用风险、市场风险和操作风险进行精准的分析和预测。

银行的大数据是什么意思

银行的大数据是什么意思

银行的大数据是什么意思引言如今,大数据已经成为各个行业的热门话题,银行业也不例外。

随着信息技术的发展和智能化时代的到来,银行积累了大量的客户数据和业务数据。

这些数据被广泛应用于银行的运营和决策过程中,以提高效率、降低风险和提供更个性化的金融服务。

本文将探讨银行的大数据是什么意思以及其对银行业的影响。

银行的大数据定义银行的大数据是指银行所获得并积累的庞大数据集合。

这些数据包括但不限于客户信息、交易记录、风险评估、市场趋势等,以及通过外部数据源如社交媒体、市场研究等获得的数据。

银行的大数据通常以结构化、半结构化和非结构化的形式存在,其中结构化数据是指可以被数据库表格表示的数据,半结构化数据是指有一定结构但不符合传统的表格形式,非结构化数据是指无结构和格式的数据,如文本、图像和音频等。

银行大数据的价值银行的大数据具有巨大的价值,它为银行提供了以下几个方面的机会和优势:1. 提高风险管理能力银行的大数据能够帮助银行实时监测和分析风险,及时发现潜在的风险因素。

通过分析大数据,银行可以识别客户的信贷风险、市场风险和操作风险等,从而制定更有效的风险管理策略。

另外,大数据分析还可以帮助银行预测客户的偿还能力和行为模式,提高贷款的准确性和风险控制能力。

2. 深化客户洞察力银行通过分析大数据,可以更好地了解客户的需求和行为。

大数据分析可以将客户的交易记录、消费偏好和社交媒体数据等信息结合起来,从而为银行提供更深入的客户洞察力。

银行可以利用这些信息来定制更个性化的金融产品和服务,以满足客户的需求,提升客户满意度和忠诚度。

3. 提升运营效率银行的大数据可以用于优化银行的内部运营流程。

通过分析大数据,银行可以发现运营中的瓶颈,识别低效的环节,并采取相应的改进措施。

另外,大数据还可以帮助银行自动化和智能化运营流程,提高工作效率和响应速度,减少人为错误和风险。

4. 支持智能决策银行的大数据可以为决策过程提供更全面、准确的信息支持。

商业银行数据治理体系构建思考

商业银行数据治理体系构建思考

商业银行数据治理体系构建思考发表时间:2020-08-14T03:42:10.231Z 来源:《中国科技人才》2020年第9期作者:李琪[导读] 要提高数据质量和数量利用价值,必须加强数据治理工作,数据质量体系的建设和完善迫在眉睫。

哈密市商业银行信息科技部新疆乌鲁木齐 830000摘要:目前,我国银行业已逐渐进入大数据时代,大数据在商业银行日常业务中的比重也在不断增加。

在此背景下,加强数据治理工作,为战略规划和日常运营提供决策支持,从而提高核心竞争力,已成为商业银行工作的重中之重。

商业银行应该继续加大数据治理工作力度,完善数据治理工作机制,构建合理高效的数据治理体系,探索出一条适应中国银行业的数据治理道路,这样才能不断适应国内外经济形势的风云变化,使自己在激烈竞争和复杂环境中立于不败之地。

关键词:商业银行;数据治理;措施随着信息系统在银行业的普及应用以及银行业务的不断拓展,银行业积累了包括交易信息、客户活动信息、日志等大量数据,如何提高数据利用价值、保障数据安全是银行业急需解决的问题。

目前,基于数据的相关技术、应用形式正在快速发展,业界试图最大程度地挖掘数据价值,但效果不甚理想,因为大数据是由结构化、半结构化和非结构化的海量数据组成,还包括许多没有价值的数据,质量参差不齐,使得数据应用达不到预期效果,不利于数据的有效利用。

要提高数据质量和数量利用价值,必须加强数据治理工作,数据质量体系的建设和完善迫在眉睫。

一、商业银行数据治理的意义随着我国银行业的发展,在国民经济发展中扮演着重要角色,银行业务类型和金融产品层出不穷,银行业信息化建设也经历了二十多年的发展,金融科技得到了长足发展。

国家监管机构、商业银行内部管理层、客户等对商业银行数据的需求与日俱增,而现阶段商业银行的数据质量还没有达到所需的要求,商业银行数字化转型工作已势在必行,而数据治理是商业银行数字化的基础,目前,仅有 18%的少数中小商业银行将数据治理工作纳入到公司治理体系当中,可见,商业银行加强数据治理工作任务艰巨,有必要将数据治理工作提升到一个新高度,通过数据治理,提升数据质量,形成高质量的数据资源,是社会各界的需要,是促进数字智能化发展趋势的需要,也是商业银行业适应新时代经济发展的需要,良好的数据管理也会在银行业发展普惠金融和绿色金融的道路上发挥重要作用,具有重大意义。

银行大数据

银行大数据

银行大数据1、引言本文档旨在介绍银行大数据的概念、应用场景以及相关技术,并探讨大数据在银行业的影响和前景展望。

2、银行大数据的概念2.1 定义银行大数据是指银行机构在运营过程中产生的大量、多样化的结构化和非结构化数据,通过应用大数据技术和分析方法,挖掘数据背后的价值,为银行业务和决策提供支持。

2.2 数据来源银行大数据的主要来源包括交易记录、客户信息、营销活动数据、风险数据、外部数据等。

3、银行大数据的应用场景3.1 客户关系管理- 数据挖掘和分析客户行为,为客户提供个性化的产品和服务。

- 基于用户画像进行精准营销,提高客户满意度和忠诚度。

- 预测客户流失和潜在客户,制定相应的留存和开发策略。

3.2 风险管理- 预警模型和风险评估模型的建立,提前识别潜在风险,减少损失。

- 精细化的反欺诈分析,防范欺诈行为。

- 建立风险决策模型,辅助风险决策过程。

3.3 营销与产品创新- 基于数据分析和机器学习,挖掘用户需求和市场机会。

- 优化产品设计和定价策略,提高产品的市场竞争力。

- 发现新的营销渠道和机会,提升营销效果。

3.4 运营效率提升- 优化业务流程,降低运营成本。

- 自动化决策和操作,提升业务办理效率。

- 大数据分析结果反馈给业务人员,辅助决策和业务推动。

4、银行大数据相关技术4.1 数据采集与存储- 数据仓库建设与维护。

- 数据湖的构建和数据采集工具的选择。

4.2 数据处理与分析- 大数据处理框架的选择,如Hadoop、Spark等。

- 数据清洗和数据预处理的方法与技巧。

- 数据挖掘和机器学习算法的应用。

4.3 数据安全与隐私保护- 数据加密技术的应用。

- 完善的访问控制和身份认证机制。

- 隐私保护方法和策略。

5、法律名词及注释5.1 GDPR(General Data Protection Regulation): 欧盟《通用数据保护条例》,于2018年5月25日生效,旨在加强个人数据的保护。

5.2 PII(Personally Identifiable Information): 可以用于唯一识别、联系或定位个人身份的信息。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

大数据与银行业新一代数据体系建设“大数据”来了,如火如荼,大有排山倒海之势!仔细分析各种成功案例后,发现大都是在互联网行业,而它在银行业的应用,却鲜有报道。

本文则重点介绍大数据在银行新一代数据体系建设中的需求、战略与具体应用。

一、大数据在银行业的需求分析高负荷环境下高可用的海量数据管理是目前IT建设中最重要的内容,也是影响客户业务发展最重要的瓶颈。

近年来的事实表明,各行各业,其数据量以及用户对服务水平等几个方面的要求是在同时快速增长的,以基于SQL的关系数据库技术为主要代表的传统数据管理技术已经明显难以应付新的需求,这其中当然也包括银行业。

仔细分析,银行IT体系中数据量的增长压力主要来源于以下几个方面的原因:1.银行业务的快速增长导致原有企业业务数据的快速增长。

也就是说,企业数据库中需要管理的数据量及其增长速度已经难以承受;2.客户服务水平的提高及各种监管制度的要求,导致银行IT部门不得不规划管理比以前量大得多的数据。

例如对长期历史数据的使用要求,使得银行不得不考虑原来存放在磁带上的数据的高可用问题;3.新的IT规划带来了新的数据类型。

将社会化交互渠道引入银行业,已经成为各大银行规划其新一代IT体系的重要目标。

由此,银行IT部门就不得不关心其以前并不关注的新的数据类型。

从目前的状态来,对以上需求1与2,银行主要是通过原有系统垂直扩容的手段来应对。

但近年来,垂直扩容已经不仅仅是难以承受的成本压力了,清醒的IT工作者已经意识到这不是根本的长远之计;而对需求3,则是互联网行业的强项,银行业没有过多的技术经验与积累。

要很好的解决以上问题,必须引入新的技术理念、方法与工具,而无论从技术特征本身,还是从应用实践来看,当今最流行的大数据技术(这里主要指Hadoop MapReduce与NoSQL),都会在应对这些挑战的过程中起到重要的作用。

二、银行业大数据应用的困惑目前为止,虽然国内的商业银行对大数据的实际应用还比较少,但这项新的技术已经得到了绝大多数银行的关注,有相当一部分银行正在进行对大数据技术的调研、论证与测试工作。

正如上面分析的那样,银行业对在其IT体系中引入大数据的必要性是认同的。

但同时,银行IT部门又普遍对大数据在本企业的应用存在一定程度的困惑,这主要表现在以下几个方面:1.大数据在银行数据体系规划中的地位究竟如何?这对其技术战略规划有何影响?2.大数据技术与传统的关系数据库技术关系与未来发展方向到底如何?是会最终替代掉关系数据库吗?3.银行业应该如何构建大数据平台?4.大数据技术目前具体可以在银行IT体系的哪些方面得到有效的运用?本文旨在对以上问题进行探讨。

三、大数据与银行新一代数据体系相当一部分商业银行目前正在进行新一代IT体系的规划与建设工作,其中,打造适应新的业务与应用目标的数据体系是重中之重,这包括数据分布、数据模型、数据流程、数据治理、数据集成及数据生命周期等多方面的内容,我们可称之为新一代数据体系。

那么,在这个体系中,大数据都涉及哪些范围?它在银行数据体系规划建设工作会处于什么样的地位呢?大数据技术与传统关系数据库技术的关系如何呢?1.银行业大数据的范围多年以来,银行业主要关注的数据是其业务数据,包括交易、帐户与参数数据等,它们被以基于二维表的关系模型存储在各种大中小型的商业数据库中。

那么,我们所谈到的大数据到底从哪里来?从目前最流行的大数据概念来讲,大数据是指非结构化数据,主要包括社会化媒体日志、传感器计量及图片、图像等数据格式。

完全从这个概念入手,我们只能推导出银行业的大数据可以包括以下几个方面:●银行业务增加社会化的创新渠道后,所产生的具有互联网行业特征的数据,如操作日志与相关网页内容。

互联网行业的实践证明,这部分数据的量是很大的,并且增长很快,同时属于非结构化的数据,最适合采用大数据技术来处理;●缩微影像。

即各种交易票据的扫描件,这些数据是以图片的方式存储,目前银行对它最主要管理方式是文件索引加光盘库的方式。

也有人提出过对这些数据采用大数据方法抽取有价值数据的思路。

但是,这两个方面都不是银行业面临的最紧迫的问题:社会化渠道属于各银行正在规划与完善的工作,目前还没有紧迫的需求;而从图片图像中分析出价值数据来,似乎也并不实际。

如果这样看,似乎大数据技术目前在银行业就没有什么实际的应用场景了?这自然是不正确的结论。

看来,在银行业,我们必须对固有的大数据的定义范围进行扩大(目前,并没有什么权威的定义限制我们,我们完全可以拓展思路):●大数据不一定非要是非结构化数据,它也可以是结构化数据,即大数据应该是多类型的,而不只是指非结构化;●如果某种数据采用大数据技术处理更加合适,都可以定义为大数据。

那么,我们不妨这样来定义大数据:那些海量的、快速增长的、不适合或者不值得采用商业关系数据库技术来管理并且具有高可用要求的企业数据。

这样一来,我们便可以发现,在银行,除了以上两点以外,还有如下范围的数据可以采用大数据技术来处理。

●长期规划的历史数据。

这些数据其实是企业关键业务数据,但可以定义为大数据;●BI固定报表。

由各种BI系统产生的报表文件(PDF,Excel,Word等格式);●应用系统运维数据。

如应用日志,运维日志等;●中间状态的数据。

银行在数据流转过程中,有大量的中间状态文件,它们是海量的。

对这些海量文件处理,也可以采用大数据技术。

2.大数据技术与关系数据库技术简析目前,在很多成功实践中,大数据表现出来比关系数据库更优异的性能:效率高、成本低、扩展性强等。

于是有很多观点认为:关系数据库时代即将终结,大数据技术必将替代关系数据库技术。

银行业IT部门在一定程度上受到这种观点的影响:或是支持,或是反对,或是两可。

总之,是有困惑。

那么,在后面的内容开展之前,有必要对大数据与关系数据库从技术上进行简单的剖析。

大数据技术的实质是什么呢?其实,大数据技术的设计理念是:通过牺牲关系数据库的某些特性,并采用分布式并行技术来获得对海量多类型数据的高可用。

到底牺牲了哪些特性呢?这对不同的大数据产品与技术来讲,是不一样的。

但总的来讲,因为在有些应用场景,体系化的、复杂的SQL体系确实是不必要的,它在很大程度上影响了数据库的扩展性与效率、成本等因素。

而大数据技术抛弃了那些不必要的内容,就获得了关系数据库在这些领域所不能达到的效果。

例如,NoSQL数据库,就抛弃了复杂的SQL体系,以精简的索引与数据分布机制获得了海量管理能力、极限性能、低成本、高端可扩展等特征;而MapReduce则是对海量数据分布式计算领域的一个重要创新,但也只是在适合于并行处理的大规模批量处理问题上更占优势,而对些例如复杂Join的操作,则不一定有优势。

因此,很明显,大数据技术是为了应付关系数据库技术的不足而设计的,它并不是为了替代关系数据库而出现的,当然也不会去替代。

3.大数据时代银行数据体系建设理念在分析清楚大数据所包含的范围以后,可以制定大数据时代银行数据体系建设的理念如下:图1 大数据时代银行业新一代数据体系建设理念●大数据时代,银行不能再只是将对其关键业务数据的管理作为唯一的重点,而是需要多类型的大数据与关键业务数据并重;●大数据时代,银行必须将传统的关系数据库技术,与目前流行的大数据技术都作为主要的数据管理手段;这两种技术是共存的,相辅相成的,而不是互相替代;●从大的战略来讲,如上图1一样,大数据应该处于企业数据处理流向的最底层,大数据技术所起的作用就如新的ETL工具一样,从海量的数据中抽取分析出有价值的结果,当作企业业务数据除去交易系统的另一个来源。

当然,就是管理历史数据一样,在这个理念约束下,大数据还可以有很多其它的适用场景。

上图1描绘了大数据时代银行业新一代数据体系的建设理念,金字塔自底而上,数据量不断变小,价值越来越高。

这里认为,银行业可以根据上图1所示的理念制定本企业数据体系建设的大战略。

四、银行业应该如何构建企业大数据平台和数据仓库、网上商店或任何 IT 平台一样,大数据基础架构也有独特的要求。

在考虑大数据平台的各个构成组件时,必须关注最终目标是要实现大数据与企业数据的轻松集成,以便能够深入分析合并后的数据集。

也就是说,不要把大数据构建成一个新的孤立平台,大数据能够产生价值在于深入分析。

一般来说,大数据的基础架构要求涉及数据获取、数据组织和数据分析。

1.获取大数据大数据的获取是基础架构有别于大数据出现之前的一个主要变化。

因为大数据是指速度更快、种类更多的数据流,所以支持大数据获取的基础架构必须以可预测的低延迟来捕获数据和执行简短查询;能够处理极高的事务量,通常是在分布式环境中;并支持灵活的动态数据结构。

获取和存储大数据经常使用 NoSQL 数据库。

此类数据库非常适用于动态数据结构,并且伸缩性强。

NoSQL 数据库中存储的数据通常多种多样,因为系统的用途就是捕获所有数据,而不作分类和分析。

例如,NoSQL 数据库经常用于收集和存储社交媒体数据。

虽然面向客户的应用不断变化,但底层存储结构却很简单。

通常,这些简单的结构并不是要设计一个模式来包含实体间的关系,而只是包含一个主键来标识数据点以及包含一个内容容器来容纳相关数据。

这种简单的动态结构既支持各种变化,又无需成本高昂的存储层重组。

2. 组织大数据在传统的数据仓库中,组织数据称作数据集成。

大数据的数据量之大造成了很多情况下都是在其原始存储位置组织数据,而不迁移大量的数据,这样做既省时又省钱。

组织大数据所需的基础架构必须能够在原始存储位置处理和操作数据;支持极高的吞吐量(通常以批量的形式)以支持大数据处理过程;处理从非结构化到结构化的各种数据格式。

Apache Hadoop 是一种新技术,支持在原始数据存储集群中组织和处理大量数据。

例如,Hadoop 分布式文件系统 (HDFS) 就是 Web 日志的长期存储系统。

在Hadoop集群上运行MapReduce 程序并生成聚合结果,这些 Web 日志就会转变成浏览行为(会话)。

然后,这些聚合结果会加载到关系 DBMS 系统中。

3.分析大数据由于数据移动并不总发生在组织阶段,因此分析也可在分布式环境中进行,这种情况下某些数据将存放在其原始存储位置,并需要做到从数据仓库透明访问。

分析大数据所需的基础架构必须能够支持对不同系统中存储的更多数据类型进行更深入的分析(如统计分析和数据挖掘),必须能够扩展到极致数据量,必须能够提供因为变化而驱动的更快响应,必须能够根据分析模型自动做出决策。

而最重要的是,基础架构必须能够集成大数据与传统企业数据的组合分析。

新见解不仅来自对新数据的分析,还来自结合旧数据对新数据做出的分析,其目的在于对旧问题做出新的诠释。

4.大数据平台解决方案体系为满足上述大数据基础架构要求,许多新技术应运而生。

相关文档
最新文档