企业大数据案例分析(公司大数据、集团大数据)
大数据分析案例分析

大数据分析案例分析I. 引言如今,数据已经成为各个领域的重要资源。
大型企业和组织每天都会产生海量的数据,因此如何利用这些数据来获取有价值的信息已成为一个重要课题。
在这篇文章中,我们将通过分析两个大数据分析案例来展示大数据分析对于企业和组织的重要性以及它所能带来的巨大利益。
II. 案例一:在线零售商的客户行为分析一家在线零售商想要了解其客户的购买习惯以及他们所关注的产品领域,以此来优化其运营策略。
为了实现这一目标,他们采集了大量的购买记录、浏览历史和客户反馈数据,并利用大数据分析工具来对这些数据进行分析。
首先,他们使用聚类分析来将客户划分为不同的群体。
通过聚类分析,他们发现了一些隐藏在数据背后的规律,比如有些客户更喜欢购买价格较高的奢侈品,而另一些客户则更倾向于购买折扣商品。
这一发现帮助该零售商更有效地进行产品推广和定价策略。
其次,他们利用关联分析来发现商品之间的关联性。
通过分析数据,他们发现一些商品经常同时被购买,比如手机配件和手机壳。
基于这一发现,他们可以通过一揽子的销售策略来推销这些相关商品,从而提高销售额。
最后,他们通过文本挖掘分析客户的反馈数据,以了解客户对于产品的评价和意见。
通过分析这些评论,他们可以及时发现并解决产品质量问题,提高客户满意度。
通过这些大数据分析方法,该在线零售商成功地了解了客户的购物习惯和需求,优化了产品推广和定价策略,并提高了客户满意度和销售额。
III. 案例二:医疗保险公司的风险预测一家医疗保险公司想要通过大数据分析来预测客户的风险程度,从而制定更精确的保险策略。
为了实现这一目标,他们收集了大量的客户健康状况、医疗历史和理赔记录等数据,并利用大数据分析工具进行分析。
首先,他们使用分类模型来预测客户是否存在潜在的健康风险。
通过分析不同变量与客户健康状况之间的关联性,他们可以判断客户的健康风险程度,并据此制定不同的保险策略。
其次,他们利用时间序列分析来预测客户未来可能发生的医疗事件。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言随着信息技术的快速发展和互联网的普及,大数据已经成为当今社会的热门话题。
大数据指的是规模庞大、类型多样且难以处理的数据集合。
在过去的几年里,大数据已经在各个领域得到了广泛的应用,包括商业、医疗、金融、交通等。
本文将通过分析几个经典的大数据应用案例,来探讨大数据对于企业和社会的影响。
二、大数据应用案例分析1. 亚马逊的个性化推荐系统亚马逊是全球最大的电子商务公司之一,其成功的一个关键因素就是其个性化推荐系统。
亚马逊通过收集用户的购买历史、浏览记录、评价等大量数据,利用大数据分析技术来预测用户的购买偏好,从而向用户推荐个性化的产品。
这个个性化推荐系统大大提高了用户的购物体验,也提高了亚马逊的销售额。
2. 谷歌的搜索引擎优化谷歌是全球最大的搜索引擎,其搜索引擎优化(SEO)算法是其成功的关键之一。
谷歌利用大数据分析技术来分析网页的内容、链接、用户行为等数据,从而提高搜索结果的质量和准确性。
通过大数据分析,谷歌可以更好地理解用户的搜索意图,为用户提供更准确、相关的搜索结果。
3. 脸书的社交网络分析脸书是全球最大的社交网络平台之一,其成功的一个关键因素是其社交网络分析技术。
脸书通过收集用户的个人信息、社交关系、兴趣爱好等大量数据,利用大数据分析技术来分析用户的社交网络结构、用户行为等,从而提供个性化的社交推荐、广告投放等服务。
这些个性化的服务不仅提高了用户的满意度,也带来了脸书的商业价值。
4. 物流行业的路径优化物流行业是一个典型的大数据应用领域。
物流公司需要处理大量的订单、货物、车辆等数据,通过大数据分析技术可以对物流网络进行优化,提高物流效率和降低成本。
例如,通过分析历史订单数据和交通拥堵数据,可以优化配送路径,减少运输时间和成本。
5. 医疗行业的疾病预测大数据在医疗行业的应用也非常广泛。
医疗机构可以通过收集患者的病历、体检数据、基因数据等大量数据,利用大数据分析技术来预测疾病的发展趋势和风险,提供个性化的治疗方案。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言随着信息技术的快速发展,大数据已经成为各行各业的热门话题。
大数据的出现为企业和组织提供了更多的机会和挑战。
本文将通过分析几个经典的大数据应用案例,探讨大数据在不同领域的应用和价值。
二、金融领域1. 案例一:信用评分模型在金融领域,大数据被广泛应用于信用评分模型的建立。
通过分析大量的历史数据,银行可以更准确地评估借款人的信用风险,从而制定更合理的贷款政策和利率。
这不仅有助于降低银行的风险,还能提高贷款审批的效率。
2. 案例二:交易风险监测大数据技术在金融交易风险监测方面也发挥了重要作用。
通过实时监测和分析交易数据,金融机构可以及时发现异常交易和欺诈行为,从而采取相应的措施防止风险的扩大。
这种实时监测和分析的能力大大提高了金融机构的安全性和反欺诈能力。
三、零售行业1. 案例三:精准营销大数据在零售行业的应用也非常广泛。
通过分析消费者的购买历史、行为数据和社交媒体数据,零售商可以更好地了解消费者的需求和偏好,并针对性地进行精准营销。
例如,根据消费者的购物习惯和兴趣推荐个性化的产品和促销活动,从而提高销售额和客户满意度。
2. 案例四:供应链优化大数据技术还可以帮助零售商优化供应链管理。
通过分析销售数据、库存数据和供应商数据,零售商可以更准确地预测需求,避免库存过剩或缺货的情况发生。
同时,大数据还可以帮助零售商优化物流和配送,提高运输效率和降低成本。
四、医疗健康领域1. 案例五:疾病预测与预防大数据在医疗健康领域的应用可以帮助医生和研究人员更好地预测和预防疾病。
通过分析大量的医疗数据和基因组数据,可以发现疾病的早期迹象和风险因素,从而采取相应的预防和干预措施。
这有助于提高疾病的诊断准确性和治疗效果,减少医疗资源的浪费。
2. 案例六:个性化医疗大数据还可以支持个性化医疗的实现。
通过分析患者的基因组数据、病历数据和生活习惯数据,医生可以为每个患者制定个性化的治疗方案,提高治疗效果和患者满意度。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言随着信息技术的快速发展,大数据已经成为当今社会的热点话题之一。
大数据是指规模巨大、类型多样的数据集合,传统的数据处理工具已经无法胜任。
大数据分析是对大数据进行整理、分析和解读的过程,通过挖掘数据中的有价值信息,可以为企业和组织提供决策支持和业务优化的依据。
本文将通过分析几个经典的大数据应用案例,探讨大数据的应用价值和技术挑战。
二、大数据应用案例分析1. 电商平台的用户行为分析电商平台拥有庞大的用户数量和海量的交易数据,通过对这些数据进行分析,可以了解用户的行为习惯、购买偏好和消费能力,从而优化商品推荐、精准营销和供应链管理等环节。
以某电商平台为例,通过大数据分析,发现用户在购买商品时具有明显的时间偏好,可以根据用户的购买时间段进行个性化推荐;同时,还可以根据用户的购买历史和浏览行为,为商家提供精准的广告投放策略,提高广告效果和用户转化率。
2. 金融行业的风险管理金融行业面临着众多的风险,如信用风险、市场风险和操作风险等。
通过对大数据的分析,可以实时监测和预测风险,提前采取相应的措施。
以某银行为例,通过对客户的个人信息、交易记录和信用评级等数据进行分析,可以对客户的信用风险进行评估和预测;同时,还可以通过对市场数据和宏观经济指标的分析,预测市场的波动和行业的发展趋势,为投资决策提供参考。
3. 健康行业的疾病预测与管理健康行业是大数据应用的另一个重要领域。
通过对患者的医疗记录、基因数据和生活习惯等数据进行分析,可以实现疾病的早期预测和个性化治疗。
以某医疗机构为例,通过对患者的病历和检查报告等数据进行分析,可以发现潜在的疾病风险,提前采取预防措施;同时,还可以根据患者的基因数据和病历,为患者提供个性化的治疗方案,提高治疗效果和生活质量。
4. 物流行业的运输优化物流行业是大数据应用的典型领域之一。
通过对订单数据、交通信息和仓储情况等数据进行分析,可以实现物流运输的智能化和优化。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言随着信息技术的迅速发展,大数据已经成为当今社会的热门话题。
大数据的应用已经渗透到各个领域,对于企业的决策和发展起到了重要的作用。
本文将通过分析几个经典的大数据应用案例,探讨大数据在不同领域的应用及其带来的益处。
二、金融领域案例分析1. 银行风险管理某银行利用大数据技术,对客户的交易数据进行实时监控和分析,通过建立风险模型,能够及时发现异常交易和欺诈行为。
这种实时监控大大提高了银行的风险管理能力,减少了损失。
2. 信用评分模型一家信用卡公司利用大数据分析客户的消费行为、信用记录等数据,建立了准确的信用评分模型。
通过这个模型,公司能够更好地判断客户的信用状况,减少坏账率,提高贷款审批效率。
三、零售领域案例分析1. 个性化推荐系统一家电商公司利用大数据技术,根据用户的购买记录、浏览行为等数据,建立了个性化推荐系统。
通过分析用户的兴趣和偏好,系统能够向用户推荐更符合其需求的商品,提高用户购买率和满意度。
2. 库存管理优化一家连锁超市利用大数据分析销售数据和供应链数据,优化库存管理。
通过准确预测商品需求量,超市能够及时补充库存,避免商品断货和过剩。
这种优化能够降低库存成本,提高销售效率。
四、医疗领域案例分析1. 疾病预测和预防某医院利用大数据分析患者的病历数据、基因数据等,建立了疾病预测模型。
通过分析大量的数据,医院能够预测患者患某种疾病的风险,并采取相应的预防措施,提高治疗效果。
2. 医疗资源优化一家医疗机构利用大数据分析患者的就诊数据和医生的工作量数据,优化医疗资源的分配。
通过合理安排医生的排班和就诊时间,医疗机构能够提高医疗效率,减少患者的等待时间。
五、交通领域案例分析1. 智能交通管理某城市利用大数据分析交通流量数据和道路状况数据,建立了智能交通管理系统。
通过实时监控交通状况,系统能够及时调整交通信号灯的配时,优化交通流量,减少拥堵。
2. 公交车调度优化一家公交公司利用大数据分析乘客的出行数据和公交车的运行数据,优化公交车的调度。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言大数据是指规模庞大、结构复杂且难以处理的数据集合,以及从这些数据中提取出有价值的信息的技术和方法。
随着互联网的快速发展和智能设备的普及,大数据应用已经成为各行各业的热点话题。
本文将分析几个经典的大数据应用案例,以便更好地理解大数据的概念和应用。
二、电商领域的大数据应用案例分析1.案例背景某电商平台每天都有海量的用户访问和交易数据产生,如何利用这些数据提升用户体验、提高销售额成为了该平台的重要课题。
2.数据采集与存储该电商平台通过用户登录、浏览、购买等行为采集大量的用户数据,并将其存储在分布式数据库中,以便后续的分析和挖掘。
3.用户画像与个性化推荐通过对用户数据进行分析,该电商平台可以建立用户画像,了解用户的兴趣、偏好、购买习惯等信息。
基于用户画像,平台可以向用户推荐个性化的商品和服务,提高用户购买的转化率。
4.销售预测与库存管理通过对历史交易数据的分析,该电商平台可以预测不同商品的销售趋势,以便合理安排库存,减少库存积压和损失。
5.用户行为分析与反欺诈通过对用户行为数据的分析,该电商平台可以识别出异常交易行为,及时采取措施防止欺诈和风险。
三、金融领域的大数据应用案例分析1.案例背景某银行拥有大量的客户数据和交易数据,如何利用这些数据提高风险管理和客户服务水平成为了银行的关注点。
2.风险评估与信用评分通过对客户的信用记录、财务状况和交易行为等数据进行分析,银行可以评估客户的风险水平,并为其分配相应的信用评分。
这有助于银行更好地管理风险,提供更准确的贷款和信用卡审批。
3.反洗钱与反欺诈通过对大量的交易数据进行分析,银行可以识别出可能涉及洗钱和欺诈的交易行为,及时采取措施防止金融犯罪。
4.智能客服与投资建议通过对客户数据和市场数据的分析,银行可以为客户提供个性化的投资建议和理财规划,提高客户满意度和投资收益率。
5.金融市场预测与交易策略通过对金融市场的大数据进行分析,银行可以预测市场的走势和波动,制定相应的交易策略,提高投资回报率。
大数据及大数据应用经典案例分析

大数据及大数据应用经典案例分析一、引言随着信息技术的不断发展和互联网的普及,大数据已经成为当今社会中不可忽视的重要资源。
大数据的应用范围广泛,涵盖了各个行业和领域。
本文将通过分析几个经典的大数据应用案例,探讨大数据在实际应用中的价值和作用。
二、零售业的大数据应用案例1. 案例背景某零售企业通过收集顾客购物的交易数据、会员信息、网站浏览记录等大量数据,运用大数据分析技术,实现了个性化推荐、精准营销和库存管理的优化。
2. 分析过程该企业通过分析顾客购物的交易数据,挖掘出顾客的购物偏好、消费习惯等信息,从而实现了个性化推荐。
通过分析会员信息,企业能够针对不同的会员制定不同的优惠政策,提高会员的忠诚度和购买频率。
通过分析网站浏览记录,企业能够了解顾客的兴趣爱好,从而进行精准的广告投放。
3. 应用价值通过大数据的应用,该企业实现了销售额的提升和成本的降低。
个性化推荐和精准营销使得顾客更容易找到自己感兴趣的商品,提高了购买率。
同时,库存管理的优化减少了库存积压和滞销商品,降低了成本。
三、医疗行业的大数据应用案例1. 案例背景某医疗机构通过整合患者的医疗记录、疾病数据库、基因数据等大量数据,应用大数据分析技术,实现了疾病诊断的精准化和医疗资源的优化分配。
2. 分析过程该医疗机构通过分析患者的医疗记录和疾病数据库,挖掘出患者的疾病风险因素和治疗方案,从而实现了疾病诊断的精准化。
通过分析基因数据,机构能够了解患者的基因特征,从而为患者提供个性化的治疗方案。
同时,通过分析医疗资源的使用情况,机构能够合理分配医疗资源,提高医疗效率。
3. 应用价值通过大数据的应用,该医疗机构提高了疾病的诊断准确率和治疗效果,提高了患者的满意度。
同时,医疗资源的优化分配使得医疗机构能够更好地满足患者的需求,提高了医疗效率。
四、交通运输行业的大数据应用案例1. 案例背景某交通运输企业通过整合车辆的GPS数据、道路交通信息、乘客出行数据等大量数据,应用大数据分析技术,实现了交通拥堵预测和乘客出行服务的优化。
企业运用大数据成功的案例

企业运用大数据成功的案例随着大数据技术的不断发展,越来越多的企业开始运用大数据来提高业务效率和实现商业价值。
本文将介绍几个企业运用大数据成功的案例,以供参考。
下面是本店铺为大家精心编写的4篇《企业运用大数据成功的案例》,供大家借鉴与参考,希望对大家有所帮助。
《企业运用大数据成功的案例》篇1一、亚马逊亚马逊是一家全球知名的电子商务公司,它通过运用大数据技术来提高用户体验和销售额。
亚马逊通过收集用户的历史购买记录、搜索记录和点击行为等数据,运用机器学习算法进行分析和预测,向用户推荐他们可能感兴趣的商品。
此外,亚马逊还通过分析用户的评论和反馈来优化产品和服务,提高用户满意度。
二、谷歌谷歌是一家全球领先的互联网公司,它通过运用大数据技术来提高搜索质量和广告效果。
谷歌通过收集用户的搜索记录和行为数据,分析用户的需求和兴趣,向用户提供更精准的搜索结果和广告推荐。
此外,谷歌还通过分析用户的浏览行为和点击行为,来优化网站的布局和内容,提高用户体验。
三、沃尔玛沃尔玛是一家全球最大的零售商之一,它通过运用大数据技术来提高供应链效率和销售量。
沃尔玛通过收集销售数据、库存数据和消费者需求数据等,运用数据分析和预测算法,精准预测市场需求和销售趋势,优化供应链管理和库存管理。
此外,沃尔玛还通过分析消费者的购买行为和偏好,提供个性化的促销和优惠活动,提高销售量和客户忠诚度。
四、阿里巴巴阿里巴巴是一家全球领先的电子商务公司,它通过运用大数据技术来提高业务效率和商业价值。
阿里巴巴通过收集用户的购买记录、支付记录和物流记录等数据,运用数据分析和机器学习算法,提供个性化的推荐和服务,提高用户满意度和购买转化率。
此外,阿里巴巴还通过分析用户的行为和需求,优化网站和移动应用的功能和布局,提高用户体验和销售量。
以上是几个企业运用大数据成功的案例,它们通过运用大数据技术来提高业务效率和实现商业价值,取得了良好的经济效益和社会效益。
《企业运用大数据成功的案例》篇2亚马逊是一家成功的企业,它运用大数据取得了巨大的成功。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
企业大数据案例分析目录1中国联通大数据平台 (4)1.1项目概述 (4)1.2项目实施情况 (5)1.3项目成果 (10)1.4项目意义 (11)2恒丰银行大数据平台 (12)2.1项目概述 (12)2.2项目实施情况 (15)2.3项目成果 (21)2.4项目意义 (21)3华通CDN运营商海量日志采集分析系统 (24)3.1项目概述 (24)3.2项目实施情况 (24)3.3项目成果 (28)3.4项目意义 (28)4案例总结 (30)1中国联通大数据平台联通XX公司公司按照工信部的的要求(见《工业和信息化部、国务院国有资产监督管理委员会关于开展基础电信企业网络与信息安全责任考核有关工作的指导意见》和《工业和信息化部办公厅关于印发<2013年省级基础电信企业网络与信息安全工作考核要点与评分标准>的通知》),于2013年启动IDC/ISP日志留存系统的建设,其中XX 公司侧的集中留存系统软件由联通研究院负责开发。
为了满足海量数据条件下的处理效率的要求,XX公司侧集中留存系统软件除研究院自主开发外,基于Hadoop的数据存储部分计划进行外包,通过软件技术服务,来进行系统优化和维护支撑。
1.1项目概述目前,联通XX公司公司全国IDC出口的访问日志预计两个月产生的数据量约20 PB至30PB,每秒写入大概6千万至7千万条数据,在如此巨大的数据量下,原有Ter adata和Oracle已经不能满足快速读写的性能要求了。
同时为了实现快速检索以及分析处理的性能要求,需要引入分布式大数据平台,利用分布式文件存储系统,提高数据的存储入库能力,利用Hadoop/HBase架构克服磁盘I/O瓶颈导致的数据读写延迟;基于联通IDC出口流量详单数据进行快速存储和检索以及分析处理,同样要求数据处理平台具备快速读写的高性能。
中国联通公司全国IDC日至留存项目对分布式集群的要求非常高:(1)日志数据量非常大,存储的总日志数据量将达到20PB-30PB。
(2)要求集群的数据吞吐量非常高,每秒的日志写入量将达到6千万至七千万条,未来还会增长更多,每秒的数据写入量为上百GB(3)数据访问的性能要求非常高,对日志的分析需要分钟级、甚至秒级返回结果。
(4)数据计算量大,日常日志扫描任务就需要扫描上百TB,甚至上PB的数据。
(5)集群的扩展性要求非常高,能够灵活扩展至上千个节点的集群。
根据此次中国联通的需求,以及项目的特点和技术要求,推荐采用商用的、成熟的、基于星环Transwarp Data Hub的企业级大数据平台套件,构建中国联通IDC日志留存平台的基础大数据平台,用于满足海量日志的高速存储、计算、分析、挖掘的需求。
1.2项目实施情况星环科技通过协助联通XX公司搭建基于星环Transwarp Data Hub的大数据平台,成功为联通XX公司搭建了信息安全管理系统大数据存储处理子系统项目所采用的平台系统。
分布式大数据平台采用Hadoop/HBase架构,能够支持对联通IDC出口流量详单的存储和快速检索和分析处理。
系统拓扑:图4-1联通大数据平台技术架构整个集群由FTP集群和Hadoop集群组成,其中:FTP集群:➢由129台服务器组成,hostname对应为idcisp-ftp-001 ~idci sp-ftp-129➢功能:主要存放从各大机房传输过来的数据,放到对应目录下由Su perListen进程进行监控,并将数据统一传输到Hadoop集群的HDFS上Hadoop集群:➢组成:Zookeeper 11台,NameNode 2台,Resource Manager 1台,hamster 5台,DataNode921台➢功能:安装了tdh相关的组件Hadoop、Hyperbase、Inceptor,存储从ftp服务器传输过来的数据,并定时导入到Hyperbase中,供上层应用或程序的调用快速返回查询结果,同时也可以通过inceptor进行统计分析,暂时保存的数据是2+1月每天存储Hyperbase中的数据大概10T左右,存储的是2+1月,除了存储在Hy perbase中的数据,HDFS也会有原始数据的备份,现在空间占用大概在65%左右。
Transwarp Data Hub平台部署拓扑图:图4-2联通大数据平台网络拓扑实际部署星环的Hadoop集群,存储能力达到全国IDC出口访问日志两个月的存储能力,约为20PB,总带宽16764G,每G每秒生成话单4000条计算,每秒新写入数据为67056000条访问日志。
入库方式:➢传统的API put方式平均每秒每台机器只能入库约2万条数据,900台机器的极限是1.8千万条/秒。
远远低于数据灌入速度。
➢Bulkload是唯一的选择:定制化的Bulkload入库效率约为单节点每秒12万,900台机器的入库能力超过10.8千万条/秒➢数据通过通过FTP服务器集群中部署HDFS写入Agent方式直接由ftp集群直接上传到HDFS中。
注:之前IP溯源Bulkload对三张表(一张内容表+2张索引表)的入库效率为4万条/秒/节点。
此次为了最大限度的利用Bulkload的效率,一方面去除了2张索引表,另一方面也优化了已有Bulkload 代码。
优化内容:➢数据入库时负载均衡,优化rowkey中日期时间,避免数据写热点。
➢8位UUID尾缀避免同一时间点上的数据相互覆盖。
➢Rowkey上优化时间排序,加速读过程,保证数据从最近到最远排序。
➢保留60天历史数据,每天各建一张表,提升每张表的可管理性➢建表时预设15000个Region,提升Bulkload入库效率。
➢不建索引表,改用定制化的API满足查询需求,进一步增大入库带宽。
根据中国联通对IDC出口的流量详单的存储与快速检索、分析的处理的要求,星环科技为联通XX公司提供了如下技术组件与模块:表4-1 组件列表联通XX公司搭建的信息安全管理系统大数据存储处理子系统,所采用的硬件设备如下表所示:表4-2 节点配置表星环科技作为大数据平台技术提供商,XX公司侧集中留存系统软件除研究院自主开发外,基于Hadoop的数据存储部分计划进行外包,通过软件技术服务,来进行系统优化和维护支撑。
表4-3 项目概况1.3项目成果项目所搭建的星环Transwarp Data Hub平台,克服在海量数据的条件下,因磁盘I/O性能带来的数据处理瓶颈,分布式大数据平台采用Hadoop/HBase架构,项目成果如下:搭建了超过900个节点的星环Transwarp Data Hub集群,满足约20000T(20 PB)至30000T(30PB)的数据存储能力以及每秒写入大概6千万至7千万条数据的读写性能。
经测算,数据平台的性能为:➢高速数据插入吞吐量远高于单节点30MB/S;➢单节点在索引上检索性能不低于1W条/秒;➢提供数据据高并发查询,单节点SQL并发度不低于3000次/秒;➢提供SQL对数据的高速统计分析,线性扫描性能单节点不低于80MB/S。
通过Hyperbase对外提供的SQL接口,上层应用通过SQL进行数据访问和查询,极大的降低了对开发人员专业技能的要求,降低了系统维护成本,同时提高了应用开发效率。
通过Hyperbase集成的Elastic Search功能,应用层可以通过全文索引进行日志数据的检索,根据关键字的检索响应时间在20ms以内,整个集群可以承载的基于关键词的检索并发度远高于100万/秒。
对海量IDC出口访问日志的分析性能极为高效,日扫描数据量超过100TB。
入库效率单节点每秒12万条日志,集群总体入库能力目前超过10.8千万条/秒。
每天Hyperbase新增存储日志量超过50TB。
1.4项目意义基于星环Transwarp Data Hub搭建的中国联通IDC日志留存大数据平台,目前已经部署了900多个x86服务器节点,是目前国内非互联网公司范围内规模最大的单一客户、单一集群的企业级大数据平台,从全球的非互联网行业看,如此大的部署规模也不常见,是国内XX公司级、总部级客户中非常成功的落地项目,充分证明星环科技Transwarp Data Hub大数据平台可以为企业级客户提供成熟的、稳定的的大规模部署方案,中国联通IDC日志留存大数据平台为XX公司大数据平台的建设提供了宝贵的经验,可以帮助XX公司搭成功建起高效、稳定的、充分满足XX公司需求以及符合X X公司特色的大数据平台。
2恒丰银行大数据平台恒丰银行股份有限公司是12家全国性股份制商业银行之一,其前身为1987年经国务院同意、中国人民银行批准成立的烟台住房储蓄银行。
2003年经中国人民银行批准,正式改制为恒丰银行股份有限公司,成为全国性股份制商业银行。
目前,恒丰银行在全国设有14家一级分行,2家总行直管行,共256家分支机构;另外还发起设立了5家村镇银行。
截至2015年末,恒丰银行资产规模达到1.05万亿元,全年净利润同比增长14%,净资产收益率ROE超过15%,新增分支机构74家,与上年相比实现翻番,创历年新高。
在英国《银行家》杂志发布的“2015年全球银行1000强”排名中,恒丰银行位列第170位。
恒丰银行较好的实现了盈利与稳健发展的平衡。
盈利能力方面,恒丰银行在香港中文大学发布的《亚洲银行竞争力研究报告》中位列亚洲银行业第5位;稳健发展能力方面,恒丰银行在中国银行业协会发布的“商业银行稳健发展能力‘陀螺(GYROSCOPE)评价体系’”中,在综合能力排名中位列全国性商业银行第7位,全国性股份制商业银行前三。
2.1项目概述随着利率市场化进程加快、互联网金融业态的发展,传统银行与实体经济的业务横向联系与深度融合进展迅速,业务数据的内容不断丰富,建立在数据处理技术之上业务洞察能力也需要不断提升。
恒丰银行处于业务发展的新阶段,新业务模式的创新离不开数据的支持,也对数据信息服务的总体能力提出了新的要求。
基于大数据平台技术,整合现有行内数据,接入行外数据,搭建处理能力更强,更易于扩展,性能更高的统一数据平台。
不仅可以很好的满足高计算、高存储、高负载的要求,更能够对海量的数据进行数据存储、清洗、加工、建模等,把先前无法利用的数据充分利用,提升对数据的认识,抓住机遇为恒丰银行数据平台建设做好最基础、最扎实的工作。
根据恒丰银行的实际应用需要,分别搭建基于大数据平台的企业数据仓库和历史数据分析探索平台,满足海量数据的低成本高效存储、加工、使用,完成企业数据仓库应用的迁移和优化重构,满足移动互联渠道场景的高并发低延时数据服务需求,协助业务数据分析团队自主的数据探索和业务建模。
恒丰银行传统数据仓库是建立在IOE体系之下,支持TB级别数据存储并提供复杂数据查询功能的数据管理体系。