大数据宗露华为大数据产品及金融行业实践.ppt
合集下载
华为企业云数据中心解决方案ppt课件
业务使能中心 • 云数据中心企业业务特征：
1 计算需求高度弹性 2 临时性的需求 3 业务快速增长
4 快速上市需求
5 成本控制
6 运营授权
• 传统数据中心业务特征：
1
资源需求持续、稳 定
2 需独享资源
3
安全要求极苛 刻
• 云数据中心第三方业务：
1 弹性资源扩展
应用开发/发布/下载平
2台
企业级云平台
规模集群扩展、交换能力
高效、智能管理维护能力
立体的安全防护能力
基于灵活策略的业务质量保障能 力
开放的方案架构–合作共赢、构建生态链
短信 通话 会议 用户
LBS
DMTF, Amazon兼容 开放电信能力API
华为云管理平台
计算资源调度
Libvert Public API
Xen Dr. ESX Dr. XenAPI Dr.
传统数据中心：只监控不管理 IT设备与机房基础设施实现智能联动，提升管理效率
华为数据中心机房的愿景
绿色机房
高效节能
平滑演进
卓越交付
•精密送风 •密封冷通道 •自然风冷 •集装箱 •联动控制 •智能机器人
•单柜9KW •单柜18KW（液冷） •更高密度30KW （计划） •智能管控系统
•模块化机房 •单柜密度平滑提 升
走线架 光纤配线架 线缆 & 光纤 标识 走线支架
精密空调 舒适性空调 通风系统
油机 & ATS UPS 直流电源柜 交流电源柜 静态转换开关 电池及电池架 电源线缆
项目管理
华为云机房解决方案产品形态
IDS （Intelligent Data-Center Solution）系列数据中心机房
(完整版)大数据介绍ppt
•非结构化海量信息的智能化处理：自然语言 理解、多媒体内容理解、机器学习等.
➢异常检测：识别其特征显著不同于其他 数据的观测值
实战项目1—— Python 网络爬虫
网络爬虫是一个自动提取网页的程序/脚 本，它可以搜索引擎从万维网上下载网 页，是搜索引擎的重要组成。 ➢做为oping、 chinahr） ➢科学研究：在线人类行为，在线社群 演化，复杂网络，数据挖掘领域的实证 科学研究，快速收集大量数据
2020/4/14
6
大数据的4V特性
体量Volume 多样性Variety 价值密度Value 速度Velocity
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
数据挖掘基本方法
➢预测建模：将已有数据和模型用于对未 知变量的语言。（1）分类，用于预测离 散的目标变量（2）回归，用于预测连续 的目标变量
➢关联分析：反映一个事物与其他事物之 间的相互依存性和关联性。用来发现描述 数据中强关联特征的模式。
➢聚类分析：发现紧密相关的观测值组群， 使得与属于不同簇的观测值相比，属于同 一簇的观测值相互之间尽可能类似
-分布式文件系统（HDFS） -分布式数据库存储系统（Hbase） -分布式计算构架（MapReduce） ➢使用Java编写 ➢运行平台：Linux
HDFS 分布式文件系统
HDFS： - 分布式文件存储系统，存储海量的数 据；
- 数据冗余，硬件容错； - 流式的数据访问； - 存储大文件;
- 适合数据批量读写，吞吐量高；适 一次写入，多次读取，顺序读写。 - 不适合交互式应用，低延迟很难 满足不支持多用户并发写相同文件。
➢异常检测：识别其特征显著不同于其他 数据的观测值
实战项目1—— Python 网络爬虫
网络爬虫是一个自动提取网页的程序/脚 本，它可以搜索引擎从万维网上下载网 页，是搜索引擎的重要组成。 ➢做为oping、 chinahr） ➢科学研究：在线人类行为，在线社群 演化，复杂网络，数据挖掘领域的实证 科学研究，快速收集大量数据
2020/4/14
6
大数据的4V特性
体量Volume 多样性Variety 价值密度Value 速度Velocity
非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
数据挖掘基本方法
➢预测建模：将已有数据和模型用于对未 知变量的语言。（1）分类，用于预测离 散的目标变量（2）回归，用于预测连续 的目标变量
➢关联分析：反映一个事物与其他事物之 间的相互依存性和关联性。用来发现描述 数据中强关联特征的模式。
➢聚类分析：发现紧密相关的观测值组群， 使得与属于不同簇的观测值相比，属于同 一簇的观测值相互之间尽可能类似
-分布式文件系统（HDFS） -分布式数据库存储系统（Hbase） -分布式计算构架（MapReduce） ➢使用Java编写 ➢运行平台：Linux
HDFS 分布式文件系统
HDFS： - 分布式文件存储系统，存储海量的数 据；
- 数据冗余，硬件容错； - 流式的数据访问； - 存储大文件;
- 适合数据批量读写，吞吐量高；适 一次写入，多次读取，顺序读写。 - 不适合交互式应用，低延迟很难 满足不支持多用户并发写相同文件。
大数据及其典型应用ppt教案
企业经营领域应用实践
精准营销
通过对用户行为数据的挖掘和分析，实现精 准的用户画像和个性化推荐，提高营销效果 和用户体验。
供应链优化
利用大数据技术对供应链各环节的数据进行实时监 控和分析，实现供应链的动态优化和调整，提高运 营效率。
风险管理
大数据可以帮助企业识别和评估潜在的风险 因素，及时采取应对措施，降低企业经营风 险。
总结回顾本次课程核心内容
大数据概念及特征
介绍了大数据的定义、特征和常见类 型，帮助学生建立对大数据的初步认 识。
大数据典型应用
通过多个案例介绍了大数据在各个领 域的应用，包括商业智能、智慧城市 、医疗健康等，让学生了解到大数据 的实际价值。
大数据处理技术
详细讲解了大数据处理的基本流程、 关键技术和常用工具，包括数据采集 、清洗、存储、分析和可视化等方面 。
01
政策法规滞后
大数据发展迅速，相关政策法规的制定和完善跟不上发展速度，需要加
强政策研究和法规建设。
02
伦理道德挑战
大数据应用中可能涉及伦理道德问题，如数据歧视、隐私侵犯等，需要
加强伦理道德教育和监管。
03
社会责任与公众意识
大数据企业和个人需要承担相应的社会责任，同时公众也需要提高数据
素养和意识。
06
处理速度快
大数据处理要求实时或准实时处理，以满足 业务需求。
数据类型多样
大数据包括结构化、半结构化和非结构化数 据，如文本、图像、视频等。
价值密度低
大数据中蕴含的价值信息往往比较稀疏，需 要通过数据挖掘和分析才能发现。
大数据技术架构
分布式存储技术
如Hadoop的HDFS、Google的GFS等，用于存储海量数据。
大数据技术与应用实践-最新课件PPT
缺点
不适用非KV问题 不适用实时数据处理
大数据技术与应用.
Page27
目录
1. 大数据基础 2. 大数据关键技术 – Spark 3. 大数据与云 4. 大数据应用
大数据技术与应用.
Page28
交互式处理技术：Spark
内存计算
内存高速的数据传输速率 某些数据集已经能全部放在
内存 内存容量持续增长
Clojure，Java，Python，Ruby
支持本地模式
大数据技术与应用.
Page47
流式处理技术：Storm
示例
需求
实时计算10万多条路段的实时平均速度，并用不同颜色表示不同拥 堵程度，实现路况实时播报
秒级响应
数据量
6万多GPS定位仪，每15s发送一条位置信息 每天产生3.5亿条数据，空间300G左右
Page44
流式处理技术：Storm
流计算框架要求
高性能：每秒处理几十万条数据 海量数据处理 实时性：秒级、毫秒级 可伸缩性
大数据技术与应用.
Page45
流式处理技术：Storm
Storm分布式实时计算系统特征
编程模型简单
降低实时处理复杂性 提供Spout、Bolt操作原语
可扩展性
节点、工作进程、线程和任务多级并行
高可靠性
保证每个消息至少得到一次完整处理
大数据技术与应用.
Page46
流式处理技术：Storm
Storm分布式实时计算系统特征
高容错性
消息处理过程出现异常，Storm重新部署出现问题的处理单元 处理单元存储的中间状态被清除，应用负责管理
支持多种编程语言
大数据应用场景
非结构化、半结构化数据居多 要求系统能线性伸缩，即要处理更大规模数据，增加机器数量即
不适用非KV问题 不适用实时数据处理
大数据技术与应用.
Page27
目录
1. 大数据基础 2. 大数据关键技术 – Spark 3. 大数据与云 4. 大数据应用
大数据技术与应用.
Page28
交互式处理技术：Spark
内存计算
内存高速的数据传输速率 某些数据集已经能全部放在
内存 内存容量持续增长
Clojure，Java，Python，Ruby
支持本地模式
大数据技术与应用.
Page47
流式处理技术：Storm
示例
需求
实时计算10万多条路段的实时平均速度，并用不同颜色表示不同拥 堵程度，实现路况实时播报
秒级响应
数据量
6万多GPS定位仪，每15s发送一条位置信息 每天产生3.5亿条数据，空间300G左右
Page44
流式处理技术：Storm
流计算框架要求
高性能：每秒处理几十万条数据 海量数据处理 实时性：秒级、毫秒级 可伸缩性
大数据技术与应用.
Page45
流式处理技术：Storm
Storm分布式实时计算系统特征
编程模型简单
降低实时处理复杂性 提供Spout、Bolt操作原语
可扩展性
节点、工作进程、线程和任务多级并行
高可靠性
保证每个消息至少得到一次完整处理
大数据技术与应用.
Page46
流式处理技术：Storm
Storm分布式实时计算系统特征
高容错性
消息处理过程出现异常，Storm重新部署出现问题的处理单元 处理单元存储的中间状态被清除，应用负责管理
支持多种编程语言
大数据应用场景
非结构化、半结构化数据居多 要求系统能线性伸缩，即要处理更大规模数据，增加机器数量即
大数据金融的优质PPT++讲课稿
大数据金融的优质PPT一、大数据重定义在中国，大数据这个概念已经被各行各业很广泛的引用，变得家喻户晓了，但是限于本身的专业性内涵，大家对大数据的理解又存在巨大的差异。
成就大数据的不仅仅是传统定义中的“大”即三个“V”（Volume –量, Velocity –速度, Variety –多样性），而是“大”所能带来的“价值”。
当人们从海量数据中能够汲取价值，并借助其推动商业模式发生内嵌式变革时，具备“大”的特点的数据才成为真正的“大数据”。
毋庸置疑，今天中国大数据的时代正在汹涌而来，7亿的互联网用户，3.5亿的微信用户以及8亿的智能连接装置都使得数据作为一项基础设施，成为了互联网时代的核心资源。
相较于欧美，中国的用户更愿意分享个人信息，根据BCG最近完成的一份调研结果来看。
问如果我给您定制一个个性化的产品，你是否愿意分享你通过使用这一产品所产生的数据。
93%的被调研客户会说“我愿意”。
而数据的种类多种多样，有超过一半的人愿意分享家庭类传感器的数据、病例上的数据、汽车传感器上的数据等等。
这在很大程度上反映了当前的80和70后作为互联网人的张扬心态。
这就给我们带来一些新的机会，让我们的金融行业有一些新的发展契机。
一般在讨论大数据的时候，很多都是在技术层面上展开，比如说大数据、小数据、快数据、慢数据等等。
但大数据的着眼点和落脚点始终在于是否能够推动实体经济或虚拟经济商业模式的转变从而产生巨大的价值。
从不同行业来看，金融行业的数据强度为上述各个行业之首，因此大数据理念在银行业十分流行，但其潜在价值尚未得到充分的开发和利用。
举例而言，银行中有着海量的数据存储，在每100万美元收入里，银行业会创造和使用的数据大概是820G，远多于其它行业。
而银行在数据的应用和价值创造上，却非常有限。
实际上如果可用的数据是百分之百，最后真正能够用于创造价值的数据只占总数据量的1/3左右。
因此对于大数据而言，各行各业普遍的问题是虽然有这样的海量数据，但是并没有很好的应用，未能带来实际的商业价值。
大数据与金融课件pptx
大数据与金融行业融合发展趋势
数据驱动决策 金融机构将更加注重数据的收集、整合 和分析，以数据驱动业务决策和风险管
理。
跨界合作
金融机构将积极寻求与科技公司、电 商平台等跨界合作，共同拓展金融服
务的广度和深度。
金融科技创新 大数据将与人工智能、区块链等前沿 技术相结合，推动金融科技创新发展。
监管科技 监管机构将运用大数据技术对金融市 场进行实时监控和风险评估，提高金 融监管效率和准确性。
推荐算法பைடு நூலகம்计
根据用户画像和金融产品特性，设计协同过滤、内容推荐等推荐算法， 实现个性化金融产品推荐。
系统实现与评估
开发推荐系统原型，并通过A/B测试等方法对推荐效果进行评估和优 化。
基于客户画像的营销策略制定
客户画像构建
整合客户基本信息、交易数据、社交媒体数据等，形成全面、立体 的客户画像。
营销策略设计
预警模型构建
基于数据挖掘、异常检测等技术，构建操作风险预警模型，及时 发现潜在风险。
04
大数据在金融产品创新应用
个性化金融产品推荐系统设计
数据收集与预处理
通过爬虫、API接口等方式收集用户行为数据，并进行清洗、去重、 标签化等预处理操作。
用户画像构建
基于用户行为数据，运用机器学习算法构建用户画像，包括用户基本 信息、风险偏好、投资经验等维度。
NoSQL数据库
MongoDB、Cassandra等，用 于存储海量结构化或半结构化数 据
关系型数据库
MySQL、Oracle等，用于存储 结构化数据和进行复杂查询
数据仓库
Hive、HBase等，用于存储和管 理历史数据，支持决策分析
数据分析与挖掘技术
大数据技术PPT模板
数据挖掘与算法应用
数据探索
对数据进行初步的探索性分析，了解数据的分布、关联性等特征。
算法选择
根据分析目标选择合适的算法，如分类、聚类、回归、关联规则 挖掘等。
模型训练与优化
利用选定的算法对处理后的数据进行模型训练，并通过调整参数 等方式优化模型性能。
结果呈现与评估优化
结果可视化
将分析结果以图表、图像等形式进行可视化展示， 便于理解和交流。
大数据可视化技术
D3.js
一种JavaScript库，提供丰富的数 据可视化工具和API，支持交互式 数据可视化。
Tableau
一款数据可视化工具，提供直观 的数据分析和可视化界面，支持 多种数据源和数据格式。
Power BI
微软开发的数据可视化工具，提 供多种数据分析和可视化功能， 支持实时数据流的处理和展示。
未来发展趋势预测及建议
人工智能与大数据融合
AI技术将进一步提高大数据处理和分析的智 能化水平。
跨领域数据共享
打破数据壁垒，实现跨领域数据共享，释放 更大价值。
数据驱动决策
大数据技术将更广泛应用于企业决策、政府 治理等领域。
建议
加强大数据技术人才培养，推动相关法规和 政策完善，促进大数据产业健康发展。
成熟期
2013年至今，大数据技术进入快速发展阶段，数据处理和 分析能力不断提升，人工智能、机器学习等技术与大数据 融合，推动大数据应用向更深层次发展。
大数据技术应用领域
金融
大数据在金融领域的应用主要包括风险管理、客户分析、精 准营销等方面，通过大数据分析可以提高金融机构的风险控 制能力和业务效率。
结果评估
对分析结果进行评估，包括准确性、可靠性、稳 定性等方面的评估。
华为金融行业大数据实践分享
应用
W
服务器
E
Ｂ
服
务
报表
器
工具
即席 查询
数据 挖掘 工具
历史 数据
访问 应用
ETL调度
数据标准
元数据
数据质量
数据管控
数据交换
金融机构数据生态圈
历史数据越来越多 非结构化数据越来越多
社交、网购数据
业务系统
帐户 明细 交易
迁移+新生
数据分析
信用 社交 日志 影像 帐户 明细
行外数据 行内数据
企业数据平面
DB
RDB
• 3. 任务监控/报告
数据
• 图形化开发界面，支持作业（包括MR/spark/SQL任务）的拖拉 拽开发；
• 预集成各种数据访问接口和转换算子，支持用户自定义算子；
1 任务实时监控 2 任务状态结果报告 3 历史查询 4 告警 5 ……
• 支持作业/任务管理。
Farmer：实时应用服务平台
“在大数据领域，不能充分形成大数据使用能力 的竞争者将被淘汰”-McKinsey Global Institute
议题
• 金融行业数据分析新的挑战 • 华为大数据解决方案 • 华为金融行业大数据实践分享
华为FusionInsight大数据平台
金融
运营商
政府
明细（影像） 数据采集
FusionInsight 大数据平台
议题
• 金融行业数据分析新的挑战 • 华为大数据解决方案 • 华为金融行业大数据实践分享
中国金融业务发展面临的挑战
利率市场化 加剧市场竞争
宏 观
• 2013年，银行收入增速下 降11％，总利润下降2%
环 • 降低金融行业手续费用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hortonworks
2015~2016年统计 数据
• 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 • 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。
华为FusionInsight，云化、开放、融合的大数据平台
华为是大数据生态建设的倡导者和践行者
Top 2
Top 4
Gartner DMSA 魔力四象限报告
Alpine Data Appier Meituan Huawei Intel Cloudera Databricks Yahoo Intel Altiscale NTT Cloudera Huawei
完备的工具链 数据迁移 SQL开发 集群管理
• 完备的SQL能力，应用平滑迁移 • 开放平台性能业界最佳 • 弹性伸缩支持PB级数据处理
Miner：一站式图形化大数据洞察平台
全流程；多维度；高性能；开放
FusionInsight Miner
数据分析产品
图分析引擎 (Weaver)
日志分析 (Data Compass)
挖掘和人工智能专家； • 截止2016年12月，华为大数据取得专利190+，其
中发明公布136件，发明授权 54件。
华为大数据：IDC中国大数据MarkerScape领导者第一
IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点 战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行 高研发投入，为公司打造了持续创新的能力。
华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技 术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至 2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过 200家。
当前行业数据处理规模最大的即公共安全、银行业以及运营商， 这几个领域对于大数据平台的性能要求最高。华为在这三大领域积 累了700多个案例，证明了产品的稳定性、可靠性以及安全性。
华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与 白金会员，Completed Blueprints贡献全球第一，综合贡献在中国厂 商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡 献排名全球第三。2016年华为创建了社区项目Apache CarbonData， 发布了实时反欺诈平台FarmerRTD。
华为金融行业大数据实践分享
大数据是华为ICT战略的重要支柱
Professional Service
3rd Partners
Content & App
3rd ISVs
Enterprise
SDP
Apps
BSS/OSS
Big Data Analytics Platform
Data Center Infrastructure
标签管理
数据探索
Miner Base 建模分析
模型管理
并行化算法库(机器学习、图分析、时空数据分析)
Farmer：实时应用使能器，助力企业实时决策
平滑微服务化；易运维；高可用性；业务人员直接写规则
FusionInsight Farmer
ALB 接入负载均衡
MQ 消息队列
自定义应用1 …
自定义应用 N
Container 容器池
RTD执行
RTD编排
数据服务管理
FusionInsight HD, Redis, RTD DB
金融行业AI解决方案总体架构
客户接触渠道
网银
互
联
一网通
网
微信银行 PAD银行
手机银行
移
动
掌上生活
互 联
排队机/叫号机
高柜/低柜
网 点
贵宾厅门禁
短信
电邮
推 送
呼叫中心
远
程
电话语音（IVR）
数据集成 Porter
Sqoop 批量采集
Flume 实时采集
Kafka 消息管理
数据智慧 Farmer （实时决策引擎 Farmer RTD）
大规模并行处理数据库 Apollo DB
FtpOnHDFS 文件传输
Oozie 作业调度管
理
管理平台 Manager
安全管理
性能管理
故障管理
运维管理
配置管理
MPP大规模并行处理集群
集群服务器-1
集群服务器-n
DN DN DN DN DN DN Core1 Core1 Core1
SCTP大规模集群通讯网络
DN DN DN DN DN DN Core1 Core1 Coபைடு நூலகம்e1
DN DN DN
…
DN DN DN
Core1 Core1 Core1
…
硬件+OS
64位Linux系列，通用X86架构 （SUSE Linux、Redhat）
大数据 云服务
关系型数据 库服务: RDS
数据接入 服务: DIS
数据分析服务：MRS、 DWS、Stream、M-OLAP…
人工智能服务： MLS、NLP…
大数 据
分析
数据洞察 Miner （图分析引擎、机器学习、数据标签）
Hadoop生态发行版 HD
（HDFS、MapReduce、HBase、Hive、Solr、Spark、 Storm、Flink、Elk、CarbonData 等核心组件）
银 行
ATM 自助终端
VTM
自
助
POS
设 备
业务系统
核心 零售
信用卡 对公
企业级数仓 （第一数据平面）
DM（RDB） OD
S
EDW
(GP/TD/LibrA)
业务 场景
智能风控、 智慧预测
征信
营销
事
实 时 决
件 接 入流计
算
规则 模型 KV引擎
策
RTD
MLstudio机器学习平台
……
HD：全新数据格式Carbondata，同时满足多种业务需求
多维分析
传统模式
Carbondata 模式
OLAP
Sequential Access
Large Scans
Random Access
Small Scans
高效率，高性能，存储灵活，兼容
MPPDB：帮助企业构建高性能、PB级新数仓
FusionInsight MPPDB
Core Network
IP+Optical
FB B
Enterprise Network
MBB
Things (M2M Module)
People (Smart Device)
Source: Huawei corporate presentation
• 全球8个研究所，保持1000+的研发投入； • 拥有社区Committer、 IEEE Fellow等世界级数据
2015~2016年统计 数据
• 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 • 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。
华为FusionInsight，云化、开放、融合的大数据平台
华为是大数据生态建设的倡导者和践行者
Top 2
Top 4
Gartner DMSA 魔力四象限报告
Alpine Data Appier Meituan Huawei Intel Cloudera Databricks Yahoo Intel Altiscale NTT Cloudera Huawei
完备的工具链 数据迁移 SQL开发 集群管理
• 完备的SQL能力，应用平滑迁移 • 开放平台性能业界最佳 • 弹性伸缩支持PB级数据处理
Miner：一站式图形化大数据洞察平台
全流程；多维度；高性能；开放
FusionInsight Miner
数据分析产品
图分析引擎 (Weaver)
日志分析 (Data Compass)
挖掘和人工智能专家； • 截止2016年12月，华为大数据取得专利190+，其
中发明公布136件，发明授权 54件。
华为大数据：IDC中国大数据MarkerScape领导者第一
IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点 战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行 高研发投入，为公司打造了持续创新的能力。
华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技 术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至 2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过 200家。
当前行业数据处理规模最大的即公共安全、银行业以及运营商， 这几个领域对于大数据平台的性能要求最高。华为在这三大领域积 累了700多个案例，证明了产品的稳定性、可靠性以及安全性。
华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与 白金会员，Completed Blueprints贡献全球第一，综合贡献在中国厂 商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡 献排名全球第三。2016年华为创建了社区项目Apache CarbonData， 发布了实时反欺诈平台FarmerRTD。
华为金融行业大数据实践分享
大数据是华为ICT战略的重要支柱
Professional Service
3rd Partners
Content & App
3rd ISVs
Enterprise
SDP
Apps
BSS/OSS
Big Data Analytics Platform
Data Center Infrastructure
标签管理
数据探索
Miner Base 建模分析
模型管理
并行化算法库(机器学习、图分析、时空数据分析)
Farmer：实时应用使能器，助力企业实时决策
平滑微服务化；易运维；高可用性；业务人员直接写规则
FusionInsight Farmer
ALB 接入负载均衡
MQ 消息队列
自定义应用1 …
自定义应用 N
Container 容器池
RTD执行
RTD编排
数据服务管理
FusionInsight HD, Redis, RTD DB
金融行业AI解决方案总体架构
客户接触渠道
网银
互
联
一网通
网
微信银行 PAD银行
手机银行
移
动
掌上生活
互 联
排队机/叫号机
高柜/低柜
网 点
贵宾厅门禁
短信
电邮
推 送
呼叫中心
远
程
电话语音（IVR）
数据集成 Porter
Sqoop 批量采集
Flume 实时采集
Kafka 消息管理
数据智慧 Farmer （实时决策引擎 Farmer RTD）
大规模并行处理数据库 Apollo DB
FtpOnHDFS 文件传输
Oozie 作业调度管
理
管理平台 Manager
安全管理
性能管理
故障管理
运维管理
配置管理
MPP大规模并行处理集群
集群服务器-1
集群服务器-n
DN DN DN DN DN DN Core1 Core1 Core1
SCTP大规模集群通讯网络
DN DN DN DN DN DN Core1 Core1 Coபைடு நூலகம்e1
DN DN DN
…
DN DN DN
Core1 Core1 Core1
…
硬件+OS
64位Linux系列，通用X86架构 （SUSE Linux、Redhat）
大数据 云服务
关系型数据 库服务: RDS
数据接入 服务: DIS
数据分析服务：MRS、 DWS、Stream、M-OLAP…
人工智能服务： MLS、NLP…
大数 据
分析
数据洞察 Miner （图分析引擎、机器学习、数据标签）
Hadoop生态发行版 HD
（HDFS、MapReduce、HBase、Hive、Solr、Spark、 Storm、Flink、Elk、CarbonData 等核心组件）
银 行
ATM 自助终端
VTM
自
助
POS
设 备
业务系统
核心 零售
信用卡 对公
企业级数仓 （第一数据平面）
DM（RDB） OD
S
EDW
(GP/TD/LibrA)
业务 场景
智能风控、 智慧预测
征信
营销
事
实 时 决
件 接 入流计
算
规则 模型 KV引擎
策
RTD
MLstudio机器学习平台
……
HD：全新数据格式Carbondata，同时满足多种业务需求
多维分析
传统模式
Carbondata 模式
OLAP
Sequential Access
Large Scans
Random Access
Small Scans
高效率，高性能，存储灵活，兼容
MPPDB：帮助企业构建高性能、PB级新数仓
FusionInsight MPPDB
Core Network
IP+Optical
FB B
Enterprise Network
MBB
Things (M2M Module)
People (Smart Device)
Source: Huawei corporate presentation
• 全球8个研究所，保持1000+的研发投入； • 拥有社区Committer、 IEEE Fellow等世界级数据