Oracle电信行业大数据解决方案
Oracle电信行业大数据解决方案刘建忠
资深技术顾问
议题
?大数据的挑战与机遇
?大数据技术与Oracle大数据解决方案?电信行业大数据应用
大数据的挑战与机遇
什么是大数据？4V
数据量Volume
速度
Velocity
多样性
Variety
价值
Value
社交
博客
智能
计量
101100101001
001001101010
101011100101
010*********
淘宝网的指标体系除了自己分析运营的淘数据之外，为卖家提供了丰富的指标应用工具，主要是
淘宝量子恒道统计，淘宝魔方等二十多种分析工具，通过这些工具为卖家更好的管理自己的店铺和优化店铺经营
阿里金融：如何融资（挑战传统金融模式）
阿里金融相继开发出阿里信用贷款、淘宝（天猫）信用贷款，淘宝（天猫）订
单贷款等微贷产品，均为纯信用贷款，不需要小微企业提交任何担保或抵押。
面向小微企业、个人创业者：
?发放信贷最主要的因素是成本和风险，阿里金融通过对数据的搜集和整合，
解决了这两大难题。
?通过对商家往来的交易、信用、客户评价、访问行为等数据的分析，了解
可能需要的资金量并可以测算他们可能的还款时间，从而降低放贷风险。
?通过数据的运算来评核企业的信用，不仅降低了申请贷款的门槛，也极大
简化了申请贷款的流程，使其有了完全在互联网上作业的可能性
数据魔方：卖什么
以行业商品为分类，提供行业内商品热卖排名等信息，分析行业内商品销售趋势
帮助商家：
?何种商品上架--借鉴行业商品在淘宝的销售信息，确定在何时上架什么类型
的商品，为制定商品价格、优惠活动时长做出参考
?指导生产和销售：买家喜欢搜索的品牌、产品和特征，企业可预先洞悉即将
热销的商品指导生产和销售
?确定客户目标--帮助商家分析买家的性别年龄、地域分布、客单价、购买频
次以及购买时段等数据，便于企业精准营销
?知己知彼--帮助商家确定自己在淘宝的位置，查看竞争对手的销售概况，从
而帮助商家进行店铺销售定位
2012年7月，阿里巴巴在管理层设置了
“首席数据官(CDO)”一职，负责推进
“数据分享平台”，落实“将阿里集团变
成一家真正意义上的数据公司”战略。
行业案例商业价值
银行/ 金融?贷款、保险、发卡等多业务线数据集成分析、市场评估
?新产品风险评估
?股票等投资组合趋势分析
?增加市场份额
?提升客户忠诚度
?提高整体收入
?降低金融风险
医疗?共享电子病历及医疗记录，帮助快速诊断?改善诊疗质量?加快诊疗速度
制造
/ 高科技?产品故障、失效综合分析
?专利记录检索
?智能设备全球定位，位置服务
?优化产品设计、制造
?降低保修成本
?加快问题解决
能源?勘探、钻井等传感器阵列数据集中分析?降低工程事故风险?优化勘探过程
互联网
/ Web2.0 ?在线广告投放
?商品评分、排名
?社交网络自动匹配
?搜索结果优化
?提升网络用户忠诚度
?改善社交网络体验
?向目标用户提供有针对性的商品与服务
政府
/
公用事业?智能城市信息网络集成
?天气、地理、水电煤等公共数据收集、研究
?公共安全信息集中处理、智能分析
?更好地对外提供公共服务
?舆情分析
?准确预判安全威胁
媒体/ 娱乐?收视率统计、热点信息统计、分析
?创造更多联合、交叉销售商机
?准确评估广告效用
零售?基于用户位置信息的精确促销
?社交网络购买行为分析
?促进客户购买热情
?顺应客户购买行为习惯
应用可能性
电信 政府（公共事业） 交通 金融 医疗 教育 能源（电力/
石油）
?纵轴契合度： 表示该用户的IT 应用特点与大数据特性的契合程度； ?横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性； ?注： 该位置为分析师访谈的综
合印象，为定性分析，图
中位置不代表具体数值
High
Mid Low Low Mid High 优先关注行业用户 应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。 值得关注行业用户
应有特点与大数据的契合度及应用可能性
综合较高 适当关注行业用户
两个维度暂时都
不具备优势，可
适当给予关注 互联网（电子商务） 契合度
流通 零售
制造
大数据行业应用分析
大数据为什么重要?
?
视频和图像 ?文档 ?社交数据
?机器生成数据
大数据分析
传统商务智能分析 决策基于交易型数据 决策基于所有的数据
时间
业务
价值 大数据：挑战与机遇
利用大数据提升业务价值
→ 数据量大
→ 高速度
→ 高度多样化
→ 低价值密度 大数据
现在
→ 分布式 → 高度可伸缩性
→ 基于廉价开放式平台
→ 高可用性
→ 深度分析
明天 挑战 大数据 技术
大数据技术与
Oracle大数据解决方案
Oracle 面向大数据的集成解决方案
捕获 Oracle NoSQL 数据库
HDFS 企业应用 组织 Hadoop (MapReduce) Oracle Big Data Connector Oracle Data
Integrator 决策
分析应用
分析 数据库中的分析 数据 仓库
分布式，批处理 , 大量数据，延时分布式，实时，小数据，快速读写大数据技术
Hadoop
管理/监视 Hadoop 分布式文件系统 (HDFS) MapReduce
采用冗余存储的分布式文件系统 Map/Reduce 编程范式 高度可伸缩的数据处理能力 针对大数据量、低密度数据的经济高效的模型 一个很“酷”的名字(来自
Doug Cutting)
NoSQL
?快速涌现的新数据库技术
?Not-only-SQL或non-SQL
?分布式(云)存储
?大数据量 (Terabyte – Petabyte) ?没有标准
–122+ (https://www.360docs.net/doc/5f11956139.html,)
–特性各异
–没有统一的查询语言
?大部分开源?公共数据模型–键值
–文档
–列存储
–图形
NoSQL vs RDBMS
Oracle NoSQL 数据库 NoSQL 驱动程序 应用程序 NoSQL 驱动程序
应用程序
节点 东部 节点
西部 节点 中部 节点 …
节点 … 读取 删除 读取 更新 特性 ?键值对数据库 ?水平扩展 ?高可用性
?弹性配置
?管理简单
?透明负载平衡
?商业级软件和支持
Oracle大数据连接器
实现 Hadoop 与 Oracle 数据库和 Oracle 数据库云服务器的优化集成
?Oracle Loader for Hadoop
?Oracle SQL Connector for Hadoop Distributed File System (HDFS) ?Oracle Data Integrator Application Adapter for Hadoop
?Oracle R Connector for Hadoop
?不需要大数据机—可为非 Oracle 硬件上运行的 Hadoop 颁发许可
?软件部分 ?Oracle Linux ?Oracle JDK ?Cloudera Hadoop Distribution ?Cloudera Manager ?
Open-source R distribution ?Oracle NoSQL Database
Community Edition
?Oracle Big Data Connector ?Oracle SQL Connector for HDFS ?Oracle Loader for Hadoop ?ODI Adapter for Hadoop ?Oracle R Conenctor for Hadoop
?硬件部分
?
18台Sun X3-2L x86 PC 服务器 ?
每台2C*8核 E5 2660，总288核 ?
每台64 GB 内存，总1152G ?每台12块3TB SAS 盘，总648T
?网络部分 ?40Gb InfiniBand ?10Gb 以太网
Raw Storage: 648T
Core Count: 288核
Mem Count: 1152G
Oracle 大数据机 – Big Data Appliance
Oracle数据库云服务器– Exadata
?数据库集群
–8台数据库服务器
–128 核(每台16核)
–2TB内存(每台256GB)
–Oracle Database 11g
?存储网格
–14台存储服务器
–100TB/504TB裸容量
–22.4TB Flash storage(每节点1.6TB)
–Exadata Storage Server Software
?InfiniBand网络
–内部网络互联 ( 40 Gb/sec )