电信运营商大数据平台和应用实践

合集下载

运营商网络运营大数据应用实践研究

运营商网络运营大数据应用实践研究

运营商网络运营大数据应用实践研究摘要:以电信运营商的大数据资源为基础,对网络运营大数据平台所要汇聚的数据范围、系统定位及功能架构进行了分析,并与4 G网络的建设和推广相联系,说明了怎样才能更好地运用网络运营大数据平台的大量数据资源,来对移动互联网的业务进行全面的评估,同时还可以对网络运营大数据平台在网络精细化运营中所具有的价值进行挖掘,为运营数据资源的内部应用提供借鉴。

关键词:运营商;网络运营;大数据平台;数据资源1.网络运营大数据概述1.1客户信息由顾客的实际注册信息、业务定单、消费、付款、投诉等信息构成,该信息以顾客关系管理(CRM)和客服系统为主,以“客户/人”为“主KEY”进行相关聚合,并体现出该用户所使用的电信服务的基础信息。

1.2用户实时业务信息具体包含了用户的实时位置信息、正在使用的业务类型、业务内容、 APP名称、终端型号版本、业务使用感知(时延、成功率、速率)等内容,它的主要作用是对用户的行为进行描述,能够反映出用户使用业务时实时体验的动态信息。

通常情况下,运营商会使用部署探针、镜像抓包等方式来对其进行捕捉和存储,之后再对其进行分析。

1.3网络/设备运行信息:具体内容有:反映各设备/各端口/各链路的速率、带宽、抖动、延时等硬件运行情况的信息,还有能够反映网络情况的业务统计信息(例如,无线信号强度/覆盖/干扰等一系列指标、各端口消息收发成功率及处理时延、各协议定义的计数器情况、性能指标等)等,这类信息通常是由网管系统进行监控和采集的。

在这些数据中,无论是用户实时业务信息还是网络/设备运行信息,都是从现网实时产生并实时采集到的动态信息。

这一类型的信息,不仅包括了用户使用电信业务及互联网业务的行为特点,而且还能反映出用户使用业务时的网络实时状况,这对运营商提升网络质量以及提升用户使用业务时的感知有着十分重要的作用。

2.网络运营大数据平台架构2.1实时性通信网络每时每刻都在对各种业务进行处理,因此,网络的运行情况也是实时变化的。

大数据处理平台(完整版)

大数据处理平台(完整版)

动态位置信息
位置数据规范化
更多…
热点分析
号码信息 用户信息 业务位置信息 更多信息
输出
标准的位置应用
基础统计分析 用户分类 更多…
谢谢!
对系统资源消耗严重。
数据采集面临巨大压力
接口单元名称
类别 数据量(天)
网络数据类信令
Gb/Gn接口 1.65T/Day
用户动态呼叫、短信、位置、 切换、开关机行为信息
A接口
3.3T/Day
WAP日志
WAP网关 300G/Day



1 运营商大数据背景 2 大数据平台介绍
3 应用案例
大数据平台规划
聚类
分类
信息统计
4
日志 汇总
用户 行为
网站
分类
访问 内容 主题
访搜问 索 关键 字
基础分 析能力
文本挖掘
数据挖掘
HIVE
HADOOP平台
云ETL 管理 应用 开发 应用 监控 应用 调度
M/R
ETL-基于流程的ETL工具
1. 云ETL基于Oozie工作流,提供ETL任务编排、任务调度、任务监控等功能。 2. 管理与监控提供平台应用层自管理能力,包含数据质量管理、安全管理、告警管理、日志管理、系统
设计更好的流量套餐、 终端和互联网业务
为用户精确地进行推荐, 及时地进行服务
更多…
用户的行为是什么
都是哪些用户在使用移 动互联网,都有什么样 的特征? 都在干什么? 行为模式如何? 占用了多少资源或流量? 对网络影响如何? 如何牵引用户行为改变 对网络的影响?
实 现
互联网内容分析基础服务
输出
互联网内容抓取

电信运营商大数据应用典型案例分析

电信运营商大数据应用典型案例分析
势 :一是用户实名 ,真 实详 细的个人 基本信 息 ,比如年 龄、性别 、工作单位 、职位 等 ;二是位置信息 ,运营商
通 过 技 术 手 段 ,能 轻 易获 得 通 话 者 的 地理 位 置 ,且 精 确
于很难 用常规的数据管理工具或传统 的数据 管理 技术来
处理 这些数据 。F a c e b o o k 、T wi t e e r 、微博等各 类社交

岛状的特点 ,难 以深入应用 。
对于 大 数 据 的 应 用 已 经 成 为 一 种 必 然 趋 势 ,其 发 自己的数据优 势,采取 灵活深入的分析方法进行 基于大数据的挖掘 , 从 中摸 索崭新的商业模式闭。
势头非常强劲 。大数据驱动 不仅 是电信 运营商增强业务
营商的基础语音业务和短信 业务 带来了不小冲击 ,运营 商缓慢增长的 网络 流量收入 和网络建设成 本之间不断增 加的剪刀差 ,正不 断侵 蚀着运营商的利润。面对互联网 公司的激烈竞争 ,运营 商要 如何做 才能扭 转逐 步被 “ 管
道化”的趋势?
约每两年翻一番 的速度增长 ,预计 ̄ 1 2 0 2 0 年 ,全球将产 生3 5 Z B的数据量 。这意味着我们正进入 大数据 时代。
据 方 面 具 有 天 然优 势 。 但 是 ,没 有 管 理 的 数 据 就 像 埋 藏
长 ,占比超过8 0 %,超越 了传统 关系型 数据库的管理能
力 ,使 得 大 数 据 的存 储 、管 理 和 处 理 很 难 利 用 传 统 的 关 系 型 数 据 库 去 完 成 ,进 而 无 法 提 取 个 中价 值 】 。 以Ha d o o p 为代 表 的 大 数 据 技 术 应 运 而 生 , 它 是 一
营商带来流量 收益 的同时 ,也带来 了新 的机遇和挑战 。文章结 合大数据的技术现 状以及电信运营商的数据特点 ,分 析 电信运营 商大数据发展遇到 的问题 ,探讨 电信运营 商应 用大数据的策略 。最后 提出一种适合 电信运营商 的大 数据 平台架构 和方 案。

大数据安全特征与运营实践

大数据安全特征与运营实践

工程与应用大数据安全特征与运营实践刘志勇,何忠江,阮宜龙,单俊峰,张超(中国电信集团有限公司,北京 100032)摘 要:随着数据类型、用户角色和应用需求的不断细化,以及大数据复杂的数据存储和流动场景的出现,大数据安全防护要求越来越高。

以大数据安全特征和运营实践为切入点,分析了大数据安全特征和技术发展趋势,体系化地梳理和总结中国电信以“数据和人”为核心的大数据安全深度防御体系建设和运营实践;并对区块链、联邦学习、人工智能、零信任等新技术在数据安全流通、数据安全风险监测、数据访问控制的引入提出了思考和展望。

分析了大数据安全特征和技术发展的趋势,梳理了中国电信在大数据安全方面的运营实践,对新形势下筑牢大数据安全提出了思考与建议。

关键词:大数据;数据安全;区块链;联邦学习;人工智能;云计算中图分类号:TP311文献标识码:Adoi: 10.11959/j.issn.1000−0801.2021102Big data security features and operation practicesLIU Zhiyong, HE Zhongjiang, RUAN Yilong, SHAN Junfeng, ZHANG ChaoChina Telecom Group Co., Ltd., Beijing 100032, ChinaAbstract: With the continuous refinement of data types, user roles and application requirements, as well as the com-plex data storage and flow scenarios of big data, the requirement of big data security is higher and higher. Starting from the security characteristics and operation practice of big data, the security characteristics and technology devel-opment trend of big data were analyzed, the construction and operation practice of China Telecom’s big data security defense system with “data and people” as the core was systematically summarized. Some thoughts and prospects for the introduction of new technologies were also raised such as blockchain, federated learning, artificial intelligence and zero trust in data security circulation, data security risk monitoring and data access control.Key words: big data, data security, blockchain, federated learning, artificial intelligence, cloud computing1 引言大数据已经逐步应用于产业发展、政府治理、民生改善等领域,大幅度提高了人们的生产效率和生活水平。

电信大数据解决方案

电信大数据解决方案

电信大数据解决方案1. 引言随着互联网的普及和电信行业的发展,电信运营商面临着大量的数据积累和挖掘的挑战。

电信大数据解决方案是一种针对电信运营商提供的解决方案,利用大数据技术和算法来帮助运营商更好地分析和利用数据,优化业务流程和决策,提高运营效率和用户体验。

2. 解决方案的架构电信大数据解决方案的架构通常包括以下几个关键模块:2.1 数据采集与清洗在电信大数据解决方案中,首先需要从各个数据源采集原始数据。

数据源可以包括基站、短信、通话记录、用户数据等。

然后对采集到的数据进行清洗,去除异常值和噪声,保证数据的准确性和完整性。

2.2 数据存储与管理清洗后的数据需要进行存储和管理。

通常采用分布式存储和数据库技术,如Hadoop、HBase、MongoDB等,来存储大规模的结构化和非结构化数据。

2.3 数据挖掘与分析数据挖掘是电信大数据解决方案中的核心环节之一。

通过应用统计学、机器学习和数据挖掘算法,对存储的数据进行分析和挖掘,以发现其中的隐藏模式和关联规则,提供有价值的商业洞察。

2.4 可视化与报表为了方便运营商对数据分析结果的理解和利用,电信大数据解决方案往往提供可视化和报表功能。

通过可视化工具和技术,将分析结果以图表、表格等形式展现,使得用户可以直观地观察数据的趋势和关联,辅助决策和业务优化。

2.5 预测与优化在通过数据分析发现问题和机会后,电信大数据解决方案还可以提供预测和优化的功能。

通过构建预测模型和优化算法,对未来的业务情况进行预测和优化,以指导运营商的决策和调整。

3. 应用场景电信大数据解决方案可以应用于多个场景,以下是几个示例:3.1 用户行为分析通过对用户数据的挖掘和分析,可以了解用户的使用习惯、倾向和需求。

基于对用户行为的深入了解,运营商可以个性化地推送服务、优化产品,提高用户满意度和留存率。

3.2 故障预警与维护通过对设备和网络的数据进行分析,可以实现对故障的预警和维护。

一旦出现设备故障或网络异常,系统可以及时发出报警并提供相应的解决方案,以保证稳定的通信和网络服务。

2022年行业分析三大电信运营商大数据平台发展分析

2022年行业分析三大电信运营商大数据平台发展分析

三大电信运营商大数据平台发展分析9月29日消息,如今我们处在一个无处不数据的时代,坐拥大数据这座富矿,国内无论是互联网企业还是运营商都在紧锣密鼓的建设大数据平台,企图将这座宝矿开发成为熠熠生辉的“钻石”。

目前,国内三大运营商迎接大数据时代的步伐和规划各自不同,中国电信的大数据平台已经扩展到31个省,基础平台建设基本完成;中国联通虽然起步晚一些,但是其大数据产品体系已经进展成为六大产品种类;相对于中国电信和中国联通的成熟,中国移动的数据中心资源略显不足,但是需求量不断递增,也在不断努力布局中。

中国电信:大数据平台扩展到31个省基础平台建设基本完成中国电信全部的大数据都是在云平台和云设施之上搭建的,如今其大数据平台建设从原来的5个省现在扩展到31个省,数据的种类从开头的几类主要的数据扩展到十几类,实效性是原来一周到现在小时的延时。

中国电信云计算分公司大数据事业部首席数据分析师张宇中表示:“中国电信的大数据平台跟其它合作伙伴的模式不一样,中国电信主要是做节省化运营,将数据的汇聚、接入、存储、加工、输出整合在一起,这样前端的响应可以快速的传递到客户中去,并且可以持续的循环。

同时,中国电信的平台开发还做了详细功能区分。

”目前中国电信已经完成了大数据基础平台的建设,正在连续完善行业的应用。

依托云网融合,中国电信的大数据开放平台始终拥有强大的资源,中国电信有八大资源基地,还有内蒙和贵州两大数据中心,并且许多区域下沉的边界。

2022年11月28日,中国电信正式发布“天翼大数据”品牌,并推出精准营销、风险防控、区域洞察、询问报告四类数据型产品和大数据云平台型产品,重点服务于旅游、金融、广告、政府、交通等行业。

这是中国电信运营商第一个大数据业务品牌。

据了解,中国电信推出的4+1产品模块,拥有15个子项。

其中有面对个人拥护推出的风控的和精准营销产品;还有一部分是输出详细数据,形成相关报告;此外,中国电信还开发了PAAS的平台对价值链的某一方面具有专业特色的公司能够利用大数据平台做它所擅长的事情。

电信运营商的用户洞察如何利用大数据分析提升用户体验

电信运营商的用户洞察如何利用大数据分析提升用户体验

电信运营商的用户洞察如何利用大数据分析提升用户体验随着信息化时代的发展,大数据成为了各行各业的核心资源之一,电信运营商作为其中之一,拥有大量用户数据,如何通过大数据分析来提升用户体验成为了一个重要的课题。

本文将探讨电信运营商如何利用大数据分析技术来提升用户体验。

一、用户洞察及其价值用户洞察是指通过对大数据的分析,获得对用户行为、兴趣和需求的深入了解。

用户洞察对于电信运营商来说有着重要的价值,它可以帮助电信运营商更好地了解用户的需求,提供更加个性化、准确的服务,从而提升用户满意度和忠诚度。

用户洞察的价值主要体现在以下几个方面:1.精准营销:通过对用户洞察,电信运营商可以了解用户的兴趣爱好、购买习惯等信息,从而进行精准的营销推广。

比如某个用户经常使用流量包,那么电信运营商可以主动向该用户推荐更适合的流量套餐,提高用户的满意度和消费体验。

2.个性化服务:根据用户的需求和偏好,电信运营商可以提供定制化的服务。

比如通过分析用户的通话记录和上网习惯,电信运营商可以为用户推荐适合的手机套餐和上网方式,帮助用户实现更好的通信体验。

3.问题预警与解决:通过对用户洞察,电信运营商可以及时发现用户的问题和痛点,针对性地提供解决方案。

比如某个地区的用户在某个时间段出现网络延迟问题,电信运营商可以通过大数据分析迅速发现问题所在,并采取相应的措施解决,提高网络服务的稳定性和质量。

二、大数据分析在用户洞察中的应用在实际操作中,电信运营商可以通过以下方式利用大数据分析来提升用户体验:1.基于用户行为的分析:电信运营商可以通过收集用户的通话记录、短信记录、上网记录等数据,分析用户的行为模式和偏好,从而了解用户的真实需求。

通过对这些数据进行挖掘和分析,可以发现潜在的用户需求,为用户提供个性化的服务。

2.基于用户反馈的分析:电信运营商可以通过用户反馈和投诉数据,分析用户对服务的满意度和不满意度,发现问题所在,及时做出改进。

通过对用户反馈的分析,可以挖掘用户的意见和建议,为用户提供更好的服务。

电信运营商大数据平台和应用实践

电信运营商大数据平台和应用实践

Master
Initialize Job
Heart Beat
ZooKeeper
Barrier Synchronization
Barrier Synchronization
WorkerServer
BSPPeer
BSPPeer
Launch ...
Tasks
Heart Beat Heart Beat
TWSaWSeosrerokvkrreevkrererr
✓ 外围工具:支持数据、性能、故障、配置、 日志管理功能;支持外部数据并行加载;支 持数据快速备份、恢复
分布式NoSQL数据库(BC-KVDB)
IA AS
分 析 PA AS
交 易 PA AS
云 计 算 管 理
BC-RDB:根据订购关系存储(阅读基地)、用户个人信息存储(彩云)等应用需求和相关规范,增 强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存 储系统。
面对巨大流量,移动运营商面临强大的挑战
超过7.1亿用户 超过100万基站
经分系统数据规模接近10PB 每分钟超过800万通话 每秒上网流量超过40GB 每天信令数据 超过1PB
移动互联网 专业SNS 博客 消息
服务商
新闻 点评
电商
视频 图片
优惠券
音乐
微博
地图 问答 SNS
签到 论坛
电信运营商
2G、3G、4G、WIFI …
BC-BSP:针对社交网络 分析、用户精准营销、搜索引擎PageRank计算等图计算领域的数据 挖掘需求而研发的并行计算框架,针对迭代计算,计算效率优于MapReduce框架
BSP Program
Run a Job
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

网络优化
日志
+
结构化数据
决策支持 精准营销
业务创新
需要建立采集、存储、分析、交互等全方位能力,其中既包括传统已经具备的能力,也 包括需要新建的大数据能力 7
互联网公司通常采用混合架构解决大数据问题
互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技 术应对大数据4V挑战,例如Yahoo针对日志数据进行两种处理,并与业务 系统结合(后期尝试Spark技术)
电信运营商大数据平台和应用实践
提纲
• 电信运营商大数据面临的挑战 • “大云”大数据平台研发和实践
2
移动互联网用户流量激增,手机数据化、宽带化趋势明显
用户分布
流量分布
时间分布 移动互联网:通信功能 = 80:20
数据来源:Infoma 2013
数据来源:Cisco 2013
数据来源:GSMA 2013
Master
BSP Program
Run a Job
BSP JobClient
Client
Summit Job
BSP Master
ea t
产品特性
搜索引擎PageRank、最
Initialize Job
WorkerServer ZooKeeper
BSPPeer BSPPeer
WorkerServer
Google在全球多个数据中心大规模混合部署和调度数据处理能力,系统利用率高达 80%+,2011年MapReduce系统每天处理1000PB左右输入数据,支撑其核心业 务,包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多 种数据处理系统。随着技术能力提高,将大数据处理能力服务化。 Facebook以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大 数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27 亿次、上传3亿张照片。Graph Search可以检索10亿用户、2400亿图片和1万亿次 访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过200亿事件, 延迟小于30秒 Twitter利用Hadoop和Pig工具完成数据的批量分析,并进行决策支持和数据挖掘, 利用Storm每天实时推送1亿活跃用户的5亿消息 Amazon为被托管应用提供了多租户、按使用付费的大数据服务,整合了非结构化 (S3)、结构化(RDS、SimpleDB、DynamoDB)数据,通过并行计算EMR能 力,将数据放入RedShift用于最终的数据展现等目的。 9
2G、3G、4G、WIFI …
每分钟超过800万通话 每秒上网流量超过40GB
每天信令数据 超过1PB
管道数据类型多样、数据巨大、处理速度要求高,同时也存在质量问题,是电信运营商 大数据的主要来源 6
需要融合巨大的管道数据和业务数据
虽然结构化的业务数据虽然价值含量很高,但是管道数据却提供了用户的数据消费、 社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息,这对用户刻画、 套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助 A+Abis信令 Mc信令 Gn+Gb信令 Gn-IuPS信令 Wifi、Radius信令 4G X2等信令 DNS 数据 语音等业务数据
4G、M2M将大大加快移动网络数据业务和流量增长
4G驱动流量增长 M2M终端数量大幅度增长
2013年4G网络将占到全球流量的 20%,2016年将超过3G网络流量, 2018年将占据超过2/3的移动网络 流量。2013-2018年,4G流量的年 复合增长率达到82.2%。2018年数 据业务收入占运营商的份额的 47.3%
(MapReduce)
• 面向结构化数据,非结构化处理效率低
• 基于昂贵硬件(小型机+磁盘阵列)或一体机 • 硬件平台兼容性差:在跨代硬件或跨厂商硬 件环境下常常无法部署 • 扩展性达到PB级之上可选厂商较少,易绑定
• 具备结构化/非结构化混合分析的能力,大数据多为非结构化
• 基于消费级硬件,以常态化硬件故障为设计出发点,不依赖高 性能、高可靠性硬件保障系统性能和可靠性。 • 基于通用硬件,平台兼容性好,可跨代,跨厂商硬件部署 • 扩展性高,业内有上万节点级部署案例,大陆有千节点级部署
Worker Task Worker Server Server
Heart Beat
Worker Task Worker Server Server
Worker n
/cmri/
Heart Beat
Launch Tasks
...
He
Hea
tB ar
a rt Be
云 计 算 管 理
BC-Hadoop:开源社区有很多Hadoop的发布,但是没有一项可以满足大云现有数据分析需求。 BC-Hadoop将所需的特性打包形成独特的大数据平台产品
BC-Hadoop应用,包括HugeTable、PDM、 BC-SE等
HBase 分布式NoSQL数据库
MapReduce 并行计算框架
数据业务成为运营商收入的新增长点
2013年全球移动互联网业务收入增加23.4%,达到3千亿美元。其中, 2013年Q4美国运营商的数据收入超过语音收入。
ABI Research Feb.2014
• Verizon 2013Q3的ARPU同比增长7.1%,比2010年发布4G时增长
21%。
• SKT 2013年Q3 4G的ARPU增长比综合ARPU增长超32%,竞争对 手KT则达到40%。
14
海量结构化数据存储系统(HugeTable)
IA AS
分 析 PA AS
交 易 PA AS
云 计 算 管 理
基于Hadoop的海量结构化数据存储系统,利用低成本硬件提供高性能的数据加载、索引查询 和并行分析能力,对外提供易于应用集成的数据访问接口
大容量:支持PB级别的数据存储能力 低成本:基于PC架构,不需要外接集中存 储设备 高性能:秒级别索引查询、数据并行扫描 可靠性:数据冗余备份永不丢失;全系统无 单点 可定制:根据应用需求选择索引类型及存储 引擎 接口丰富:提供标准的JDBC/ODBC/ SQL 接口;提串行Scan接口和分布式 MapReduce接口 外围工具:支持数据、性能、故障、配置、 日志管理功能;支持外部数据并行加载;支 持数据快速备份、恢复
存储引擎访问控制接口层 存储引擎
移动互联网 IDC服务 业务平台

PaaS 产品
数据管理/分析类
“大云”产品
实时交易类
SQL数据库 BC-RDB
IaaS 产品
计算/存储资源池
弹性计算 BC-EC
商务智能平台BI-PaaS
并行数据挖 掘工具集 BC-PDM 并行数据 抽取转换 BC-ETL 数据仓库系统 BC-HugeTable BC-BSP 数据并行框架 BC-Hadoop 数据存储和分析平台 搜索引擎 BC-SE
ABI Research 2013.09
2014年,M2M设备数量接近智能终端
数据来源:Ericsson 2013.11 数据来源:ABI Research 2012
2012年9月Verizon LTE网络建成不到2年,用户达到11M, 占Verizon用户总数约12%,流量消耗占全网流量的35% 以上。2013年1月,4G流量占比50%,2013年11月,4G 流量超过64%,视频是主要业务 2017年,全球4G终端产生的数据流量是非4G终端的8倍,每月数据流量超过 10EB [1EB=1000PB] – (CISCO VNI 2013) 4
分布式NoSQL数据库(BC-KVDB)
IA AS
分 析 PA AS
交 易 PA AS
云 计 算 管 理
BC-RDB:根据订购关系存储(阅读基地)、用户个人信息存储(彩云)等应用需求和相关规范,增 强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存 储系统。
Master节点集群 zk Root file index... zk Client M
示例:Yahoo数据处理 流程
By Tim Tully (Distinguished Engineer/Architect, Yahoo) /wp-content/uploads/2013/10/Tully-SparkSummit4.pdf
8
大数据技术在互联网公司得到成功应用
/cmri/
监控和管理工具
13
图计算平台(BC-BSP)
IA AS
分 析 PA AS
交 易 PA AS
云 计 算 管 理
BC-BSP:针对社交网络 分析、用户精准营销、搜索引擎PageRank计算等图计算领域的数据 挖掘需求而研发的并行计算框架,针对迭代计算,计算效率优于MapReduce框架
t
Launch Tasks
短路径等算法需大量迭 代计算,基于MR实现具 有较大数据同步开销; BSP并行计算模型更适于 图、矩阵计算; 支持大规模集群,可以 达到4000节点 支持海量数据计算,用 户迭代步骤可以设定 提供用户开发接口,一 方面可以与BC-PDM系统 整合,一方面也可以单 独使用
• 荷兰所有的电信运营商的数据业务收入占比同比增加14%,全部来自
语音业务的下降。
5
面对巨大流量,移动运营商面临强大的挑战
消息 博客 服务商 视频 优惠券 电商 图片 新闻 点评 音乐 微博 签到 论坛 地图 问答 SNS
移动互联网
专业SNS
超过7.1亿用户
超过100万基站
电信运营商
经分系统数据规模接近10PB
HDFS 分布式文件系统
• 大规模:支持4000节点组成单个大数 据集群 • 高性能:提供聚合的IO访问能力,线 性扩展 • 多租户:提供多用户计算和存储能力 相对隔离的手段 • 高可用:提供Hadoop主控节点,即 NameNode和Job Tracker的高可用能力 • 标准接口:消除开源Hadoop升级造成 的接口不兼容,提供向下兼容的接口
相关文档
最新文档