中国移动大数据应用实践21

合集下载

中国移动云网融合应用场景及解决方案设计

中国移动云网融合应用场景及解决方案设计

中国移动云网融合应用场景及解决方案设计中国移动云网融合是指将移动通信网和互联网通过虚拟化、软件定义网络(SDN)、网络功能虚拟化(NFV)等技术手段进行融合,以提供更高的网络连接速度、更强的服务质量和更丰富的应用场景。

本文将分析中国移动云网融合的应用场景,并提出相应的解决方案设计。

一、中国移动云网融合应用场景1.移动办公:移动云网融合可以实现员工随时随地的移动办公,通过云计算和虚拟化技术,实现跨地域、跨平台的办公应用访问和数据共享,提高工作效率和协同办公能力。

2.云视频监控:通过移动云网融合,可以实现远程视频监控,监控数据通过云端存储和处理,用户可以随时通过移动终端进行监控和管理,提供更安全可靠的视频监控解决方案。

3.物联网:通过移动云网融合,可以实现大规模物联网设备的连接和管理,通过云计算和大数据分析,实现对物联网设备的远程监控和控制,提供更智能化的物联网应用。

4.虚拟现实:移动云网融合可以提供更高带宽和更低延迟的网络连接,为虚拟现实应用提供更好的用户体验,包括虚拟现实游戏、虚拟现实培训等。

5.无人驾驶:通过移动云网融合,可以实现无人驾驶车辆与云端的数据交互和远程控制,提供更安全可靠的无人驾驶解决方案。

6.移动支付:通过移动云网融合,可以实现移动支付的安全和高效,通过云端的支付平台和账户体系,提供更方便、快捷、可靠的移动支付应用。

7.物流管理:通过移动云网融合,可以实现物流信息的实时追踪和管理,通过云计算和大数据分析,提供更智能高效的物流管理解决方案。

为了满足以上应用场景的需求,我们提出以下解决方案设计:1.构建高性能网络基础设施:通过增加网络容量、降低网络延迟和提高网络安全性,构建高性能网络基础设施,以支持各种应用场景的需求。

2.采用软件定义网络(SDN)和网络功能虚拟化(NFV)技术:通过SDN和NFV技术,将网络控制与数据转发相分离,并将网络功能虚拟化,以提供更灵活、可编程、可管理、可扩展的网络架构,满足不同应用场景的需求。

中国移动省间大数据应用共享模式探究与实践

中国移动省间大数据应用共享模式探究与实践

细化、智能化管理,挖掘大数据价值,提高优质应用快速共享能力,本文通过对应用共享模式的探究,搭建了省间大数据应用共享基础平台,汇聚省间各域数据,实现了共性应用的快速移植共享,并逐步形成了一套数据标准接口规范、应用选型标准和共享流程、异地跨部门分工协作运营机制,为发挥中国移动大数据应用的规模效应,更好地推动中国移动大数据发展省间应用共享的现状与问题数据系统各个省份以集团规范为指导进行自主分散建设。

对于应用来讲,各省份业务流程、应用人群类似度高,省份间在各个应用方向关注度、投入资源不一,生产的应用质量情况不同,各省应用局限于本省使用,未能将应用发挥至最大价值。

省间应用共享的现状与问题主要归纳如下:用的投入与使用。

各省份关注点与发展应用的建设是完全隔离的,共性应,无法集中建设,浪费资源且建设(2)应用的业务市场思路。

仅按照省份的需求单独进行迭代,各省无法快速集思广益,将业务推向新高度。

(3)缺失平台整体数据传输通道。

中国移动拥有最广阔的用户群,然而各省数据独立、分散,存在信 3 省间大数据应用共享模式探究与实践3.1 打造异地虚拟工作团队在集团公司指导下,中国移动南方基地(以下简称南方基地)协同五个兄弟省公司共同参与了省间大数据应用共享模式探究。

日常运营管理确定为小组分工制,各省公司组成若干小组全程负责具体模块,南方基地负责总体协调,协同完成本次探究工作。

团队分工和职责具体如图1所示。

3.2 搭建应用共享移植平台打通兄弟省公司的数据传输通道,南方基地通过一级私有云IP承载网FTP(File Transfer Protocol,文件传输协议)的方式采集兄弟省公司数据,对分散各省和各个平台的数据进行统一整合,聚合多方数据,建立数据开放平台,促进应用的快速移动共享,并形成对省份公司大数据能力的补充,形成合力优势,向兄弟省份公司提供通用性应用服务,打造一个围绕数据共创、共享、共生的多业务协同平台。

应用共享平台架构如图2所示。

(完整word版)中国移动探索大数据和人工智能参考答案

(完整word版)中国移动探索大数据和人工智能参考答案

探索大数据和人工智能参考答案1、下列选项中,不是大数据发展趋势的是?A.大数据分析的革命性方法出现B.大数据与云计算将深度融合C.大数据一体机将陆续发布D.大数据未来可能会被淘汰2、2012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立()一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台。

A. 首席数据官B. 首席科学家C.首席执行官D.首席架构师3、在Spark的软件栈中,用于机器学习的是A. Spark StreamingB. MllibC. GraphXD. SparkSQL4、MPP是指?A. 大规模并行处理系统B. 受限的分布式计算模型C.集群计算资源管理框架D.分布式计算编程框架5、以下哪个场景可以称为大数据场景?A.故宫游客人数B.故宫门票收入C.美团APP的定位信息D.文章内容6、以下应用没有使用你的地理位置信息的是?A. 美团B. 滴滴C. 高德地图D. Word7、Hadoop是()年诞生的?A. 1985-1985B. 1995-1996C. 2005-2006D. 2015-20168、HBASE的特点不包括哪些?A. 面向行B.稀疏性C. 多版本D.高可靠性9、整个MapReduce的过程大致分为Map、Shuffle、Combine、()?A. ReduceB. HashC. CleanD. Loading10、Flume采用了三层架构,分别为agent,collector和()A. MapB. storageC. ShuffleD. Hash11、在Spark的软件栈中,用于交互式查询的是A. SparkSQLB. MllibC. GraphXD. Spark Streaming12、下列选项中能够正确说明大数据价值密度低的是?A. 100TB数据中有50TB有效数据B. 1TB数据中有1KB有效数据C. 100PB数据中有100PB有效数据D. 10EB数据中有10EB有效数据13、IBM的()是第一个在国际象棋上战胜人类棋手的人工智能计算机。

中国移动探索大数据与人工智能试题

中国移动探索大数据与人工智能试题

(一)大数据基本(二)人工智能(三)大数据技术简介1、MapReduce是一个线性可扩展模型,请问服务器数量与解决时间是什么关系? OA. 数量越多解决时间越长B.数量越多解决时间越短OC. 数星越小解决时间越短0 D. 没什么关系2、下列选项中,不是kafka适合旳应用场景是?()A.日记收集B.消息系统C.业务系统0 D. 流式解决1、大数据特性有几种(不涉及IBM提出旳新特性) ? OA.1O B.2O C.3D.42、目前电信运营商大数据发展仍处在什么阶段?A.摸索O B.应用OC.成熟OD.扩展3.下列选项中,不是大数据旳-部分旳是?OA.海量计算:O B. 大量数据管理O C. 数据分析◎D. 单机计算1、数据真实性具有哪两种特质?V A. 精确性口B. 不拟定性口C. 可信赖度口D. 杂乱性2.电信行业旳公司运营:理中。

经营分析和市场监测中。

我们可以通过数据分析对业务和市场经营状况进行总结和分析。

重要分为哪些种类?A日报口B.周报C月报口0.专暨分析1。

EMC World是哪年在拉斯维加聯出名旳威尼斯人店开畔旳?口A。

B.◎C.◎D.2.随着闭源软件在数据分析领域旳地盘不断缩小,老牌T厂高正在变化商业模式,向着什么靠拢?OA团源◎B.开源OC开放OD.封闭3.下列造项中正情阐明价已度低旳是?。

A. 100万数据中有50万有效数据。

B.1TB数据中有1KB有效数据。

C. 100万0数据中南100万有效数据◎D. 10万条数据中有1万有效数据1.语音辨认产品体系有四部分,下列哪项不是体系之- ?◎A.语音合成◎B.请音擴放◎C. 语音识剔0 D.適义理解2. IBM旳深蓝在1997年旳决定胜负旳第六个回台中,用了多少步迫使和斯帕罗夫投子认输OA.15◎B.22◎C.30◎D.283. BP神经网络旳学习规则是?O A梯度上升法。

B.梯度下降法。

C梯度提高法。

D.梯度曲线法、下列选项中,寒项是分布式文献存储系统?o A HDFSO B Flume0 c Katla◎D. Zokeepe2. mapreduceit算模型近用于哪种任务?( ) A. 多线程解决◎B. 有关联旳行解决。

大数据:技术与应用实践指南

大数据:技术与应用实践指南
《大数据:技术与应用实践指南》 读书会
赵刚 博士 北京赛智时代信息技术咨询有限公司(CIOManage ) 总经理
作者简介
赵刚,博士。北京赛智时代信息技术咨询有限公司创始人。 历任国内著名信息化咨询公司赛迪顾问股份有限公司高级副总裁、首 席信息化咨询顾问,国内计算机系统集成一级资质企业北京赛迪时代 信息产业股份有限公司总经理、首席架构师,2012年获得中国电子 信息产业发展研究院十大“赛迪学者”称号,兼任中国信息化推进联 盟专家、中国电子学会高级会员。 近2年,主持和参与过的信息化咨询和集成项目有:国家新 一代信息技术应用战略研究、亚太地区智慧城市指标体系研究、中国 -欧盟信息社会研究、天津市智慧城市规划、国土资源部分布式国土 资源信息共享服务平台、国家图书馆文津馆智能搜索集群平台、公安 部虚拟化数据平台、中海油企业级数据中心和灾备中心规划、国药集 团私有云计算平台规划、北京市物联网应用示范项目初步设计、鄂尔 多斯市人口基础数据库建设等。 在信息化领域耕耘10余年,服务的政府、企业客户超过100 家,发表文章若干篇,著有专著《IT管理体系-战略、管理和服务》, 参与编写《智慧城市:规划、建设和评估》、《信息化基本知识》、 《信息系统审计》等。
社交网络等多方面应用。指出大
数据对于联合国和各国政府来说 是一个历史性的机遇,联合国还
探讨了如何利用包括社交网络在
内大数据资源造福人类。
/sites/default/files/BigDataforDevelopment-GlobalPulseMay2012.pdf
1. Volume 2. Variety
数据量巨大
全球在2010 年正式进入ZB 时代, IDC预计到2020 年,全球将总共拥有 35ZB 的数据量。

“大云”进入试点应用阶段

“大云”进入试点应用阶段
产品。
2 0 0 7
记 者 还 了解 到 , “ 云 ” 非 专 门 为 中 国 移 动 定 制 , 大 并 承
办该 项 目的中国移 动研 究 院已经联 合产业界 的 多家云计 算 厂商, 着手 打 造面 向公众 服 务 的云计 算 平 台。就 在 即将 召
20 ̄3 07 月 确定 “ N o d B CI ” u 研罗方向 i

位 北 方省份 无线城 市 的相 关负责 人对 记者 表 示 , 除
了对 无 线 城 市 业 务 的 全 程 托 管 , 下一 步 ,“ 云 ” 台还 将 完 大 平 成 对 无 线 城 市 中视 频 监 控 业 务 的部 署工 作 , 就 是 说 , 云 也 大 平 台将 实 现 对 无 线城 市 中视 频 监 控 业 务 的远 程 部 署 。
业务。
利 用云计 算产生新商业价值 提供 有力借鉴 。
中国 移 动 研 究 院 业 务 支 撑 所 项 目经 理 周 华 对 此 表 示 ,
从 “ 云 ”整 体 的 技 术 架 构 看 , 层 是 硬 件 服 务 器 和 网 络 设 大 底 备 , 层 是 开 源 的 操 作 系 统 和 虚 拟 机 搭 建 的虚 拟 资 源 层 , 上 基 于 该 层 之 上 才 是 应 用 中 间 件 比 如 文 件 系 统 、 象 系 统 以及 支 对 持 并 行 计 算 系统 , 最 上面 的 是 应 用 , 括 数 据 挖 掘 工 具 、 而 包
算 已被 电信 运营商视作 向信息服 务转型 的重要 战略 , 中, 其 以中国移动 的动 作最 为迅 速。 经 过 近3 的研 究与筹 备, 年 中国移 动在今 年5 月正式 发
布 了 “ 云 ”B .版 本 , 宣 布 对 外 开 放 “ 云 ” 台提 供 大 C1 0 并 大 平 试 用 , 产 品 包 括 并 行 数 据 挖 掘 工 具 、分布 式 海 量 数 据 仓 其 库 、弹 性 计 算 系 统 、 存 储 系 统 、 行 计 算 执 行 环 境 等 五 类 云 并

中国移动探索大数据与人工智能试题

中国移动探索大数据与人工智能试题

中国移动探索⼤数据与⼈⼯智能试题(⼀)⼤数据基础1、⽝數捋特征育5(不包括】E IV 提出的新持紅)? O A . 1 O B ,? o C. 3D. 42、吕前电⾔运营筍⼤数握发展仍辻在什么阶啟?@ A. 索 0 E ,应⽤O C 咸懸O D 扩展头下列选项中,不是⼤数堯出⼀部廿皓是?■ A.海昼.⼗隽 ''C.1啡真实性真备邸丙序贯?A.准确性Q c 可信赖度2.电?M 的拴业运三它理⼬⼖⼠」U 于⽐⼝⼆凭I ⼯划盼PiT :川⽦.咗='⼟巳⼆Li 吒札:苗「主5盼为輕L wocti ■寵⼀⼲託扭:昕ism 序吾名的园⼝斯⼈陶开isenFO 此O G 2DI2運 1 3. 2011C' D. ?DI0⽐北苍1豚:5⼩也5?⼨护锁磁克出和床叽在埠H ⼚却正注的?吭.⽹⽯⼚⼳总⽐?O C-⾎ O D 封邇□ B.不确左性 Z 0粗性k E 咅识*沪品保廡奇⼝郭分,下列伏曲盛之⼀7 O A.涪吉台瑜 O C.曲酣别@ B.佬备砖 ? J D.恒义理餐2、IBM 的深适左1997毎曲決定>5%旷為六个回合G,弔了⾟少步启快卡斷餐<歩天⾈⼦认?O A 15 @ B ? 22 O C. 30 O D ? 282. mapreduu 计854兰⽤于挪K 無? O A 券眈处理 @ C.农理 3 SparkS^CIIentS.在$堆写好spar 媲丰M 進过spark submit 命刽g 交⾄什么地⽅也⾏?O A. HDFS@ a s“y C B. HBASE O D ? Zookeeper 1、養国软件公司Splunk 是第⼀家上市的⼊数据处理公司,它罡在啷⼀年上您的? O A. 2009 o B- 2011 O D ? 2010@ C. 2012、以"FF是⼤敎花是?O A. 1 O B. 3@ C. 5 O D. 73、电信⾏业的客户关系管理中f肓户⽣命周期管理包括⼏个阶段?1. ⽉?世畀俎齐论以■⼈~⼼怡任)贱念与刃仝⼟4⼱了 g球苗曲怜C ?13?: >??在"⼏?冲刑⼔岀的⾃0遇信找仙BL*?5^Z?Hn.±5.丙3下审椰曲甌颐幵唄覆⼑谄?Q A.昨沁Q B. ?<8wej□ c?⽤户⾏为□ D.数有⾄2、嗤肄乔论坛UTK?瘦矩冬三砸-妾冇"全孩頸加渕⾆⾫1圾)》尼过龙古各⾢師珈越夭蜒$1些⽅乖莖X? 义?Q A. Q 3.改竺吨Q c砂冲吐Q D?恥匪安全I ⼼廖够三王魅I三:禎W匏辭、施.传胡坯為按博穌尿為引虾,外似I琵冬⼆W芜游酣,⼈朴振、聲F奇涓主雒郴F⿃當H3Z峯茫1題刊t妙?A.盘舐0 B?轴率0 csw影0 D? AST52、下列选顶中.不是⽬空i吾⾔处理的解决⽅法的呈?O A.规则⽅法? C週归⽅法O B.统H⽅法O D?深度字号⽅法3、IBM的深蓝在1997年的决定胜负的第六个回合中r⽤了多少步迫使卡斯怕罗夫投⼦认输O A. 15 ? B 22 O C. 30 O D. 281、在晋謝⽎颐領域r⼈⼯彗能可以结台按费告的?E些⽅⾯进^运算?A.财务状况SB.风险侯好C.芟财吕标□D.⾝体状况2,⼔前主许曲記5你異亡⾍苗⼈⼯書能发艇阶段,曲眩在⼘列葺些万tWY寻显善进于/A.進⾳⾅!|B.圉像上理U拧索太空D*叽器駐译2. a^Nd$QliH££S . £MttAMMS .更骄了电対SQUMO讹”⽽⽬科霑■^團■倒6迈.⽤切曲⾋帘r Prerto r DrtllE^T (岂植柯⽆皐:卒碎尬晅Wig "就不⼀⼀列¥7■: ,M那只丽*哼IHK*釧孚"忖<(?制和R+fJucHl=7Tffiqfj FQ A 丸it11!3%语⾳识别常⽒的壹⽤有四个?下列不杲當冃应庄芒罡?O c.导航1 、下列知t中,⽌⼯替⽼壬)基础字零有7c, BPmeas(⼆)⼈⼯智能1.下列谨頊中,不是⼈⼯昔能的基⾯设葩的是?A⼕咖务器 b GPU服务器C.专尽芯⽚i?D.专胃显悵2.总曲祚咗刁弟上更习于匿燦辻是存正⽍昌耙i⼯总£三⼘⾍它电鎏⽯兰.看EP⽍囲中.狰林屋三种堵构IB?B之⼀?■- c.蚩睾样>i D.令逍M ⼈⼯替能在更疗键辭域应⽤⼴泛,下列不是主妄应⽤圾录养是?O 4虚拟耻理O氐医芋影傑◎C圭⼑机昶O D,宫葬学1.巨前主流哥克仍然集中升昌⼈⼯替蚩⾐展航彦,那么在下列啣些⽅⾯取律昱苜谨歩?E.图像C挥索太空2 监膏学习的回⽈⽅注崗⾆:⼝A炭性回归B c券项武回归Q B.进辑回归D.单⼀回归(三)⼤数据技术介绍1.下列造项中,郡项是疔朽式⽂件存储磁?@ A- HDFS O E Flume'_ " C, Kafka O D. Zookeeper2. uidp educell算慎型运円于鄆种任务?()X塞线程上理C.批则< ROD是⽩多个什么俎成/|:电)A. palition B. computer C* Action D. T r ansfornnatio31. MapReduce⼼质上兵呈个港单悽型.便⽤起集很昱筆坡?那么下列珈些技相tMapReduce的便⽤简单化?X YARN B. OozieQ C? Hive Q D. Presto2、Hive是不适台⽤于卖时要求较⾼的应⽤场黒?有舜些原因?□ A.计莫速度慢Q B.C.计其速⽪快D.淞低1、下列歴项中r正瀚描it Flume刃谿S芳的⽀陆是?O A.只能佼⽤HDFS坯斷O c不就烦⽂昨琢@) B.可以配季据溥O D?不輙⽤⽬2. Spark是在i專⼀年开诗的?0 A. 2011 (§) B? 2010 0 c 2009 O D? 20123、Spark Streaming是什么钦件栈中的流计算?'?) A. Spark O C. Hadoop O B. Storm O D? Rume1、HDFS在骑箜场旦中表現识堂?2 ⽦后?予..mGiYr谆中丰坊监?忡.我们可以盘⼖敷病分帀?⾍島垃芍空汨厅少祢今析丈匪分先龛申*?□A.⼝R 恶Q C. A)& □ D.专逻分祈Q B.?Kgiis^^nT□ D.⽹⼔交咨P理爭核⼆1. 今年.枷盼桁務岀现⽦給住的新⽅法?从处液多d占(理E埋论込喘会产⽣理论駆!的姬商炉刘$5唤£为刘畑⼖咖忻如⼼按 *? @)A.机砂习O 吐AI??O G KM*7 O 0.習他■2、⽵郁现.利⽤⼤昨优化了什么.从停到柠⾼了枷私古,K?低徇魔6E本的⽬的7O⼈授⽊应⽤@B.擁蚀aO c. 车O D? wrss^3、下列选项中正确说明价砖质低的是7久100万数头{中肖50万肖效斑;1000万字憨拇中⾃100万⾃O D?10万仪敛35中化1万<5x5?2JS3MB. lTEJS头;中有1KB⾃。

2022年中国移动网上大学数字赋能数智化转型题库

2022年中国移动网上大学数字赋能数智化转型题库

2022年中国移动网上大学数字赋能数智化转型题库()和5G、智慧中台协同构成“连接+算力+能力”的新基建A.算力网络B.云网融合C.算网融合D.算网一体参考答案: A()是2022年5GtoB发展的第一主题, 要立足战略高度, 抓住时间窗口A.强能力B.占高地C.上规模D.争领先参考答案: C“力量大厦”的着力点是“转型升级: 基于规模的(), 改革创新: 高效协同的组织运营体系”A.价值经营体系B.组织运营体系C.“管战建”协同体系D.运营管理体系参考答案: A“力量大厦”的总体目标是“创世界一流企业, 做网络强国、数字中国、智慧社会()A.建设者B.主力军C.参与者D.领军者参考答案: B“三力”中合力包含分工明确、力出一孔的“管-战-建”()A.组织合力B.文化合力C.生态合力D.发展合力参考答案: A“三力”中合力包含优势互补、互利共赢的()A.组织合力B.文化合力C.生态合力D.发展合力参考答案: C“三力”中合力包含战略统一、凝聚共识的()A.组织合力B.文化合力C.生态合力D.发展合力参考答案: B“三力”中能力包含以创新为第一动力, 增强()A.发展能力B.创新能力C.队伍能力D.技术能力参考答案: B“三力”中能力包含以发展为第一要务, 增强()A.发展能力B.创新能力C.队伍能力D.技术能力参考答案: A“三力”中能力包含以人才为第一资源, 增强()A.发展能力B.创新能力C.队伍能力D.技术能力参考答案: C“十四五”信息通信行业发展规划指出, 到2025年每万人拥有5G基站数()个A.10B.18C.26D.32参考答案: C00M入城后带宽有限、2.6G()未来会存在容量风险。

A.低流量区域B.高流量区域C.弱覆盖区域D.室外区域参考答案: B022年CHN产品要增收()亿?A.150B.180C.200D.250参考答案: ACHBN产品体系全视图主要包括()类型产品A.5B.6C.7D.8参考答案: BCHBN协同要以具体项目促融合, 2022年将以()个项目为抓手, 推动CHN与B的深度融合发展?A.2B.3C.4D.5参考答案: DG网络计划在()年之前完成升级。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2008年1月,Hadoop 成为Apache顶级项目
2010年7月,云计算 基础软件联盟 OpenStack 成立
行业动态
2006年9月,亚马逊 AWS服务正式上线
2008年4月,Google PAAS服务GAE试商用
2011年7月,阿里云 上线试商用
Google云计算论文:GFS /2003年,MapReduce/2004,BigTable/2006
1 策略研究
标准化 产业推劢
大云
5
方案/规范
4
2
平台研发
应用研发 试验/试点
3
“大云”研发历程
“大云”是中国移动研究院为打造中国移动云计算基础设施而实施的关键技 术研究、现网技术支撑及产品开发计划。项目从2007年3月启动,是国内最 早启动的云计算研发项目之一。
云计算引入策略、规范制定、产品研发、应用试验、产业链培育、标准化
处理时间没有严格要求,通常达 到几个小时,甚至更长时间
需要支持各种并行计算模式,如 MapReduce、BSP等
数据挖掘系统需要较好的用户界 面,用户通常具备业务知识,但 是未必具备开发经验
系统可以和其他系统混合部署
数据具有一定的可靠性和可用性 要求
应用案例1:云化ETL完成了省公司每日近170亿的数据处理
件环境下常常无法部署 • 扩展性达到PB级之上可选厂商较少,易绑定
• 具备结构化/非结构化混合分析的能力,大数据多为非结构化 • 基于消费级硬件,以常态化硬件故障为设计出发点,丌依赖高
性能、高可靠性硬件保障系统性能和可靠性。 • 基于通用硬件,平台兼容性好,可跨代,跨厂商硬件部署 • 扩展性高,业内有上万节点级部署案例,大陆有千节点级部署
2013年9月,大云项目被列为集团战略性 重大项目之一
2009年12月建成国内规模最大的云计算实验 室,服务器节点数超过1300个
“大云”是中国移动为助力移动互联网转型、实现IT支撑系统升 级而实施的云计算创新研发计划
“大云”是中国移动为助力移动互联网转型、实现IT系统架构变革 而实施的云计算创新研发计划。项目研发将满足中国移动IT系统高 性能、低成本、高可扩展、高可靠性的需求,推动IT支撑系统集中 化的实现,增强大数据处理能力,打造移动互联网时代核心竞争能 力
• 大云开源社区期待幵欢迎各方的加入! • /opensouce
“大云”应用逐年丰富,产品成熟度稳步提高
27 27 21 15
• 大云的商用涵盖公司“两朵云”以及外部 行业云,成功应用于移动IT支撑系统,互 联网业务平台,公众服务云、教育云和电
9 4
子政务云等领域。 • 大云产品已部署了超过3000台服务器,
裸存储容量约15PB。
• 截止12年底,累计为公司创收和节省成本
7000万元以上。
大云实验室设备规模
计算节点1180个,内核总数6432 个,内存18.8TB,存储容量4PB+
网络设备50台,千兆接入端口 1248个,万兆接入端口384个, IB-40Gb接入端口80个
将基于开源Hadoop软件的大云大数据平台BC-Hadoop开源,尝试开源模式!
大云开源社区BC-Hadoop最新进展
• 社区建设:在大云实验室搭建开源站点,选择github作为镜像站点, 并确定了开源组件模块和基线版本
• 开源合作:研究院大云团队和亚联、华为研发人员组成核心团队负 责社区研发的启劢,开源社区迓得到了来自卓望、新大陆、拓维、 东软、宜通、亿阳、斯特奇、北邮和东北大学等公司和院校的支持
2010 2011
81
2001-2012 世界500强排名
2003
2004 2005
2009
77
2008
99
2007 2006
148
180
202
87
2012
2002
224
2001
230 242
287 336
连续四年入选道.琼斯指数DJSI 《金融时报》发布的“全球最强势100品牌”,排名第10位
原始数据 4.6TB
文件
ODS
DWD
DW
级 校验
层库 外存 16储2亿条
层库 外存 149储亿条
数据 转换
层库外 存储
数 据 装
约1.3TB 约800GB
62亿条

(经分13.5亿)(经分50GB) 约3.4TB
库内处理
DW层数据
FTP方式获取 上游数据
云计算Hadoop
Traditional DB/DW TB
MPP DW+Hadoop
PB
Distributed architecture EB ZB
电信运营商发挥管道优势,深入挖掘大数据的价值
借助云计算技术和运营商优势,将大数据信息转 化为商业价值,促进业务创新
1. 改善用户体验:智能语音门户通过知识库和语义搜 索技术实现业务知识的机器智能回答
2011年8月,作为副理事长单位发起成立 了中国云计算发展与政策论坛;
2010年5月,加入云计算国际测试床Open Cirrus,成为国内第一个成员单位; 2011年12月,正式发布“彩云”个人云 服务
2012年12月,采用大云产品的国家教育 云正式上线
2013年6月,为了加强云计算和大数据开 发,研究院基于大云团队成立云计算系统部
“大云”2.5产品体系架构
经分 集中化
经分系统 ETL/DM
结算 信令 系统 系统
2.0产品体系 2.5新增产品 2.5功能增强
云计算 资源池系统
PaaS 产品
物联 网应用
移劢互联网 业务平台
IDC服务

“大云”产品
IaaS 产品
计算/存储资源池
弹性计算 BC-EC
对象存储 弹性块存储 BC-oNest BC-EBS
仸务统一调度
触发FTP抽取任务,从指定FTP路径 抽取文件,再存入HDFS文件系统
通过Map/Reduce + SQL Loader将DW层数 据加载至数据仓库(Oracle)指定表中
接口机
流程70个 流程16个 流程81个
需先预
处理,
1
2
再进行
3
4
5
文件采 集,从 而提高
效传率输协议
文件 采集 到云 平台
典型的应用场景之三:大数据分析挖掘系统
目标:针对海量结构化、非结构化数据的进行深度挖掘。通常需要根据业务需求设 计模型、训练集幵选择算法(分类、聚类、关联、非结构化)。通常会使用各种分 布式数据挖掘工具和算法
人群1
例图:客户分类识别应用
其它人群
技术要求丼例:
针对海量数据实斲全量数据挖掘, 规模达到10TB-PB规模。
移劢互联网流量激增,2012年底, 移劢互联网应用使用时间激增,是
移劢数据流量占比超过13%
使用通信服务时间的4倍
中国大陆移劢互联网发展有相类似的趋势,截至2013年6月,中国大陆手机网 民已达4.6亿,上半年移劢互联网接入流量同比增长62.6%(CNNIC、工信部)
大数据处理核心基础的转变
传统数据分析处理
DBMS
DW
transaction
ETL
Unstructure
大数据处理
Cluster
Analysis
Stream
Analysis
Multiple data sources (MapReduce)
• 面向结构化数据,非结构化处理效率低 • 基于昂贵硬件(小型机+磁盘阵列)或一体机 • 硬件平台兼容性差:在跨代硬件或跨厂商硬
分析需求
流量清单查询 为用户提供流 量的去向查询等
上容用网字户日段 志内协议 帐号 类型
业务 类型
访问 URL
终端 信息
上行 流量
下行 流量
„„
劣力市场决策
改善用户体验
QOE 客户感知层
KQI 业务质量层
KPI 网络性能层
PI 网元能力层
网络质量和效率分析 网络价值分析
客户感知及行为分析 业务端到端分析
2. 助力市场决策:充分挖掘用户的移动互联网行为特 征,提升对用户消费偏好的精准把握,帮助市场营 销等决策,实现精准营销。
3. 优化网络质量:利用信令数据支撑终端、网络、业 务平台关联分析,优化网络,实现网络价值最大化
流量分析 流量的构成和 大趋势分析等
用户分析 用户兴趣偏好、近 期关注、活动范围 等
大云实验室功耗统计
PUE = 1.504
大云实验室运营运维管理
统一运营管理平台
统一运维管理平台
自服务资源 资源使用监 申请、释放 控和统计
自动化安 自动化故
装部署
障报修
大数据资源池 虚拟化资源池 研发区
测试区
典型的应用场景之一:大数据批处理系统
目标:针对海量结构化、非结构化数据的ETL操作。从各种数据源获取数据,幵进 行清洗、转换、去重、缺值补充等操作。通常采用MapReduce等幵行计算技术。
确定了云计 算研究方向
部 署 Hadoop 系 统进行大数据 研究
发布大 云1.0
在双业 务云部 署
发布 大云 1.5
在公 有云 部署
发布 大云 2.0
在一级 私有云 部署
2003
2006.9 2007.3 2007.7
2006年2月,大数据 基础软件Hadoop诞生
2008.3
2010.5 2011.4 2011.11 2012.6 2012.8 2013.6
中国移劢大数据应用实践
徐萌 中国移动通信研究院 云计算系统部
2013年12月
相关文档
最新文档