电信运营商大数据处理技术分析与应用探讨

电信运营商大数据处理技术分析与应用探讨

【摘要】：在互联网和物联网快速发展的背景下,我国进入了"大数据时代",社会各行各业都通过大数据,获得了一个新的经济增长点。在电信业运营中,大数据运营将成为电信运营商实现"去管道化"的有力抓手,它能有效地促进电信运营商降本增效,因此在企业中建立大数据平台是一个大趋势。本文对数据仓库、MPP 和 Hadoop 这三个大数据处理技术框架和应用场景进行分析和比较,并介绍了某电信运营商分公司大数据建设运营的实践案例。

【关键词】：大数据；数据仓库；MPPDB；Hadoop

一、电信运营商大数据建设背景

随着移动互联网的迅速发展,催生了一个"大数据时代"。目前，移动互联网中即时通讯软件使用广泛,对电信运营商基础语音和短信业务造成冲击,运营商投入巨大资金建设和维护的网络正在逐渐成为各互联网公司的“管道”，面对外部竞争和网络流量收入的压力，如何破局管道化趋势？如何发掘新的业务增长点？成为目前电信运营商最为关切的课题。

在电信运营商日常网络运营中，可以累积大量的用户数据，相比于互联网公司来讲，这些用户数据对于电信运营商来讲是具有巨大价值的，一是用户实名,具有真实的个人基础信息，如年龄、性别、工作单位和职位等；二是地理信息，运营商可以轻松地获得电话者的通信位置，而且精度非常高；三是通讯信息，包括电话费用、对方的信息等等。这些真实的数据是最具战略意义的资产，因此,在电信运营商内部通过搭建一个大数据平台来充分释放数据的价值助力智慧运营是非常有意义的。

二、电信运营商大数据建设驱动因素

1 数据驱动业务创新

数据是一种知识和思维，随着运营商IT系统的建设和运营，数据呈现如下的特征：

（1）数据量大

非传统业务数据量大，包括采集、存储和计算的量都非常大。而传统业务所使用的数据库在数据量大于30TB时就无法支撑，需要通过分库分表的策略来扩充数据库的处理能力，但此策略会带来跨库查询和更多的多表联接操作，导致处理效率的降低。

（2）数据结构多样

数据的种类和信息来源通常是丰富多样的。在日常运营中会出现多种类型的数据（结构化、半结构和非结构化的数据）,具体表现在包括网络日志、音视频、图片和网络地理位置等多个方面,这些多样性的数据对数据处理分析能力的要求更高。

（3）数据增长速度快

数据的增长速度快,数据的处理要求更快,时效要求更高。例如,要求搜索引擎需要几分钟甚至几秒钟就能查询客户的所需要的信息,要求在用户浏览网页时通过算法完成实时的个性化推荐。这些情况是传统的数据挖掘无法实现的。

（4）数据价值密度低

数据的价值密度较低，信息量较大，但价值密度低，例如一个用户的定位数据没有什么价值，但是海量的位置数据能够预测区域内的商业价值。这需要将业务逻辑结合起来，并通过强大的机器算法挖掘数据价值。

通过以上的数据特征分析，运营商在业务生产和管理中形成的大量多种类型的数据存储和处理、数据价值的深度挖掘、数据融合共享等这些需求必然需要新技术平台的承载和支撑，因此采用大数据技术是运营商必然选择的技术方案。

2 应用驱动业务创新

深化应用，创新驱动，深入理解用户需要，密切追踪信息的发展趋势，拓展新技术的应用范围和深度，丰富管理及服务工具，如经营分析、精准营销、维系挽留、营业厅地址等创新应用，赋能智慧运营，助力收入增加。

总之不管是数据驱动还是需求驱动，运营商建设大数据的根本目标都是一致的，那就是要实现智慧的运营，实现可见、可查、可控、可管、可预见的数据体系，从而在互联网背景下不断提升电信运营商的核心竞争力。

三、大数据技术应用分析

大数据技术在战略上的意义并不是掌握大量数据信息，而在于专业地处理这些具有意义的数据。换句话说，如果将大数据与一个产业相比较，那么该行业实现利润的关

键在于增强数据"加工力"，通过加工实现数据的增值。下文对电信运营商在实际工程中运用的主流数据处理技术进行简单分析和对比：

1 数据仓库

是借助现有数据库的能力,为进一步挖掘数据资源、科学决策而产生的一种数据处理技术,它并不是所谓的"大型数据库"。数据仓库的建设目的,是为了前端查询和分析需要,由于数据存储量较大,需要更多的存储资源。

传统数据仓库技术的应用场景如下（包括但不限于如下场景）：

（1）处理结构化的数据(ETL)。底层数据处理任务较重，但整体计算复杂度不高,没有多表格的关联处理,资源允许的条件下可以采用数据仓库的形势。

（2）结构化数据处理与分析。针对结构化数据的处理和分析，数据具有先天优势，在时效等方面数据仓库也是首屈一指的。

（3）数据集市。数据集市的应用比较独立，对可靠性要求不那么严格，资源可以在有足够的资源条件下，通过数据库实现动态资源调配，效率较高。

（4）外部查询。数据中心不仅是对数据进行处理，而且还需要对外查询数据，传统的数据仓库可以进行OLTP 查询，同时也可以支持OLAP查询。

2 MPPDB

MPP，它是一款分布式数据库集群，各节点并行计算而不进行数据共享,在处理性能和架构扩展方面具有优势，它是一个可以为大规模数据提供计算和存储能力的平台,并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统。其应用于数据的深度分析（结构化数据）、前端复杂查询以及自助分析等场景。它提供了统一标准的访问接口(SQL),不需要定制开发。其一般构建在X86服务器的本地磁盘上，因此可以有效降低拥有成本。

MPP数据库产品在数据中心中可以用于以下场景（包括但不限于）：

（1）数据集市

数据集市定位于以企业数据仓库数据为基础，结合其他相关数据，支撑特定业务场景或者业务部门需求的IT平台。可以在数据集市建设和扩容时考虑引入MPP数据库来降低成本，提高效率。

（2）数据分布式存储（历史库或者明细库）

传统的数据仓库对历史数据分析有更多的需求，这可能会导致现有的数据仓库资源不能满足分析要求，将历史数据转移到MPP ，支持随后的数据访问和数据分析需要，

提高整体架构和数据的可用性。MPP架构是在x86 服务器平台上搭建的，因此可以实现用较低的TCO满足历史库建设的需求。

（3）ETL

传统数据仓库中数据的汇总会消耗掉数据仓库的绝大部分资源，通过将这些计算汇总任务迁移至MPP上，可以有效降低数据仓库的负载，提高数据关联汇总的性能，同时可以满足后续数据量增长情况下的平滑扩容的需求。

3 Hadoop

Hadoop是一个分布式处理软件平台, 用于对海量数据进行分布式存储和计算，通过Java语言开发实现。Hadoop最核心的是2个模块：HDFS和MapReduce。其中HDFS 提供了海量数据的存储能力，MapReduce提供了海量数据的分布式计算能力。

Hadoop技术和产品在数据中心中可以用于以下场景（包括但不限于）：

（1）ETL

Hadoop架构下ETL与MPPDB相似可以降低传统数据仓库的存储和处理的压力与成本，但是与MPP相比，Hadoop平台弱点在于对多个表的关联的计算，以及易用性方面。MPP可以弥补这方面的不足，所以混合起来使用总体更优。但是混合使用增加了数据同步和落地的环节，对于小规模的环境下不一定是最好的选择。运营商可以根据自己的情况进行设计。

（2）机器学习和数据挖掘

针对大规模数据查询服务，Hadoop表现出来的优势是很显著的。Hadoop拥有独特的存储方式，一般数据处理工具和数据是部署在相同服务器之上的，从而实现能够更快的处理器数据，降低海量数据挖掘计算成本，有效缩短计算时间，快速响应前端需求。

（3）冷数据存储

随着数据量不断增加,数据也必然会随着时间推移呈现出访问量和热度巨大深度差异。如果不管集群数据的冷热,用相同的存储管理策略进行管理,就是对整个集群数据资源的巨大浪费。采用Hadoop存储架构对所有冷数据存储,可大大降低所有冷数据的批量存储和数据查询处理成本。

4 数据仓库、MPPDB及Hadoop对比分析

传统数仓属于集中化的架构，Hadoop和MPP这两种技术同属于分布式架构。这三种技术的对比如下所示：

表4-1 技术对比表

（1）在处理非结构数据和半结构数据方面，Hadoop首屈一指，尤其擅长海量数据批处理这类数据处理场景。而且随着Hadoop技术的成熟，Hadoop即时查询能力也在不断增强。

（2）MPP具有较高的效率，适合替代现有关系型数据结构下的大数据处理，但是MPP数据库在大规模数据（超过100个节点或者超过PB级的数据）方面表现有待进一步验证

MPP数据库的灵活查询、复杂关联汇总、深度分析等方面的性能相比Hadoop具有较明显的优势，适合数据中心场景中数据挖掘、自助分析、数据关联等复杂逻辑加工场景。而且MPP数据库可以更快的响应小规模的查询，提供很高的吞吐率。Hadoop适合海量数据存储查询（详单存储和查询）、批量数据ETL、非结构化数据分析（日志分析、文本分析）等场景。

四、电信运营商大数据平台建设运营实践

现阶段，大数据时代已经全面到来，面对移动互联网势不可挡的发展趋势，必须因时而谋、应势而动、顺势而为，加快推进大数据建设运营是电信运营商必由之路，也迫在眉睫。下文以某电信运营商分公司为例阐述大数据平台的建设思路，希望给读者一些启发。

某电信运营商分公司坚持“平台集中建设”、“数据跨域整合”、“数据开放共享”、“组织机构变革”为演进思路建设大数据平台。

1 平台集中建设

前期，公司通过立项大数据平台建设项目初步搭建混搭式(传统DW+MPP+Hadoop)的企业级大数据平台，该平台兼顾建网成本和快速形成生产能力两个方面，采用开源和商业化产品，通过多租户模式、流处理技术，打造企业级的数据管理、应用开发平台。

图4-1 某电信运营商分公司大数据平台架构图

集中建设统一大数据平台解决了技术层面的三大问题：

混搭式架构：解决低成本、高可用的问题；实现数据的分层分级存储和处理，海量低价值数据依托Hadoop，轻度汇总、中等价值的数据依托MPP，高价值数据依托传统数据仓库，实现数据和资源的价值匹配，解决了单一架构成本高、扩展能力差的问题，三者的单位存储容量造价比约为2:5:40。其中Hadoop部分采用了苏研的BC2.0产品，有效降低系统造价。

租户模式：解决平台统建、资源共享的问题；通过该模式，实现资源的灵活调配，动态共享，支撑公司内各专业部门的应用建设和开发，促进应用百花齐放，解决了“分专业建设各自大数据平台还是集中统一建设”的争论问题。

流处理技术：解决时效性、精准性的问题；流处理技术可解决网络侧数据时效性要求高的难题，也提升了实时精准营销和实时对外信息服务的能力，满足各方对数据处理时效性和精准性的需求。

2 数据跨域整合

对内：充分整合了B、O、M三域数据，特别是实现了网络侧全量数据整合（包括2/3/4G/V oLTE的语音及数据各端口数据），构建企业级共享层数据，充分实现三域数据

的融合和共享，有效节约投资。

对外：尝试拓展外部的数据，包括政府部门、外部企业以及互联网数据，如路管局、航空公司、征信部门、万达等一些政府和企业的平台数据。

3 数据开放共享

多租户数据库资源池将搭建数据与应用分离的架构，解决平台统建、资源共享的问题，实现资源的动态共享和数据的集中管理与整合复用，支撑公司内各专业部门的应用建设和开发；基于多租户能力，有利于构建多元化的应用商生态环境，促进应用的“百花齐放”和快速响应，提升业务感知。

4 组织机构变革

在公司管理层的高度重视和推动下，率先在全集团成立大数据运营中心。同时，面向大数据运营打破传统组织架构和人员配置模式，成立大数据专业团队，有效强化了大数据运营的组织人员保障。

在大数据应用成果方面，该公司通过大数据平台能力，依托大数据深入洞察客户需求，深入数据挖掘、通路拓展、智能推荐、模式创新四个方面能力建设，构建立体的流量与4G、5G精细化营销体系。同时该公司基于大数据支撑的网络集中性能管理平台，打造了网络主动运维支撑体系，主动发现业务问题和客户感知问题，满足公司内部全流程管理的面向网络、面向客户、面向规划、面向终端、面向市场五个维度的应用需求，同时也极力拓展社会化服务应用。

五、结束语

综上，随着信息网络发展变革，在大数据的背景下，技术不断更新，应用也在百花齐放，电信运营商也需紧跟时代的潮流，将自身业务发展与大数据的运营紧密地联系起来，使全维数据的优势得以充分发挥，在大数据的背景中，实现自身向智能化运营转型，有效提高自身运营的效率和质量，为客户提供更方便、快捷的信息服务。

参考文献

[1] 赵跃东,王隽峰,曾王平.电信运营商大数据应用系统建设方案研究[J].中国新通信,2015,17(04):81-82.

[2]冯明丽,陈志彬.基于电信运营商的大数据解决方案分析[J].通信与信息技

术,2013(05):36-40.

[3] 黄勇军，冯明，丁圣勇等.电信运营商大数据发展策略探讨[J].电信科学，2013（3）：7-11.

[4] 施巍巍.大数助力电信企业实现精准营销[J].信息技术与信息化，2015（1）：92-94.

[5] 尚夏.数据仓库系统的理论研究与实现[D].西安电子科技大学.2005.

[6] 顾荣.大数据处理技术与系统研究[D].南京大学.2015.