电信大数据解决方案及实践

合集下载

电信运营商的大数据云计算与互联网解决方案

电信运营商的大数据云计算与互联网解决方案

管:双层通道
上层造车:
打造线上下结合的商业渠道,为传统企业的渠道转型提供新型 助力
下层修路:
突出网络拉动,做强智能管道
扩展终端的内涵和外延
端:核心资产
终端拓展:
除围绕个人智能终端开展业务以外,还努力推动行业应用终端的发 展
独有利器:
运营商独有的号码和SIM卡作为互联网鉴权标识和管理资源
核心资产:
将“客户”作为核心资产,不断提升其价值,探索新型服务模式
China Telecom
速率/Rate
HSPA
↓14.4M ↑5.76M
HSPA+
↓42M ↑5.76M
HSPA
↓2.8M ↑0.38M
HSPA+
↓4.2M ↑0.38M
EVDO
↓3.1M ↑1.8M
REV-B
↓9.3M ↑1.8M
4G
FDD-LTE TDD-LTE
速率/Rate
↓150M ↑40M
沃云盒子(Wo Box) 和不同用户间在线/离线状态下信息和文件分享
IDC基础业务(IDC infrastructure) 空间租赁 带宽服务 IP地址
云计算基础设施(IDC)
IDC增值业务(value added service)
CDN 代维服务
安全服务 流量清洗
……
1.云计算——上海IDC资源能力
I-PLUS提供全方位的服务支持与资源共享
Incubation Platform Link User& channel Service
培育产业创新生态圈 提供互联网要素在实体经济的渗透能力,促进开放与协作 便捷实现企业连接、人人连接、物物连接及互联网接入 低成本接触客户和全渠道拓展 提供数据存储加工、大数据商业应用及云计算服务

电信大数据解决方案

电信大数据解决方案

电信大数据解决方案1. 引言随着互联网的普及和电信行业的发展,电信运营商面临着大量的数据积累和挖掘的挑战。

电信大数据解决方案是一种针对电信运营商提供的解决方案,利用大数据技术和算法来帮助运营商更好地分析和利用数据,优化业务流程和决策,提高运营效率和用户体验。

2. 解决方案的架构电信大数据解决方案的架构通常包括以下几个关键模块:2.1 数据采集与清洗在电信大数据解决方案中,首先需要从各个数据源采集原始数据。

数据源可以包括基站、短信、通话记录、用户数据等。

然后对采集到的数据进行清洗,去除异常值和噪声,保证数据的准确性和完整性。

2.2 数据存储与管理清洗后的数据需要进行存储和管理。

通常采用分布式存储和数据库技术,如Hadoop、HBase、MongoDB等,来存储大规模的结构化和非结构化数据。

2.3 数据挖掘与分析数据挖掘是电信大数据解决方案中的核心环节之一。

通过应用统计学、机器学习和数据挖掘算法,对存储的数据进行分析和挖掘,以发现其中的隐藏模式和关联规则,提供有价值的商业洞察。

2.4 可视化与报表为了方便运营商对数据分析结果的理解和利用,电信大数据解决方案往往提供可视化和报表功能。

通过可视化工具和技术,将分析结果以图表、表格等形式展现,使得用户可以直观地观察数据的趋势和关联,辅助决策和业务优化。

2.5 预测与优化在通过数据分析发现问题和机会后,电信大数据解决方案还可以提供预测和优化的功能。

通过构建预测模型和优化算法,对未来的业务情况进行预测和优化,以指导运营商的决策和调整。

3. 应用场景电信大数据解决方案可以应用于多个场景,以下是几个示例:3.1 用户行为分析通过对用户数据的挖掘和分析,可以了解用户的使用习惯、倾向和需求。

基于对用户行为的深入了解,运营商可以个性化地推送服务、优化产品,提高用户满意度和留存率。

3.2 故障预警与维护通过对设备和网络的数据进行分析,可以实现对故障的预警和维护。

一旦出现设备故障或网络异常,系统可以及时发出报警并提供相应的解决方案,以保证稳定的通信和网络服务。

电信大数据解决方案

电信大数据解决方案

电信大数据解决方案1. 概述电信行业是一个数据密集型行业,每天产生大量的数据。

这些数据包括用户的通话记录、短信记录、上网记录等等。

如何有效地利用这些数据,提高运营效率,增加用户粘性,成为电信运营商面临的重要问题。

电信大数据解决方案应运而生,通过对电信数据的分析和挖掘,为电信运营商提供业务决策支持和用户体验优化等方面的解决方案。

2. 电信大数据的应用场景2.1 用户画像通过分析用户的通话记录、短信记录、上网记录等数据,可以建立用户画像,包括用户的性别、年龄、职业、兴趣爱好等信息。

通过用户画像可以更精确地进行用户定位和用户推荐,提供个性化的服务。

2.2 营销活动优化通过分析用户的通话记录、短信记录等数据,可以了解用户的消费习惯和偏好,从而优化营销活动的方向和内容,提高营销活动的转化率。

比如,根据用户的通话记录,可以判断用户是否对某个特定的产品感兴趣,然后通过短信或电话进行精准推送。

2.3 网络质量监控电信运营商可以通过分析用户的上网记录和网络状态数据,实时监控网络质量,及时发现网络异常并进行处理。

同时,可以通过分析用户的上网行为,优化网络资源分配,提高网络速度和稳定性。

2.4 故障预警与处理电信运营商可以通过分析用户的通话记录、短信记录和网络状态数据,实时监控用户的通信质量,及时发现通信故障,并提供故障诊断和处理方案,保证用户的通信质量。

3. 电信大数据解决方案的技术实现电信大数据解决方案的技术实现主要包括数据采集、数据存储、数据处理和数据可视化。

3.1 数据采集电信大数据的来源多种多样,包括通话记录、短信记录、上网记录等。

数据采集可以通过多种途径,比如运营商自身的数据管理系统、手机APP、数据交换平台等。

3.2 数据存储电信大数据的存储一般采用分布式存储技术,如Hadoop、HBase 等。

分布式存储可以满足大数据量的存储需求,并具备高可靠性和高扩展性。

3.3 数据处理电信大数据的处理主要包括数据清洗、数据分析和数据挖掘。

电信行业中的大数据网络运营优化

电信行业中的大数据网络运营优化

电信行业中的大数据网络运营优化在当今数字化时代,电信行业正经历着快速的发展与变革。

随着互联网的日益普及,大数据的规模和价值也得到了广泛认可。

在电信运营商中,大数据在优化网络运营方面发挥着重要作用。

本文将探讨电信行业中大数据网络运营优化的相关问题,并提出一些解决方案。

1. 大数据在电信行业中的应用在电信行业中,海量的数据每天都在被生成、收集和存储。

这包括用户的通信记录、网络流量数据、设备状态等等。

通过分析这些数据,电信运营商可以获取宝贵的信息,比如用户行为模式、网络拥塞情况、设备故障预警等等。

这些信息对于网络运营优化至关重要。

2. 网络拥塞的解决方案大数据分析可以帮助电信运营商更好地管理网络拥塞问题。

通过实时监测网络流量数据和用户行为模式,运营商可以迅速发现并解决网络拥塞的问题。

同时,通过预测未来的网络负载情况,可以提前做出调整,从而避免网络拥塞带来的影响。

3. 用户行为分析与个性化服务大数据分析还可以帮助电信运营商了解用户的行为模式和偏好,从而提供个性化的服务。

通过分析用户的通信记录、短信内容、上网行为等等,运营商可以向用户推荐更适合他们的套餐、增值服务或者优惠活动。

这不仅可以提高用户的满意度,也可以增加运营商的收入。

4. 设备故障预测与维护大数据分析可以帮助电信运营商提前预测设备的故障情况,从而采取相应措施进行维护。

通过监测设备的状态数据,分析设备的运行模式和异常行为,可以提前判断设备是否即将出现故障,并及时进行维护或更换。

这可以大大减少设备故障对用户和网络运营的影响,提高网络的可靠性和稳定性。

5. 安全风险识别与防范大数据分析还可以帮助电信运营商识别和防范潜在的安全风险。

通过分析用户的通信数据和网络流量数据,可以发现异常的行为和潜在的安全威胁。

运营商可以加强网络安全措施,预防黑客攻击、信息泄露等问题,保护用户的隐私和数据安全。

综上所述,大数据在电信行业中的运营优化具有重要的意义。

通过大数据分析,电信运营商可以更好地管理网络拥塞、提供个性化的服务、预测设备故障、识别安全风险等等。

电信行业大数据应用方案

电信行业大数据应用方案

电信行业大数据应用方案第一章绪论 (2)1.1 行业背景分析 (2)1.2 大数据概述 (3)第二章电信行业大数据技术架构 (4)2.1 数据采集与存储 (4)2.1.1 数据采集 (4)2.1.2 数据存储 (4)2.2 数据处理与分析 (5)2.2.1 数据预处理 (5)2.2.2 数据分析 (5)2.3 数据挖掘与建模 (5)2.3.1 数据挖掘 (5)2.3.2 数据建模 (5)第三章电信用户行为分析 (6)3.1 用户画像构建 (6)3.1.1 数据来源 (6)3.1.2 用户画像构建方法 (6)3.2 用户行为轨迹分析 (6)3.2.1 数据来源 (6)3.2.2 用户行为轨迹分析方法 (7)3.3 用户需求预测 (7)3.3.1 数据来源 (7)3.3.2 用户需求预测方法 (7)第四章网络优化与质量监控 (7)4.1 网络功能分析 (7)4.2 网络故障预测 (8)4.3 网络资源优化 (8)第五章个性化营销策略 (9)5.1 产品推荐算法 (9)5.2 营销活动策划 (9)5.3 营销效果评估 (9)第六章客户服务与满意度提升 (10)6.1 客户服务数据分析 (10)6.1.1 数据来源及类型 (10)6.1.2 数据处理与分析方法 (10)6.1.3 数据应用案例 (10)6.2 智能客服系统 (10)6.2.1 系统架构 (11)6.2.2 关键技术 (11)6.2.3 应用效果 (11)6.3 客户满意度监测 (11)6.3.1 监测方法 (11)6.3.2 监测指标 (11)6.3.3 应用案例 (12)第七章电信网络安全与风险防范 (12)7.1 网络安全态势感知 (12)7.2 异常行为检测 (12)7.3 风险防范策略 (13)第八章产业链上下游协同 (13)8.1 产业链数据整合 (13)8.2 供应链优化 (13)8.3 产业链合作伙伴关系管理 (14)第九章电信行业大数据政策法规与标准 (14)9.1 法律法规概述 (14)9.1.1 法律法规背景 (14)9.1.2 法律法规体系 (14)9.2 数据安全与隐私保护 (14)9.2.1 数据安全 (14)9.2.2 隐私保护 (15)9.3 行业标准制定 (15)9.3.1 标准制定的重要性 (15)9.3.2 标准制定的主要内容 (15)9.3.3 标准制定的实施 (15)第十章电信行业大数据应用案例与展望 (16)10.1 应用案例解析 (16)10.1.1 客户细分与精准营销 (16)10.1.2 网络优化与故障预测 (16)10.1.3 业务创新与增值服务 (16)10.2 行业发展趋势 (16)10.2.1 5G技术驱动大数据应用 (16)10.2.2 跨行业融合加速 (16)10.2.3 数据安全与隐私保护 (17)10.3 未来应用摸索 (17)10.3.1 智能客服与虚拟 (17)10.3.2 智能家居与物联网 (17)10.3.3 人工智能与边缘计算 (17)第一章绪论1.1 行业背景分析电信行业作为国家信息化建设的重要支柱,近年来在我国得到了迅速发展。

电信行业中的大数据分析实践与创新

电信行业中的大数据分析实践与创新

电信行业中的大数据分析实践与创新电信行业一直以来都是大数据的重要应用领域之一。

大量的用户数据、通信数据、网络数据等被不断产生和积累,在电信企业中进行合理的大数据分析和创新应用,对于提升运营效率、改善用户体验、推动行业创新具有重要意义。

本文将探讨电信行业中的大数据分析实践与创新,并介绍一些成功案例以及未来发展趋势。

一、大数据分析技术在电信行业的应用大数据分析技术已经成为电信运营商的重要工具,在多个方面得到广泛应用。

1. 用户画像分析通过对用户的通信记录、消费习惯、行为轨迹等数据进行分析,可以构建用户画像,实现对用户需求的精细化洞察。

基于用户画像的分析结果,电信企业能够提供个性化的产品和服务,提高用户体验,并进行精准的市场定位和推广。

2. 业务质量优化通过对网络数据进行分析,电信企业可以实时监测和评估网络的质量和性能。

从而及时发现和解决网络故障,提供更可靠的通信服务。

此外,通过挖掘用户投诉、投诉回访等多个渠道的数据,能够针对性地改进服务质量,提升用户满意度。

3. 营销策略优化大数据分析技术可以帮助电信企业洞察用户的购买行为和偏好,分析用户的消费习惯和价值,为企业提供精准的营销策略。

通过挖掘用户的通信数据和消费数据,结合其他数据源进行关联分析,可以构建用户关系网,实现精准的市场触达和精细化的推广。

二、电信行业中的大数据创新案例1. 电信诈骗预警系统电信诈骗是世界各地电信行业面临的一大难题。

某电信运营商利用大数据分析技术构建了一套电信诈骗预警系统。

该系统通过分析用户的通信记录、地理位置、身份信息等数据,实时监测异常行为,并结合机器学习算法进行诈骗行为的预测和识别。

一旦发现可疑行为,系统将自动生成预警信息,及时通知用户进行风险提示,有效减少了电信诈骗的发生。

2. 运营商智能推荐系统为了提升用户的流量消费和增加用户粘性,某电信运营商引入了大数据分析技术,打造了智能推荐系统。

该系统基于用户的通信记录、上网行为、地理位置等数据,通过分析用户的兴趣爱好和消费习惯,自动推荐适合用户的优惠活动、增值服务等。

中国电信数据中心解决方案策划方案案列范本

中国电信数据中心解决方案策划方案案列范本一、项目背景随着信息技术的快速发展,中国电信需要建设更先进、更高效的数据中心来应对不断增长的数据存储和处理需求。

本项目旨在提供一套全面的解决方案,以满足中国电信对数据中心的需求。

二、项目目标1.提供稳定可靠的数据存储和处理能力,满足中国电信业务的需求。

2.提高数据中心的效率和性能,减少能源消耗和运维成本。

3.引入先进的技术和设备,提升数据中心的安全性和可用性。

4.保证数据中心的可扩展性,以满足未来业务的发展需求。

三、解决方案1.硬件设备:a.采用高性能服务器和存储设备,以提供快速的数据处理能力和大容量的存储空间。

b.引入虚拟化技术,通过资源的合理利用,提高服务器的利用率。

2.网络架构:a.采用高速网络设备,以提供快速可靠的数据传输。

b.利用网络分段技术,将数据中心划分为不同的区域,以提高数据的安全性。

3.系统架构:a.引入云计算技术,以提供灵活的资源分配和管理能力。

b.建立备份和灾难恢复系统,以确保数据的安全性和可用性。

4.环境管理:a.选择合适的冷却和供电设备,以确保数据中心的稳定运行。

b.引入节能技术,减少能源消耗。

五、项目实施计划1.编制详细的项目计划,包括项目启动、需求分析、解决方案设计、设备采购、系统部署和测试、运维培训等阶段。

2.按照计划逐步实施项目各个阶段,并及时跟踪和监控项目进度。

3.在实施过程中,与中国电信的相关部门保持密切沟通,及时解决问题和风险。

4.完成数据中心的建设和系统的上线,并进行运维培训。

六、项目预算和风险分析1.对项目进行预算,包括硬件设备、软件许可、人员培训、运维成本等方面的费用。

2.针对项目可能面临的风险,进行风险评估和应对策略的制定,以减少风险对项目进度和成本的影响。

七、项目收益评估1.提供更高效、更稳定的数据中心能力,以满足中国电信业务的需求。

2.提高数据中心的利用率和性能,减少能源消耗和运维成本。

3.提升数据中心的安全性和可用性,保障数据的安全和可靠。

大数据在电信运营中的应用案例

大数据在电信运营中的应用案例随着信息技术的发展和智能设备的普及,电信运营商面临着大量的数据生成和处理挑战。

然而,这些数据蕴藏着巨大的商机和价值,通过运用大数据分析技术,电信运营商可以更好地理解和满足用户需求,提高运营效率和用户体验。

以下是一些大数据在电信运营中的应用案例。

1. 营销优化电信运营商可以通过大数据分析用户行为、喜好和需求,对用户进行精准定位和分类。

运用这些数据,运营商可以针对不同类型的用户制定个性化的营销策略,提供定制化的产品和服务,从而提高用户满意度和留存率。

例如,根据用户的通话记录和短信使用情况,电信运营商可以推荐适合用户的套餐、增值业务或优惠活动,提高用户的使用黏性和忠诚度。

2. 故障预测与维护电信网络的稳定性和可靠性对运营商和用户来说都至关重要。

通过收集和分析大数据,运营商可以实时监测网络状态和设备健康状况,识别潜在故障风险,并提前采取措施进行维护和修复。

例如,基于大数据分析,运营商可以预测设备故障的发生概率以及时间,提前安排维修人员进行维护,避免网络中断和用户不满。

3. 优化网络性能大数据分析可以帮助电信运营商识别网络拥塞和瓶颈问题,并提供相应的优化方案。

通过实时监测网络流量、信号强度和用户体验数据,运营商可以发现网络瓶颈点并进行相应的优化调整,提升网络覆盖范围和性能质量。

此外,基于用户的网络使用偏好和行为数据,运营商还可以将网络资源分配优化到用户需求最大化,提供更好的网络体验。

4. 客户服务升级大数据分析可以帮助电信运营商更好地理解和解答用户的问题和需求。

通过收集和分析用户的投诉、建议以及客户服务数据,运营商可以识别痛点和瓶颈,并针对性地改进客户服务流程、提高服务效率。

例如,通过挖掘用户投诉数据,运营商可以发现常见问题并提供智能自助解决方案,为用户提供更便捷的服务体验。

综上所述,大数据在电信运营中的应用案例丰富多样。

通过运用大数据分析技术,电信运营商可以更好地了解和满足用户需求,提高运营效率和用户满意度。

电信行业中的大数据分析解决方案

电信行业中的大数据分析解决方案随着信息技术的不断发展,大数据分析已经成为了电信行业中的关键技术。

电信行业的运营商日常面临着大量的通信数据和用户数据,如何通过对这些数据的分析和挖掘,提炼出有价值的信息,成为了电信行业中的一项重大挑战。

一、大数据的定义和特点在开始讨论大数据分析解决方案之前,我们先来简要了解一下大数据的定义和特点。

大数据是指在大量的、复杂的、多样的数据集中,通过各种技术手段从中挖掘出有价值的信息。

其主要特点包括V3:大量(Volume)、多样(Variety)和高速(Velocity)。

在电信行业中,大数据的特点在于用户通信数据的海量、日益增长的速度以及数据的多样性。

用户的通信行为数据、网络设备的监控数据、运营商的营销数据以及社交媒体的数据等,都属于电信行业的大数据范畴。

二、大数据分析在电信行业中的应用1. 用户需求分析大数据分析可以帮助电信运营商了解用户的需求,从而针对性地制定产品和服务策略。

通过对用户的通信记录、用户设备的使用情况以及用户的消费行为进行分析,可以得到用户的偏好以及潜在需求,进而开展个性化的用户服务。

2. 网络优化和故障诊断大数据分析可以对电信网络进行实时监测和分析,及时发现网络中存在的问题和故障。

通过分析用户的通信质量、网络设备的运行状态以及网络流量等数据,可以帮助运营商定位并解决网络问题,提升网络的质量和稳定性。

3. 营销策略优化大数据分析可以帮助电信运营商制定更加精准的营销策略。

通过分析用户的消费偏好、用户的社交媒体行为以及用户对于不同产品的反馈,可以为运营商提供更加准确的用户画像,从而实现精准营销和减少营销成本。

4. 安全和风险管理大数据分析在电信行业中也有着重要的应用,可以帮助运营商及时发现并解决网络安全隐患。

通过对用户的通信日志、网络流量、设备行为等数据进行实时分析,可以发现潜在的攻击和异常行为,从而加强网络安全和风险管理。

三、大数据分析解决方案的关键技术要实现在电信行业中的大数据分析,关键在于掌握相应的技术和工具。

大数据分析在电信行业中的应用实践

大数据分析在电信行业中的应用实践大数据分析作为一种新兴的技术和工具,已经在各个行业中展现出巨大的潜力和影响力。

在电信行业中,大数据分析的应用也蔚然成风,为电信企业提供了更多洞察消费者需求、提高服务质量和效率的机会。

本文将探讨大数据分析在电信行业中的应用实践,以及其带来的优势和挑战。

一、市场和竞争分析电信行业面临着激烈的竞争和不断变化的市场环境。

通过大数据分析,电信企业可以更好地理解市场需求和竞争态势,为企业决策提供有力支持。

通过对大数据的挖掘和分析,电信企业可以获取用户消费行为、偏好和需求的深入了解,从而为产品开发、定价和市场推广提供指引。

二、用户行为分析电信企业积累了大量用户数据,如呼叫记录、短信记录、手机应用使用情况等,这些数据蕴藏着宝贵的信息。

通过大数据分析技术,电信企业可以深入挖掘用户行为模式和趋势,提供个性化的服务和推荐。

例如,通过分析用户的呼叫记录和短信记录,电信企业可以为用户定制更适合的套餐和服务,提高用户满意度。

三、网络优化与故障排除电信网络的性能和可靠性对电信企业来说至关重要。

大数据分析可以帮助电信企业监测网络状态、分析网络负载和预测故障风险,从而及时进行网络优化和故障排除。

通过大数据分析,电信企业可以发现网络拥堵点、对网络资源进行合理调配,提高网络性能和用户体验。

四、精准营销和客户关系管理大数据分析使得电信企业能够深入了解用户需求和消费习惯,并根据用户的个性化需求进行定向营销。

通过分析用户的消费行为、社交媒体信息和其他相关信息,电信企业可以为用户提供更精准的推荐产品和服务。

此外,通过大数据分析,电信企业还可以建立客户画像,提供个性化的客户服务和管理。

总结:大数据分析为电信行业带来了许多机遇,能够提高服务品质、增强竞争力和优化运营效率。

然而,大数据分析的应用也面临着一些挑战,如数据安全、隐私保护和技术实现等。

电信企业需要充分利用大数据分析的优势,并在应用中坚持合规和合理原则,以确保数据的安全和隐私保护。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

电信大数据解决方案及实践Telco Big-Data Solution and Experience李秋静/LI Qiujing叶云/YE Yun(中兴通讯股份有限公司,广东深圳,518057)(ZTE Corporation,Shenzhen 518057,China)结合全球多个实际案例,提出了一个电信大数据的精简方案架构。

方案结合运营商的实际应用场景,挑选合适的组件进行组合,摒弃了通用化的大平台。

大数据的发展,一要通过大数据应用提升运营效率,二要通过数据即服务(DAAS)拓展新的服务内容,提供对外服务。

在业务实施设过程中,抓取、管理和挖掘电信运营商的核心数据是基础,运营商大数据的快速部署和应用是最终目标,两者需要在效率、成本和时间上取得平衡。

大数据;电信网络;精简架构;数据即服务In this paper,we discuss a number of domestic and international big-data telecommunications architectures and propose our own lean big-data architecture.This new architecture combines the practical application scenarios of operators,and the universal large platform is abandoned.There are two directions in big-datadevelopment:improving business efficiency and providing data as a service (DaaS).Capturing,managing,and mining core data of a telecom operator is the basis forservice implementation.Rapid deployment and application of big data is the final target.A balance also needs to be struck between in efficiency,cost and time when deploying a big-data architecture.big data;telecommunications network;lean architecture;data as a service收稿日期:2013-04-27网络出版时间:2013-06-24基金项目:国家高技术研究发展(“863”)计划(2013AA01A210)DOI:10.3969/j.issn.1009-6868.2013.04.007网络出版地址:/kcms/detail/34.1228.TN.20130624.1522.004.html李秋静等电信大数据解决方案及实践ZTE TECHNOLOGY JOURNAL1电信运营商建设大数据思路及关键技术运营商的网络和用户是运营商的核心资产,而其中流动的数据(包括用户配置基础数据、网络信令数据、网管/日志数据、用户位置数据、终端信息)是运营商的核心数据资产。

对于运营商来说,最有价值的数据来自基础电信网络本身,对于基础管道数据的挖掘和分析是运营商大数据挖掘的最重要方向。

抓取、管理和挖掘这些数据是运营商的当务之急[1-2]。

运营商基于核心数据的大数据应用可从两个方面入手:(1)通过大数据应用提升自身运营效率。

比较典型的应用包括:信令多维分析、网络综合管理及分析、业务和运营支撑系统(BOSS)经营综合分析、精准营销等。

(2)通过数据即服务(DAAS)拓展新的服务内容,提供对外服务。

包括个体及群体的位置信息以及用户行为分析等,对于第三方公司(比如零售业或者咨询公司、政府等)都是非常有价值的信息。

运营商可以基于这些数据提供对外DAAS 服务,拓展市场空间。

为了构建电信运营的大数据应用,从技术能力的角度可以分为数据收集与存储、信息检索汇聚、知识发现以及智慧4个层面。

电信大数据技术层面如图1所示。

自下而上数据挖掘深度增加,难度加大,对于系统的智能需求提升。

其中关键的技术包括抽取转换装载(ETL)、并行计算框架、分布式数据库、分布式文件系统和数据挖掘、机器学习等。

面对海量的大数据,如何有效进行数据处理是需要解决的迫切问题,分布式并行处理是有效手段。

传统关系型数据库多采用共享磁盘(Sharing-disk)架构,当数据量达到一定程度,将面临处理的“瓶颈”以及扩展的困难,同时成本也偏高。

当前有效的做法是采用分布式文件系统/分布式数据库结合做分布并行处理。

目前基于开源的Hadoop 平台是业界采用较广泛的一个实现方案。

Hadoop [3]的核心思想是基于Hadoop 分布式文件系统(HDFS)存储文件或者基于HBase 数据库(也是基于HDFS),使用分布式并行计算框架MapReduce 来并行执行分发Map 操作以及Reduce 归约操作。

在Hadoop 的计算模型中,计算节点与存储节点合一。

存储数据的普通PC 服务器可以执行MapReduce 的任务。

而在李秋静等电信大数据解决方案及实践ZTE TECHNOLOGY JOURNALSharing-disk模型中,存储节点与计算节点是分离的,存储的数据需要传送到计算节点做计算。

Hadoop计算模型适合离线批处理的场景,比如Log 日志分析、文档统计分析等。

它是关系型数据库管理系统(RDBMS)的有益补充。

在私有技术上实现分布式存储和并行处理,在调用接口上与Hadoop 兼容,这是一个可行的技术方案。

这种方案可以避免上述Hadoop的缺点,同时在性能上做更多的优化。

有效的手段包括增加数据本地性(Data Locality)特性,在多次迭代的计算过程减少数据在不同节点之间的传送;使用索引和缓存加快数据的处理速度。

结合存储和计算硬件进行调优也是有效的手段,可以使用数据的分层存储,将数据分布在内存、固态硬盘(SSD)、硬盘等不同介质上[4],使得与计算资源达到很好的平衡。

面对海量数据实时性的要求,比较有效的方式是采用复杂事件处理(CEP)[5]。

实时流处理采用事件触发机制,对于输入的事件在内存中及时处理。

同时对于多个事件能合成一个事件[6]。

实时流处理需要支持规则以满足灵活的事件处理要求。

实时流处理可以使用分布式内存数据库、消息总线等机制来实现快速实时响应。

目前商用的CEP产品有不少,但是在功能、性能以及适用范围上有较大差异,选择成熟度高以及合适的产品是关键。

针对大数据中大量的半结构化或者非结构数据,NoSQL数据库应运而生。

NoSQL数据库放弃关系模型,弱化事务,支持海量存储、高可扩展性、高可用及高并发需求。

NoSQL数据库在特定应用场景下有很高的优势,是传统数据库的有效补充。

按照数据模型,NoSQL主要有四大类:键-值(Key-Value)型、列存储型、文档型、图型,它们对应不同的应用场景。

比如Key-Value型适合简单键-值对的高效查询,而图型适合社交关系的存储和高效查询。

针对大数据挖掘分析、搜索以及机器自适应学习等技术在企业系统中逐步应用。

相关的算法种类很多,当前需求较多的是分布式挖掘和分布式搜索。

由于数据类型以及数据处理方式的改变,传统ETL已经不适用。

运营商需要根据应用场景做不同的规划。

目前来说,由于运营商应用系统差别较大,尚未有一种统一的处理模式。

比较可行的一种方法是依据数据的功用以及特性做分层处理,比如大量的数据源首先做初筛,初筛完之后有部分数据进入数据仓库或者RDBMS或者其他应用。

初筛可以使用Hadoop或者CEP或者定制的方式来完成。

针对运营商的不同应用场景,需要采用不同的技术或者技术组合。

比如用户实时详单查询,数据量巨大,但是它的数据类型简单,数据以读为主,不需要复杂的Join操作,数据的分布性好。

相比传统的RDBMS,使用Hadoop可以大大提升查询性能,降低处理成本。

更多的应用可能需要多种技术的组合。

比如信令采集及多维分析,信令数据特别是分组域(PS)信令数据量大且实时性要求高,有效解决海量数据处理与实时性要求是它的关键,需要CEP与Hadoop的组合。

在当前阶段,不同的技术成熟度不一,由于业界大数据应用进展较快,我们认为当前针对不同应用的精简方案是最合适的,也就是依据应用场景,挑选最合适的组件做组合,摒弃通用化的大平台。

2中兴通讯大数据实践中兴通讯依托在云计算等领域的长期积累,针对大数据形成了一套完整的技术体系架构。

ZTE大数据技术体系架构如图2所示。

架构依据运营商的不同的应用需求,注重采用组件搭建的方式,形成端到端的精简方案。

下面以两个具体的案例进行说明。

(1)用户实时位置信息服务系统该系统实时采集蜂窝网络用户的动态位置信息,并通过规范接口提供DAAS服务。

实际工程中,当期接入的用户数达两千多万,每天用户位置更新数据可达40多亿条,高峰期更新达到每秒几十万次。

除了采集的位置,还可以结合其他数据源比如用户年龄等属性做分析,以应用编程接口(API)开放给上层应用。

此外该系统需要有良好的可扩展性,后续可以接入其他区域的数据源。

另外这套系统需要有良好的性价比,成本可控,时间可控。

依据这些需求,我们在成熟的组件K-V NoSQL数据库的基础上搭建了系统。

用户实时位置信息服务系统如图3所示。

用户实时位置信息服务系统是一个典型的精简方案,它基于分布式Key-Value NoSQL数据库的分布式缓存(DCache),组装了对位置流事件实时处理的系统。

DCache既是消息总线,也是内存数据库,能很好地满足实时性的要求。

同时DCache基于x86刀片服务器,采用分布式架构,系统的扩展性很好,成本较低。

该系统性能优越,稳定可靠,取得良好的效果。

(2)信令监测多维分析系统随着运营商数据业务快速增长,运营商对于网络质量提升、网络运营效率有着更大的压力。

通过采集网络Gn接口、Mc接口信令并加以处理分析,可以获得网络运行的完整视图,基于信令的相关专题分析,比如网络质量分析、流量效率分析、多网协同分析、客户投诉及服务分析等对于运营商网络运营有极大的价值。

信令监测多维分析的难点在于信令流量大且数据量大,比如某运营商省公司Gn接口峰值流量可以达到4Gb/s,每天信令数据可达1TB。

需要采集信令并做多种分析以服务于不同的部门。

信令监测多维分析系统采用分层的架构,便于数据共享及和应用的扩展。

信令监测多维分析系统如图4所示。

使用实时流处理满足实时性高的数据分析要求,对于会话或事务详单(XDR)初步处理完的数据采用传统RDBMS存储供后续分析查询使用。

相关文档
最新文档