电信运营商大数据发展策略探讨_黄勇军

合集下载

电信运营商大数据分析与应用研究

电信运营商大数据分析与应用研究

电信运营商大数据分析与应用研究随着互联网的高速发展,大数据已经成为了当今社会的热门话题之一。

作为一个信息社会的支撑系统,电信运营商拥有海量的用户数据和网络数据,因此,如何利用这些数据进行有效的分析和应用,已经成为了电信运营商在信息时代中的重要议题。

本文将围绕电信运营商大数据分析与应用展开讨论,并探究其对电信行业和社会的作用与影响。

一、电信运营商大数据分析1. 数据搜集与处理:电信运营商作为一个负责提供网络服务和通信服务的机构,日常运营中会产生大量的数据,如用户通话记录、短信记录、上网记录等。

电信运营商需要通过建立完善的数据搜集系统,收集、提取和存储这些海量数据,并进行必要的预处理和清洗。

2. 数据整合与统一:由于电信运营商的数据来源多样,数据格式不一致,因此需要对这些数据进行整合和统一,建立起一个统一的数据库和数据模型。

这样可以方便后续的数据分析和挖掘工作。

3. 数据分析与挖掘:电信运营商可以利用大数据分析技术来挖掘数据中潜在的信息和知识,从而为运营商的决策提供科学依据。

例如,通过分析用户通话记录和上网记录,可以了解用户的使用习惯和需求,从而提供个性化的服务和推荐。

4. 数据可视化与报表:为了方便电信运营商的管理和决策,数据分析的结果应该以可视化的方式呈现,例如通过绘制统计图表和制作报表。

这样可以让管理层更直观地了解数据背后的含义和趋势,从而做出更明智的决策。

二、电信运营商大数据应用研究1. 用户画像与营销推荐:通过对用户的行为数据进行分析,电信运营商可以建立用户画像,了解用户的兴趣偏好和消费习惯,从而精准地推送个性化的营销活动和产品推荐。

这不仅可以提高用户的满意度,还可以增加运营商的收入。

2. 业务质量监控与优化:大数据分析可以帮助电信运营商实时监控网络质量和业务性能,发现并解决网络故障和瓶颈,提升服务质量和用户体验。

例如,通过对网络流量数据的监控和分析,可以发现网络拥塞的原因,并采取相应的措施进行优化,从而提高用户的上网速度和稳定性。

电信运营商中的大数据分析与用户行为预测

电信运营商中的大数据分析与用户行为预测

电信运营商中的大数据分析与用户行为预测随着互联网的快速发展,电信运营商逐渐意识到大数据分析的重要性。

大数据分析不仅可以帮助电信运营商更好地了解用户需求,还可以预测用户行为,从而提供更加个性化的服务。

本文将探讨电信运营商中的大数据分析与用户行为预测的相关内容。

一、大数据分析在电信运营商中的应用1. 用户画像的建立电信运营商拥有海量的用户数据,通过对这些数据进行分析,可以建立用户画像。

用户画像是对用户的特征进行综合分析和描述,包括用户的基本信息、消费习惯、通信行为等。

通过用户画像,电信运营商可以更好地了解用户的需求,从而提供更加个性化的服务。

2. 产品优化与推广通过大数据分析,电信运营商可以了解用户对不同产品的偏好和使用习惯。

根据这些数据,运营商可以优化现有产品,提升用户体验。

同时,通过对用户行为的预测,运营商可以针对不同用户推广适合其需求的产品,提高产品销售和用户满意度。

3. 故障预警与维护电信网络中可能会出现各种故障,这些故障会影响用户的通信体验。

通过大数据分析,电信运营商可以实时监测网络状态,并预测可能出现的故障。

通过及时的故障预警,运营商可以采取相应的维护措施,减少故障对用户的影响。

二、用户行为预测的方法与应用1. 基于历史数据的预测电信运营商可以通过分析用户的历史数据,预测用户的未来行为。

例如,通过分析用户的通话记录和短信记录,可以预测用户的充值行为和消费习惯。

通过这种方法,运营商可以提前做好准备,为用户提供更好的服务。

2. 基于机器学习的预测机器学习是一种通过让计算机自动学习和改进的方法,可以用于用户行为预测。

电信运营商可以通过机器学习算法,分析用户的行为模式和特征,从而预测用户的未来行为。

例如,通过分析用户的上网行为和应用使用情况,可以预测用户是否会流失。

3. 基于社交网络的预测社交网络在当今社会中扮演着重要的角色,电信运营商可以通过分析用户在社交网络上的行为,预测用户的未来行为。

例如,通过分析用户在社交网络上的好友关系和互动情况,可以预测用户是否会转发某个广告或购买某个产品。

电信运营商大数据发展策略探讨_黄勇军

电信运营商大数据发展策略探讨_黄勇军

电信运营商大数据发展策略探讨黄勇军1,冯明2,丁圣勇1,樊勇兵1(1.中国电信股份有限公司广东研究院广州510630;2.中国电信集团公司北京100032)摘要:随着互联网业务和应用的迅猛发展以及移动互联网的爆炸式增长,电信运营商客户行为数据、网络运维数据、信令数据等海量数据的存储与分析日益成为电信运营商的重要挑战,大数据技术的出现与发展为电信运营商深挖数据提供了新的技术手段,同时也为其更好地服务客户提供了新的机遇。

本文结合大数据的技术现状以及电信运营商的数据特点,分析了大数据技术在电信运营商的适用性,探讨了电信运营商应用大数据的策略,并提出了一种参考性的平台架构,以推动电信运营商对大数据技术的应用。

关键词:电信运营商;大数据;策略doi:10.3969/j.issn.1000-0801.2013.03.002专题:大数据技术与应用1引言近年来,以海量数据处理为目标的大数据技术正成为新的研究热点。

尽管没有严格的定义,但大数据的4V (volume ———容量,value ———价值,velocity ———快速,variety ———多样)特点以及主流的处理技术已经基本得到认可,使用传统技术在短时间内无法处理的任务或问题目前都可归为大数据问题,相应的处理技术被称为大数据技术。

大数据技术起源于互联网公司,最初主要用于解决海量非结构化网页数据的存储、分析以及检索等问题,在设计理念上采用经济的服务器构建超大规模的集群,以获得海量的数据存储和处理能力。

与传统集群技术不同的是,在大数据解决方案下,尽管单台节点服务器的性能与可靠性不足以与高性能服务器媲美,但可以通过超大规模(上万台)集群以及冗余设计获得显著的成本和扩展优势。

大数据技术的扩展性、先进性已被Google 、微软、Yahoo 、Facebook 等顶级互联网公司所验证。

与此同时,随着电信运营商的全业务化运营以及3G 推动下移动互联网业务的爆炸式增长,电信行业的数据类Big Data Development Strategy for Telecom OperatorsHuang Yongjun 1,Feng Ming 2,Ding Shengyong 1,Fan Yongbing 1(1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China;2.China Telecom Corporation,Beijing 100032,China)Abstract:With the rapid development of internet and dramatic growth of mobile services,the storage and process of massive data are becoming a big challenge for telecom operators.Big data technologies provide a new solution for the operators to mine massive data in depth as well as a new opportunity to provide better services for their customers.The applicability of big data technologies for operators were analyzed,based on the comprehensive analysis of big data technologies and telecom operators ’data characteristics.The big data development strategy for telecom operators was discussed and a conceptual technical architecture was also proposed in order to push the application of big data technologies.Key words:telecom operator,big data,strategy7型、数据规模、数据速度、数据价值在大数据的4个维度上得到显著体现。

电信运营商的云计算策略提供创新服务的关键

电信运营商的云计算策略提供创新服务的关键

电信运营商的云计算策略提供创新服务的关键随着云计算技术的不断发展和应用,电信运营商纷纷将其引入自身的业务中,以提供更加创新的服务。

本文将探讨电信运营商的云计算策略以及提供创新服务的关键因素。

一、电信运营商的云计算策略云计算作为一种新兴的信息技术,对于电信运营商而言,拥有重要的战略意义。

电信运营商的云计算策略主要包括以下几个方面:1. 基础设施建设:电信运营商需要投资建设大规模的数据中心,以容纳海量的用户数据和计算资源。

同时,建设可靠的网络基础设施,提供高速、稳定的网络连接,保障云计算服务的可靠性和稳定性。

2. 多层次服务模式:电信运营商可以提供基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)等多种云服务模式,以满足不同用户的需求。

通过灵活的服务模式,电信运营商可以为用户提供定制化的云计算服务。

3. 开放的生态环境:电信运营商应该积极开放自身的云平台,与第三方开发者、合作伙伴进行深度合作,共同开发和推广云应用。

通过打造开放的生态环境,电信运营商能够吸引更多的创新者和开发者参与,促进云计算技术的创新与发展。

二、提供创新服务的关键因素为了实现创新服务的目标,电信运营商需要关注以下几个关键因素:1. 高质量的网络服务:作为提供云计算服务的基础,电信运营商需要提供高质量的网络服务,包括快速的带宽、低延迟和稳定的连接。

只有在网络服务达到一定水平的基础上,电信运营商才能提供稳定而高效的云计算服务。

2. 安全保障机制:云计算涉及用户的隐私数据和重要信息,因此安全性是电信运营商提供云计算服务的重要关注点。

电信运营商需要建立完善的安全保障机制,确保用户数据的安全存储和传输,以及防范网络攻击和数据泄露等安全风险。

3. 创新的应用场景:电信运营商应该积极挖掘各行各业的需求,结合云计算技术,提供创新的应用场景。

比如,在智慧城市建设中,通过云计算技术实现城市管理的智能化;在工业生产中,通过云计算技术实现智能制造和物联网应用等。

电信运营商大数据发展策略研究

电信运营商大数据发展策略研究

电信运营商大数据发展策略研究随着移动互联网技术的发展进步、大数据的出现及发展应用,面对OTT企業的不断冲击,电信运营商在大数据时代面临新的挑战和机遇。

本文首先对电信运营商的大数据发展现状进行了分析,进而研究阐述了电信运营商大数据发展应用过程中存在的问题,然后提出了电信运营商大数据发展的四个策略,以期对今后电信运营商的发展提供建议和参考。

标签:电信运营商;大数据;策略;移动互联网近年来,移动互联网和4G+技术的快速发展进步,全球数据呈现几何式增长,大数据时代已全面到来。

电信运营商是信息的运营者,在数据量上具有得天独厚的资源优势,工信部要求客户实名制以来,电信运营商的数据真实性进一步实现了质的飞跃,海量数据的挖掘分析利用对运营商的顺利转型以及快速应对OTT 企业的冲击至关重要。

4G时代,三大电信运营商是全业务的竞争,是否能够快准狠地将其拥有的海量数据资源进行准确变现对运营商的发展进步非常重要。

鉴于此,大数据在电信运营商的发展策略研究是一个很具有现实意义的课题。

1 运营商大数据发展现状电信运营商作为国民信息运营平台,在数据量和质方面均有独有的优势。

近年来,众多国内外运营商大力着手对海量数据进行挖掘分析,从而进行更好地精准营销运营,促进体制的顺利转型。

1.1 国外运营商大数据发展现状移动互联网时代,为避免逐步走向信息管道的没落结局,国外运营商已在大数据应用营销方面进行了积极探索和分析。

西班牙电信与2012年成立了大数据业务部,该部门通过分析客户行为极大的推动了与合作伙伴的进程;同年,美国Verizon成立了PrecisionMarketing Division,通过整合挖掘其自身数据、用户行为数据及第三方统计数据,助力了移动业务的精准营销和市场需求预测。

1.2 中国运营商大数据发展现状国内三大运营商也在快速推进大数据的应用项目。

从2014年到2016年中国移动、中国联通、中国电信三大运营商大数据加大投入,整体市场规模两年内从12亿元增加到100亿元。

电信企业大数据分析的应用及发展策略研究

电信企业大数据分析的应用及发展策略研究

电信企业大数据分析的应用及发展策略研究引言随着信息化技术的不断发展和电信行业的快速增长,电信企业逐渐意识到大数据分析在业务发展中的重要性。

大数据分析能够帮助电信企业从庞大的数据中发现潜在的商机,提升运营效率,满足客户需求,并制定更好的发展策略。

本文将探讨电信企业大数据分析的应用场景,以及相应的发展策略。

1. 电信企业大数据分析的应用场景电信企业作为信息流动的重要环节,积累了大量的用户数据、通信数据和基站数据等。

这些数据蕴含着宝贵的商业信息,可以通过大数据分析来进行深入挖掘。

1.1 用户行为分析电信企业可以通过对用户的通信行为进行分析,了解用户的消费趋势、偏好和需求,从而精准地推送个性化的产品和服务。

例如,通过分析用户的通话记录和短信记录,可以推测用户的社交圈子,进而将特定的社交应用推荐给用户。

此外,还可以通过用户的网络数据流量分析,了解用户对各种应用的使用情况,从而推测用户的兴趣爱好,进而进行精准广告投放。

1.2 故障预测和维护大数据分析可以帮助电信企业进行故障预测和维护,提前发现潜在的问题,避免网络故障对用户体验的影响。

例如,通过对基站数据的分析,可以预测基站设备的寿命和性能状况,提前进行设备维护和更换,确保网络的稳定性和可靠性。

同时,还可以通过对用户的信号强度和连接速率等数据的分析,发现网络覆盖和信号问题,并及时进行调整和优化。

1.3 营销策略优化大数据分析可以帮助电信企业优化营销策略,提高销售和客户满意度。

通过分析用户的消费行为和购买模式,可以进行客户细分,针对不同的客户群体采取不同的营销策略。

同时,还可以通过对竞争对手和市场趋势的数据分析,了解市场的需求和潜力,制定更好的市场推广方案。

2. 电信企业大数据分析的发展策略2.1 提升数据质量和准确性电信企业要进行大数据分析,首先需要保证数据的质量和准确性。

只有数据完整、准确、可靠,才能得出有效的分析结果。

为了提升数据质量,电信企业可以加强数据采集和存储的规范,建立完善的数据管理系统,并加强内部数据管理和清洗工作。

最新 电信运营商大数据发展策略与价值关联研讨-精品

最新 电信运营商大数据发展策略与价值关联研讨-精品

电信运营商大数据发展策略与价值关联研讨1 引言近年来随着社交网络的兴起、移动互联网的快速发展、数据传感器的大量应用,数据量出现了爆炸式的增长,大数据时代正式来临。

电信运营商在长期的运营过程中也积累了大量特有的数据,但由于种种原因,数据并没有得到很好的“价值挖掘”,如何充分利用这些数据资源,开发出能产生现金流的服务或应用,即大数据资产变现,是国内外电信运营商普遍关注的问题。

本文接下来将对此进行分析,规划电信运营商的大数据发展策略,并就实施路径给出了具体建议。

2 电信运营商的数据资源用户在通话、短信、上网等过程中,产生了大量记录,运营商由于其业务特点,积累了很多特有的数据,包括人们的身份信息、实时位置信息、上网行为信息等。

可以说,运营商记录了人们现代生活的“指纹”,如何对这些数据资源进行挖掘和分析,发挥数据的潜在价值,是当前业界人士普遍关注的问题。

如图1所示,运营商的数据主要来源于以下三个方面:(1)通信业务数据这部分数据由CRM(客户关系管理系统)、计费帐务、客服、渠道等IT (信息系统)系统在通信业务的开展过程中产生。

例如用户资料、语音、短信、数据等使用记录(话单)、费用记录(账单)、业务订购记录等。

这些数据原本的作用是提供更好的客户服务、实现更加准确和灵活的计费等,在大数据时代,它们可以被赋予更丰富的内涵。

(2)网络类数据这部分数据内容最为丰富,用户上网时的IP地址结合客户资料信息,可以很准确地追溯到人们的身份信息、家庭住址、上网时间、地点等。

DPI(Deep Packet Inspection,深度包检测)数据经过分析后,可以清楚知道用户的网络行为,比如访问过哪些网站,购买过哪些商品,从而判断出用户的兴趣及关注点。

通过移动位置信令,还可以实时地获取用户当前的所处的位置。

(3)互联网业务数据这部分数据来自Web(互联网)和App(应用程序)客户端的数据,一般通过JS(一种脚本语言)插码或SDK(Software Development Kit,软件。

运营商大数据发展策略研究_朱光军

运营商大数据发展策略研究_朱光军
切入点,也就是从有较好的信息化基础条件, 较强的大数据咨询服务需求,行业开放度较高, 数据资源整合相对容易的行业着手,开展大数 据服务试点。分析如图 2 所示。
通过分析可知,处于黄色区域内的政府公 共事业、金融 / 保险、旅游、新媒体、流通互 联网行业以及运营商自身是大数据发展初期比 较容易切入的行业。
总之,大数据对海量数据处理、存储、网络等提出 了更高要求 ;运营商面临多元异构大规模数据的采集、 整合的挑战。 1.2.2 大数据应用挑战
掌握的数据虽多,但是如何从海量数据中发掘数据 价值,应用收益是否可以抵消数据开发分析的成本,这 一系列问题也需考量。
大数据尚未确立完整的商业运营模式,现有数据应 用模式难以适应大数据持续优化的需求,显性收益和产 出严重不匹配也是困扰大数据应用的挑战。 1.2.3 大数据管理挑战
同时在合作中积累技术和运营经验,探索一条 适合自身特点的大数据发展商业模式。
3 大数据发展策略
图1 运营商大数据发展SWOT分析
势明显,但也面临新兴互联网企业强大的挑战,同时面 临隐私保护等政策方面的限制,故而在大数据发展方面 宜采用联合互联网企业,整合数据资源,进行优势互补,
3.1 行业切入点 在大数据探索发展过程中,我们需要找准
2.2 数据资产优势
成,国家信息安全保障力度加大,各电信运营企业都面
运营商拥有电信级的运营网络,庞大的 IDC 集群, 临战略转型的机遇。
具备强大的线上线下数据获取渠道、人力的资源,具备
运营商掌握用户核心数据资源,或具备获取的渠道;
保证大数据实时获取的能力,具有其他企业不具有的管 同时企业具备良好企业公信力、人力资源和资金方面也
朋友圈
欠费信息
Anyacess
接入网络类型 用户终端类型 套餐信息 网络状态、带宽
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

电信运营商大数据发展策略探讨黄勇军1,冯明2,丁圣勇1,樊勇兵1(1.中国电信股份有限公司广东研究院广州510630;2.中国电信集团公司北京100032)摘要:随着互联网业务和应用的迅猛发展以及移动互联网的爆炸式增长,电信运营商客户行为数据、网络运维数据、信令数据等海量数据的存储与分析日益成为电信运营商的重要挑战,大数据技术的出现与发展为电信运营商深挖数据提供了新的技术手段,同时也为其更好地服务客户提供了新的机遇。

本文结合大数据的技术现状以及电信运营商的数据特点,分析了大数据技术在电信运营商的适用性,探讨了电信运营商应用大数据的策略,并提出了一种参考性的平台架构,以推动电信运营商对大数据技术的应用。

关键词:电信运营商;大数据;策略doi:10.3969/j.issn.1000-0801.2013.03.002专题:大数据技术与应用1引言近年来,以海量数据处理为目标的大数据技术正成为新的研究热点。

尽管没有严格的定义,但大数据的4V (volume ———容量,value ———价值,velocity ———快速,variety ———多样)特点以及主流的处理技术已经基本得到认可,使用传统技术在短时间内无法处理的任务或问题目前都可归为大数据问题,相应的处理技术被称为大数据技术。

大数据技术起源于互联网公司,最初主要用于解决海量非结构化网页数据的存储、分析以及检索等问题,在设计理念上采用经济的服务器构建超大规模的集群,以获得海量的数据存储和处理能力。

与传统集群技术不同的是,在大数据解决方案下,尽管单台节点服务器的性能与可靠性不足以与高性能服务器媲美,但可以通过超大规模(上万台)集群以及冗余设计获得显著的成本和扩展优势。

大数据技术的扩展性、先进性已被Google 、微软、Yahoo 、Facebook 等顶级互联网公司所验证。

与此同时,随着电信运营商的全业务化运营以及3G 推动下移动互联网业务的爆炸式增长,电信行业的数据类Big Data Development Strategy for Telecom OperatorsHuang Yongjun 1,Feng Ming 2,Ding Shengyong 1,Fan Yongbing 1(1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China;2.China Telecom Corporation,Beijing 100032,China)Abstract:With the rapid development of internet and dramatic growth of mobile services,the storage and process of massive data are becoming a big challenge for telecom operators.Big data technologies provide a new solution for the operators to mine massive data in depth as well as a new opportunity to provide better services for their customers.The applicability of big data technologies for operators were analyzed,based on the comprehensive analysis of big data technologies and telecom operators ’data characteristics.The big data development strategy for telecom operators was discussed and a conceptual technical architecture was also proposed in order to push the application of big data technologies.Key words:telecom operator,big data,strategy7型、数据规模、数据速度、数据价值在大数据的4个维度上得到显著体现。

对于电信运营商来说,在不需要大量增加网络投资和运营成本的条件下,大数据体系极有可能成为未来企业新的价值增长点。

但由于电信运营商在大数据的人才方面无明显优势,且内部系统复杂,大数据技术尚未在电信运营商中得到广泛应用并发挥价值,如何在电信行业中引入大数据技术并抓住大数据的机遇为客户提供更深入的服务,是当前一个急迫的问题,本文就电信行业的大数据应用策略展开探讨。

2大数据技术框架大数据技术的核心任务可分为两种:一种是基础的大数据存取,功能上类似于传统文件系统操作或数据库操作,但规模远超传统任务;另一种是数据挖掘分析,目的是从海量的数据中挖掘出有价值的信息。

前者是较为简单的任务,是比较共性的需求,对应的大数据技术主要为分布式文件系统和分布式数据库;后者则需要通过在大数据计算平台上实现特定的算法才能完成相关任务,涉及的主要技术包括大数据计算平台和基于大数据计算平台的分布式数据挖掘技术。

(1)分布式文件系统技术大数据时代的分布式文件系统利用大量普通服务器的存储能力,提供超大规模的文件存储能力,目前典型的技术是使用集中服务器维护数据分配信息。

客户端对分布式文件系统进行存取操作时,首先通过集中服务器获得数据存取的节点以及相应分块位置,从而完成定位操作,一旦定位,数据存取就归结为普通的流读写。

此外,为了提高可靠性,数据在写入时进行冗余复制,从而保证系统具有高度的可靠性。

目前主流的分布式文件系统如Hadoop File System,多为基于Google开放的GFS技术实现。

(2)分布式数据库技术分布式数据库技术用来实现海量数据的存取,这里的数据以记录形式存在,一般具有固定的属性,有别于流式的文件数据。

分布式数据库的核心技术反映在CAP (consistency,availability,partition tolerance)定理中。

CAP定理理论上证明了任何数据库都无法同时满足一致性、可用性、分区容忍性的要求。

目前的分布式数据库放弃了传统数据库的一些特性,如事务操作,实现超大规模的数据读写能力,将分布式数据库的核心定位为<key,value>的快速存取问题。

目前主流的分布式数据库平台有Hbase、MongoDB等。

传统数据库强调严格的关系模型以及事务操作,对可用性、一致性要求很高,而分区容忍性较差,具体表现为实时性高、事务性强,但对非结构化数据的处理支持能力相对较弱,在容量的扩展性上也不如分布式数据库。

(3)分布式计算平台技术分布式计算平台是为应用程序提供并行化的计算平台,能够将计算任务自动地加载在多台机器上并执行,将相应结果进行汇总。

分布式计算平台不能支持为单机编写的普通程序,只能支持遵循其编程模式和规范的程序,即使用分布式计算平台的开发者必须根据分布式计算平台的特性自行设计任务分解方法,这也是使用分布式计算平台的主要困难所在。

目前有两种典型的分布式计算平台,介绍如下。

·实时流计算平台,支持实时流数据处理,开发者可定义每条数据的处理环节以及相应的处理方法,平台每接收到一条新数据就会自动调用不同的处理环节,以保证每条数据都被完整处理。

这种平台通过将处理环节自动部署在不同的节点上,实现并行化的处理能力。

典型的平台有Storm。

·批量式计算平台,与实时流计算平台不同,其任务输入是已经存在的数据集合,执行任务时将这些数据集合分成若干块,每块启动一个任务进行处理并自动汇总结果。

典型的平台有Hadoop MapReduce。

(4)分布式数据挖掘技术分布式数据挖掘基于分布式计算平台实现数据挖掘算法,从而支持大规模的数据挖掘分析。

将各种传统的数据挖掘算法(如聚类算法、分类算法)根据底层计算平台的要求进行并行化实现,必要时进行适当的简化以适应底层平台的要求。

典型的分布式数据挖掘算法有迭代式K-means、基于Gibbs采样的LDA以及SVM等。

经过几年的发展,以上技术已被互联网巨头公司广泛使用,并且形成了一系列开源平台,如Hadoop、Storm、Hbase、MongoDB等。

大数据技术的成本和扩展性优势已毋庸置疑,但由于大数据平台和产品最初多定位为满足互联网公司的自身需求,从可运营、可管理的角度看,尚不能完全满足运营级的产品要求,现有大数据平台往往需要深度的优化才能稳定可靠地运行。

相比一些顶级互联网公司,电信运营商在这方面起步较晚,特别是在大数据平台技术8图1电信核心数据来源示意方面,还没有形成足够的积累。

但另一方面,电信运营商在基础设施(如数据中心建设、用户网络行为分析、市场经营分析等)方面有较强的技术积累,这些积累为运营商快速应用大数据奠定了良好基础,包括提供大数据基础设施服务以及开展各种前向、后向合作运营大数据的机会。

3电信运营商的大数据适用性电信运营商的系统本质是为用户与用户、设备与设备、用户与设备之间提供通信信道,每天承载着海量信息,是互联网大数据的源头。

电信运营商大体上掌握3类数据:第1类是支撑网络运营的设备状态及资源利用率数据,这类网络运维数据与用户无关,是纯粹的信道层面的数据,对网络优化扩容极其重要;第2类是与用户紧密相关的数据,具体又包括两部分,一是相对静态的体现用户身份的账号数据,伴随着用户业务的开通产生,另一种是实时的用户行为数据、用户通话的信令数据、用户网络访问日志等,是内容层面的数据,对经营分析极为重要;第3类是增值服务类数据,如流媒体内容数据、视频监控数据、网页数据等。

图1展示了前两类数据的来源、挖掘分析的服务对象及应用价值。

第1类数据以结构化为主,处理逻辑相对简单,局限于某个区域网络,数据量也相对较小。

但在全网范围看,由于网络节点多,设备数量大,传统技术已很难实现长时段、全网级的统计分析。

由于这类数据的结构化属性较强,统计方法相对简单,使用分布式文件系统和分布式数据库技术能够基本满足数据存储和基础分析的需求。

第2类数据具有典型的大数据4V 特点,即规模大、变化速度快、价值高、类型复杂。

在规模方面,国内主流运营商的用户数达到数亿规模,用户每天的网络行为日志无疑构成海量数据,并不亚于顶级互联网公司。

在速度方面,时刻都在变化,以记录海量用户的实时行为。

在类型方面,具有典型的多样性,首先体现在数据来源方面,数据可能来自宽带网络,也可能来自无线网络或3G 网络;其次体现在结构方面,既包含结构化的用户账号数据,也包含半结构化的用户访问日志。

相关文档
最新文档