大数据研究综述

合集下载

大数据时代文献综述(一)2024

大数据时代文献综述(一)2024

大数据时代文献综述(一)引言概述:随着信息技术的不断发展和数据的大规模积累,大数据时代正以前所未有的速度产生着深远的影响。

在这个时代,大数据的应用已经渗透到诸多领域,如金融、医疗、交通等,给社会带来了诸多的机遇和挑战。

本文旨在通过文献综述的方式,介绍大数据时代的概念以及其主要特点,分析大数据对经济社会发展的影响,并总结目前相关研究的主要问题和趋势。

正文内容:一、大数据时代的概念和特点1. 大数据的定义和范围2. 大数据的四个特点:大量性、高速性、多样性和价值密度3. 大数据的数据源和采集技术4. 大数据的存储和处理技术5. 大数据的隐私与安全问题二、大数据对经济发展的影响1. 大数据在市场营销中的应用及效果2. 大数据对企业决策的支持作用3. 大数据对商业模式创新的推动4. 大数据对供应链管理的优化5. 大数据在金融行业的应用和风险管理三、大数据对社会发展的影响1. 大数据在医疗领域的应用和医疗服务的改进2. 大数据对教育领域的影响和学习模式的改变3. 大数据在城市规划和交通管理中的应用4. 大数据对环境保护与可持续发展的促进5. 大数据对政府决策与治理的影响四、大数据研究的主要问题和趋势1. 大数据的质量与准确性问题2. 大数据融合与共享的难题3. 大数据的处理与分析技术的挑战4. 大数据隐私保护的法律与伦理问题5. 大数据人才培养与研究的跨学科合作五、总结在大数据时代,大数据的产生和应用不仅带来了巨大的机遇,也带来了诸多挑战。

大数据已经对经济社会发展产生了深远影响,但同时也暴露出一系列问题。

未来,需要进一步研究与探索大数据的质量与准确性、处理与分析技术以及隐私保护等方面的问题,加强跨学科合作,培养专业人才,以更好地应对大数据时代的挑战与机遇。

文末总结。

大数据文献综述范文docx(二)2024

大数据文献综述范文docx(二)2024

大数据文献综述范文docx(二)引言概述:大数据在当前社会中扮演着重要角色。

本文综述了关于大数据的相关文献,分析了该领域的最新发展和趋势。

本文首先介绍了大数据的定义和特点,然后对大数据的应用领域进行了深入探讨,包括商业、医疗、社交媒体和智能交通等。

接着,本文讨论了大数据分析的关键技术和工具,包括数据挖掘、机器学习和云计算等。

其次,本文介绍了大数据在决策支持、市场预测和风险管理方面的应用案例。

最后,本文总结了目前大数据领域的挑战和未来发展方向。

正文:第一大点:大数据的定义和特点1. 什么是大数据2. 大数据的特点有哪些3. 大数据与传统数据的区别第二大点:大数据的应用领域1. 大数据在商业领域的应用2. 大数据在医疗领域的应用3. 大数据在社交媒体的应用4. 大数据在智能交通中的应用第三大点:大数据分析的关键技术和工具1. 数据挖掘在大数据分析中的应用2. 机器学习在大数据分析中的应用3. 云计算在大数据分析中的应用第四大点:大数据在决策支持、市场预测和风险管理中的应用案例1. 大数据在决策支持中的应用案例2. 大数据在市场预测中的应用案例3. 大数据在风险管理中的应用案例第五大点:大数据领域的挑战和未来发展方向1. 大数据领域目前面临的挑战2. 大数据未来的发展趋势总结:本文综述了关于大数据的相关文献,介绍了大数据的定义和特点,分析了大数据在商业、医疗、社交媒体和智能交通等领域的应用情况。

同时,本文讨论了大数据分析的关键技术和工具,以及大数据在决策支持、市场预测和风险管理等方面的应用案例。

最后,本文总结了当前大数据领域所面临的挑战,并展望了大数据的未来发展方向。

大数据时代 文献综述

大数据时代 文献综述

大数据时代文献综述引言概述:随着信息技术的快速发展,大数据时代已经到来。

大数据的概念是指规模大、种类多、速度快的数据集合,对数据的采集、存储、处理和分析提出了巨大挑战。

本文将通过文献综述的方式,探讨大数据时代的发展现状和未来趋势。

一、大数据的定义和特点1.1 大数据的定义:大数据是指规模大、种类多、速度快的数据集合,通常包括结构化数据和非结构化数据。

1.2 大数据的特点:大数据具有四个特点,即3V特征,即Volume(数据量大)、Velocity(数据处理速度快)、Variety(数据类型多样)、Value(数据价值高)。

二、大数据的应用领域2.1 金融领域:大数据在金融领域的应用包括风险管理、反欺诈、精准营销等方面。

2.2 医疗领域:大数据在医疗领域的应用包括个性化治疗、疾病预测、医疗资源优化等方面。

2.3 零售领域:大数据在零售领域的应用包括用户画像分析、商品推荐系统、库存管理等方面。

三、大数据技术和工具3.1 数据采集技术:大数据的采集技术包括传感器技术、网络爬虫技术、日志文件采集技术等。

3.2 数据存储技术:大数据的存储技术包括分布式文件系统、NoSQL数据库、云存储等。

3.3 数据处理技术:大数据的处理技术包括MapReduce、Spark、Hadoop等。

四、大数据时代的挑战和机遇4.1 挑战:大数据时代面临的挑战包括数据安全、数据隐私、数据质量等方面。

4.2 机遇:大数据时代带来的机遇包括数据驱动决策、商业智能、创新服务等方面。

4.3 发展趋势:大数据时代的发展趋势包括数据治理、数据可视化、人工智能与大数据的结合等。

五、大数据时代的未来展望5.1 数据科学家的需求:随着大数据时代的到来,数据科学家的需求将越来越大。

5.2 数据安全和隐私保护:在大数据时代,数据安全和隐私保护将成为重要议题。

5.3 人工智能与大数据的融合:未来,人工智能技术将与大数据技术深度融合,推动产业变革和创新。

大数据安全研究综述

大数据安全研究综述

大数据安全研究综述随着大数据技术的日益发展,大数据安全问题也越来越受到人们的关注。

本文将对近年来大数据安全研究领域的相关工作进行综述。

一、大数据安全威胁大数据安全威胁包括以下几个方面:数据泄露、数据篡改、数据丢失、隐私泄露、身份伪装等。

1.数据泄露大数据中存储的数据是企业或个人的重要信息,一旦被泄露,将会造成严重的经济和社会损失。

2.数据篡改大数据中的数据量极大,由于数据来源和数据质量的不确定性,难以确定数据的真实性和完整性。

因此,黑客或攻击者可以通过篡改数据来达到各种目的。

3.数据丢失大数据的存储方式和传输方式非常复杂,不可避免地会出现数据丢失的情况,特别是在数据备份方面存在巨大的难度。

5.身份伪装攻击者可以通过伪装身份来获取机密信息,并且很难被发现。

因此,在大数据环境下,身份验证和访问控制显得非常重要。

二、大数据安全技术目前,针对大数据安全威胁,研究者们提出了一系列解决方案。

1.加密技术加密技术是目前最基本的安全技术,可以保证数据在传输过程中的隐私性和机密性。

在大数据存储和传输方面,加密技术可以通过数据加密、会话加密、磁盘加密等方式来实现。

2.访问控制技术访问控制技术是大数据安全技术中非常重要的一部分,可以帮助用户进行身份验证和权限控制。

目前,常见的访问控制技术包括基于角色的访问控制、基于身份的访问控制、基于属性的访问控制等。

3.数据备份和恢复技术数据备份和恢复技术是保证大数据可靠性和稳定性的关键技术,可以帮助用户尽快从数据丢失或硬件损坏等情况中恢复数据,并且保障数据的一致性。

4.数据脱敏技术数据脱敏技术可以避免敏感数据的泄露,主要包括数据加密、数据掩码、数据消毒等方法。

5.远程监控技术远程监控技术可以对大数据系统进行全面监控,及时捕捉安全漏洞和攻击行为,保障大数据的安全性。

6.智能安全威胁分析技术智能安全威胁分析技术可以通过对大数据进行深度分析和挖掘,发现安全威胁和异常行为,提高安全防护的能力。

大数据技术研究综述

大数据技术研究综述

⼤数据技术研究综述⼤数据技术研究综述摘要:⼤数据是继云计算、物联⽹之后IT 产业⼜⼀次颠覆性的技术⾰命。

⽂中介绍了⼤数据的概念、典型的4“V”特征以及⼤数据的关键技术,归纳总结了⼤数据处理的⼀般流程,针对其中的关键技术,如MapReduce、GFS、Hadoop以及NoSQL等,介绍了基本的情况。

最后,本⽂对⼤数据时代做了总结与展望。

关键词:⼤数据;数据处理技术;云计算当⼈们还在津津乐道云计算、物联⽹等主题时,⼀个崭新的概念——⼤数据横空出世。

⼤数据是继云计算、物联⽹之后IT产业⼜⼀次颠覆性的技术⾰命,对国家治理模式、企业决策、组织和业务流程,以及个⼈⽣活⽅式等都将产⽣巨⼤的影响。

⼤数据的挖掘和应⽤可创造出超万亿美元的价值,将是未来IT 领域最⼤的市场机遇之⼀,其作⽤堪称⼜⼀次⼯业⾰命[1]。

我们⾝处数据的海洋,⼏乎所有事物都与数据有关,环境、⾦融、医疗……我们每天都在产⽣数据,打电话、发短信、进地铁站安检、进办公楼刷卡、在QQ 上聊天、上淘宝⽹购物……⼤量数据实时地影响我们的⼯作、⽣活乃⾄社会发展。

数据成为与⾃然资源、⼈⼒资源同样重要的战略资源,引起了科技界和企业界的⾼度重视。

1⼤数据的概念⼤数据本⾝就是⼀个很抽象的概念,提及⼤数据很多⼈也只能从数据量上去感知⼤数据的规模,如:百度每天⼤约要处理⼏⼗PB 的数据;Facebook 每天⽣成300 TB以上的⽇志数据;据著名咨询公司IDC 的统计,2011年全球被创建和复制的数据总量为1.8 ZB(1021) ,但仅仅是数据量并不能区分⼤数据与传统的海量数据的区别。

在2008年《Science》杂志出版的专刊中,⼤数据被定义为“代表着⼈类认知过程的进步,数据集的规模是⽆法在可容忍的时间内⽤⽬前的技术、⽅法和理论去获取、管理、处理的数据”[2]。

⼤数据不是⼀种新技术,也不是⼀种新产品,⽽是⼀种新现象,是近来研究的⼀个技术热点。

⼤数据具有以下4个特点,即4个“V”:(1) 数据体量(V olumes) 巨⼤。

大数据研究综述

大数据研究综述

大数据研究综述介绍随着科技的不断发展和普及,大数据变得越来越重要。

大数据提供了一个巨大的机会来寻找和发现有价值的信息并抵消业务和市场方面的风险。

在本篇综述中,我们将介绍目前关于大数据研究的一些最新成果和发现。

大数据概述大数据指的是一组数据,这些数据是巨大的、复杂的、需要高效处理的。

传统的数据处理方法已经无法胜任对大数据的处理。

最初的大数据处理需要在分布式系统上进行。

现在,与普通数据相比,大数据的主要特征是四个“V”:Volume(大量的数据),Variety(多样性),Velocity(高速传输),Verification(真实性验证)。

这些特点要求我们在处理大数据时应注意到。

大数据技术的迅速发展使得大数据应用场景不断拓展。

目前,大数据处理在电子商务、金融、医疗、云计算等领域已经得到应用。

在这些领域,大数据技术的应用可以带来很多价值。

大数据处理大数据到来之后,其处理方法也在不断变化。

当前的一些大数据处理方法和技术包括:分布式系统分布式系统被广泛应用于大数据处理。

在分布式系统中,接收数据的节点将数据分成若干部分并分配给不同的节点进行处理。

存储技术存储技术非常重要,当前大数据存储技术包括分布式存储、云存储、内存存储等。

分布式存储是当前最流行的一种存储方式。

数据挖掘数据挖掘是大数据处理中的一个重要步骤。

它包括数据预处理、数据分析、数据挖掘等步骤以获取有价值的信息。

机器学习机器学习是另一个重要的大数据处理方法。

它通过多种算法来分析数据,从而能够做出预测和判断。

大数据应用大数据处理方法对于商业和科学等领域都有重要的应用。

目前,有很多大数据分析应用,包括数据预测、数据侦查和数据分析。

商业分析商业领域是大数据分析的主要应用领域之一。

大数据处理可以为企业提供全面的市场和客户分析,以满足其业务需求。

在这个领域,大数据技术的应用涉及到很多方面,包括市场细分、产品开发和销售等。

科学研究在科学研究领域,大数据处理技术可以被用于数据挖掘、保护和数据分析。

大数据文献综述(一)

大数据文献综述(一)

大数据文献综述(一)引言概述:大数据是当前信息技术发展的热点,它以巨大规模的、多种类型的数据集为基础,通过创新的处理和分析方法,揭示出隐藏在数据背后的规律和价值,对于推动社会经济的发展具有重要作用。

本文旨在对大数据的相关文献进行综述,系统梳理大数据的定义、特点、应用领域等方面的研究成果,为深入理解和应用大数据提供参考依据。

正文内容:一、大数据的定义与特点1. 大数据的定义:从数据量、速度、多样性等方面阐述大数据的底线。

2. 大数据的特点:探讨大数据的海量、高维、真实、价值等特点,以区别于传统数据。

二、大数据的技术基础1. 大数据的存储技术:介绍分布式文件系统、NoSQL数据库等存储大数据的技术手段。

2. 大数据的处理技术:讨论MapReduce、Hadoop等大数据处理框架及其应用场景。

三、大数据的应用领域1. 金融领域:探索大数据在风险评估、投资决策等方面的应用。

2. 医疗领域:分析大数据在疾病预测、基因分析等方面的应用案例。

3. 零售领域:剖析大数据在市场分析、用户行为预测等方面的应用。

4. 媒体领域:阐述大数据在舆情分析、个性化推荐等方面的应用。

四、大数据的挑战与机遇1. 数据隐私与安全问题:探讨大数据背后存在的隐私泄露和数据安全问题。

2. 数据质量与整合问题:分析大数据链路中可能出现的数据质量不确定性和信息孤立问题。

3. 人才缺口与资源投入问题:讨论大数据技术人才与资源投入不足的挑战。

五、大数据的未来发展趋势1. 人工智能与大数据:探讨人工智能与大数据的紧密结合,推动大数据应用走向智能化。

2. 数据驱动的企业发展:分析数据驱动型企业的兴起和发展趋势。

3. 数据治理与合规性问题:讨论大数据时代下数据治理与合规性的重要性。

总结:本文通过对大数据的定义、特点、技术基础、应用领域、挑战与机遇以及未来发展趋势的综述,为读者提供了深入了解大数据的基础知识和前沿动态的参考。

随着信息技术的不断发展,大数据将继续引领社会变革的浪潮,为各行业创造更多的机遇与挑战。

大数据研究综述

大数据研究综述

大数据研究综述近年来,随着互联网技术、云计算技术和人工智能技术的快速发展,大数据已成为一个热门话题,引起了广泛的关注和研究。

本文对大数据的研究现状和发展趋势进行综述,旨在探讨大数据对各个领域的影响和应用前景。

一、大数据的定义和特点大数据指的是规模庞大、类型多样、增长迅速的数据集合。

其特点主要包括四个方面:1.规模巨大:大数据集合包含了海量的数据,数据量远超人的处理能力。

2.多样性:大数据涵盖了结构化数据、半结构化数据和非结构化数据等多种数据形式。

3.增长快速:大数据的增长速度非常快,随着互联网和物联网的发展,数据量呈爆发式增长。

4.价值密度低:大数据中的价值信息通常被淹没在大量的无用信息中,需要通过技术手段进行有效提取。

二、大数据的研究领域大数据的研究涉及多个领域,包括数据挖掘、机器学习、人工智能、云计算等。

下面将对其中的几个主要领域进行简要介绍。

1.数据挖掘:数据挖掘是从大数据中发现并提取潜在价值信息的过程。

它涉及数据预处理、特征选择、模型构建等多个方面,是大数据研究的重要组成部分。

2.机器学习:机器学习是让机器通过学习数据来模拟和改进自身性能的过程。

在大数据的背景下,机器学习可以通过对大数据的分析和学习,实现模型的训练和优化。

3.人工智能:人工智能是模拟人类智能行为的一门科学。

在大数据的支持下,人工智能可以通过对大数据的分析和学习,实现语音识别、图像识别、自然语言处理等复杂任务。

4.云计算:云计算是一种通过网络提供计算资源和服务的方式。

在大数据的背景下,云计算可以通过构建分布式存储和计算平台,实现大规模数据的存储和处理。

三、大数据的应用领域大数据的应用领域非常广泛,涉及经济、医疗、教育、能源等多个领域。

下面将对其中的几个典型应用领域进行介绍。

1.经济领域:大数据可以通过对市场、消费者等数据的深入分析,帮助企业进行市场预测、消费行为分析、供应链优化等,提升经济效益。

2.医疗领域:大数据可以通过对医疗记录、基因数据等的分析,帮助医生进行精准诊断、药物研发等,提升医疗水平。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

大数据文献综述随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现,以及云计算、物联网等技术的兴起,数据正以前所未有的速度在不断地增长和累积,国际数据公司( IDC) 的数字宇宙研究报告称[1]:2011 年全球被创建和被复制的数据总量超过1. 8ZB,且增长趋势遵循新摩尔定律( 全球数据量大约每两年翻一番) ,预计 2020 年将达到 35ZB.与此同时,数据复杂性也急剧增长,其多样性、低价值密度、实时性等复杂特征日益显著,大数据时代已经来到。

学术界、产业界甚至于政府机构都已经开始密切关注大数据问题,并对其产生浓厚的兴趣。

一、大数据国内外发展现状对于学术界,1989 年在美国底特律召开的第 11 届国际人工智能联合会议专题讨论会上,首次提出了“数据库中的知识发现(KDD)”的概念。

在1995年召开了第一届知识发现与数据挖掘国际会议,随着与会人员的增加,KDD国际学术成为年会。

大数据的兴起,主要是国际顶尖期刊《Nature》早在2008年推出了Big data专刊[2]。

计算社区联盟(computing community consortium ) 在2008年发表了报告“big data computing:creating revolutionary breakthroughs in commerce, science and society ”[3],阐述了在数据驱动的研究背景下,解决大数据问题所需的技术以及面临的一些挑战。

《science》在2011年2月推出专刊“dealing with data ”[4],主要围绕着科学研究中大数据的问题展开讨论,说明大数据对于科学研究的重要性.美国一些知名的数据管理领域的专家学者则从专业的研究角度出发,联合发布了一份白皮书《challenges and opportunities with big data》[5]。

该白皮书从学术的角度出发介绍了大数据的产生,分析了大数据的处理流程,并提出大数据所面临的若干挑战。

全球知名的咨询公司麦肯锡(McKinsey )2011年6月份发布了一份关于大数据的详尽报告“big data :the next frontier for innovation , competiton,and productivity”[6],对大数据的影响、关键技术和应用领域等都进行了详尽的分析。

进入2012年以来,大数据的关注度与日俱增1月份的达沃斯世界经济论坛上,大数据是主题之一,该次会议还特别针对大数据发布了报告“big data,big compat :new possibilities for international development”[7],探讨了新的数据产生方式下,如何更好地利用数据来产生良好的社会效益.该报告重点关注了个人产生的移动数据与其他数据的融合与利用.3月份美国奥巴马政府发布了“大数据研究和发展倡议”[8](big data research and development initiative),投资2亿以上美元,正式启动“大数据发展计划”.计划在科学研究、环境、生物医学等领域利用大数据技术进行突破.奥巴马政府的这一计划被视为美国政府继信息高速公路计划之后在信息科学领域的又一重大举措.与此同时,联合国一个名为“global pulse ”的倡议项目在今年5月发布报告“big data for development :challenges or opportunities”[9],该报告主要阐述大数据时代各国特别是发展中国家在面临数据洪流(data deluge)的情况下所遇到的机遇与挑战,同时还对大数据的应用进行了初步的解读.《纽约时报》的文章“the age of big data ”[10]。

则通过主流媒体的宣传使普通民众开始意识到大数据的存在,以及大数据对于人们日常生活的影响。

在产业界,经济利益成为主要的推动力,IBM、ORACLE、微软、谷歌、亚马逊、Facebook、Teradata、EMC、惠普等跨国巨头也因大数据技术的发展而更加具有竞争力[11]。

仅2009 年一年,谷歌公司通过大数据业务对美国经济贡献540 亿美元;2005 年以来,IBM 投资160 亿美元进行30 多次与大数据相关的收购,使业绩稳定高速增长,2012 年,IBM 股价每股突破200 美元大关,3 年内翻了3 番;eBay 通过数据挖掘精确计算出广告中每个关键字带来的回报,2007 年以来,广告费降低了99%,同时顶级卖家占总销售额的百分比上升至32%;2011 年,Facebook 首次公开新数据处理分析平台PUMA,通过对数据多处理环节区分优化,相比之前单纯采用Hadoop 和Hive 进行处理的技术,数据分析周期从2 天降到10 秒以内,效率提高数万倍。

与国外相比,我国大数据的发展还稍落后。

我国国家自然科学基金于1993 年首次支持对数据挖掘领域的研究项目。

1999 年,在北京召开第三届亚太地区知识发现与数据挖掘国际会议(PAKDD),收到论文158 篇。

2011 年,第十五届PAKDD 在深圳举办,会议就数据挖掘、知识发现、人工智能、机器学习等相关领域的主题进行交流讨论,反响热烈。

2012 年5 月,香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科?”为主题的第424 次学术讨论会,来自国内外35 个单位横跨IT、经济、管理、社会、生物等多个不同学科领域的43 位专家代表参会,并就大数据的理论与工程技术研究、应用方向以及大数据研究的组织方式与资源支持形式等重要问题进行了深入讨论。

6 月,中国计算机学会青年计算机科技论坛(CCF YOCSEF)举办了“大数据时代,智谋未来”学术报告会,决定成立大数据专家委员会,就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。

2012 年10月,成立了首个专门研究大数据应用和发展的学术咨询组织--中国通信学会大数据专家委员会,推动了我国大数据的科研与发展。

2012 年11 月,“Hadoo p 与大数据技术大会”以“大数据共享与开放技术”为主题,总结了八个热点问题:数据科学与大数据的学科边界、数据计算的基本模式与范式、大数据的作用力和变换反对、大数据特性与数据态、大数据安全和隐私问题、大数据对IT 技术架构的挑战、大数据的生态环境问题以及大数据的应用及产业链。

大会还成立了“大数据共享联盟”,旨在搜集大数据、展示大数据、促进大数据的研究与开发。

在产业界,国内主要以百度、腾讯、华为、淘宝、中国移动等企业为首的大数据布局与商业活动。

百度作为中国最大的搜索引擎,在中国和中文互联网领域各项排行中不是最大就是最多。

2012年,百度日均抓取约10亿网页,处理超过100PB(1PB=1024TB)的数据。

过去10年,百度网页搜索库已从500万猛增到了500亿个页面。

从公开的材料看,百度的大数据战略往往与云计算绑定在一起,强调大数据储存与处理能力。

2011年8月,百度宣布将用三年的时间建立一个全国最大的数据中心,并且主打“绿色”。

通过对大数据流量的把握,百度经过设计,降低设备能耗、减少服务器、日间侧重商业业务、夜间侧重数据业务,从而让“百度的单体十万台服务器的数据中心,PUE每降低0.1,一年就可为百度节省上千万元的成本。

”腾讯自称“目前中国最大的互联网综合服务提供商之一,也是中国服务用户最多的互联网企业之一”,拥有超过7.52亿QQ 即时通讯活跃账户,1亿微信用户、4.25亿微博用户和超过1亿的视频用户。

在积累了个人用户多方面的海量数据后,2012年腾讯提出了“大数据营销”的概念。

腾讯网总编辑陈菊红表示“将从这些海量数据中挖掘、分辨出用户的行为模式、兴趣偏好等,打造专属于每个人的智慧门户。

” 腾讯不仅在各大产品线中都设置了数据挖掘团队,还在和一些第三方数据挖掘公司、营销公司展开合作洽谈,充分挖掘用户在网上的行为、关系、UGC(用户产生的内容)等数据,“通过合理的方法找到对企业有帮助的数据,并且将营销预算合理的分配在为数众多的数据来源平台上”,从而提高营销效率。

2011年4月腾讯追加在天津的数据中心建设投资,欲建立亚洲最大的数据储备处理中心。

相比中国用户最多的两家互联网企业,淘宝在大数据方面的举措丝毫不逊色,因为几乎所有淘宝业务都依赖淘宝数据库。

每天大约有6000万用户登录淘宝网,约20亿页面浏览量(PV)。

淘宝所使用的OceanBase分布式数据库,在基准数据和增量数据基础上,实现不同部门对数千亿条记录、数百TB数据上的跨行跨表事务共同完成,并支持每天4000~5000万的更新操作。

早在2009年淘宝便自建大型数据库,并通过对全国淘宝购买数据的挖掘发布了2011年淘宝中国地图,对其掌握的大量用户交易数据进行了形象的展示。

在利用大数据为提高用户购物体验的旗号下,淘宝根据长尾原理充分利用大数据挖掘技术,建设开放平台,提供各种增值服务。

中国移动作为中国最大的移动通讯运营商,截至2012年4月底,中国移动用户数已经达到6.7亿。

同时,中国移动正在谋求从移动运营商的管道角色向客户端制造和云端服务两个方向发展。

而大数据业务的投入,为此提供了机遇。

2011年第四季度中国移动先后与内蒙古自治区和黑龙江省签署合作协议,在呼和浩特、哈尔滨建设全国规模最大、技术最先进、能耗最低定在成都建立西部最大数据中心,完成了其在国内数据中心的三大数据基地布局。

通过对国内外学术期刊SCI与SSCI检索研究中发现,目前国外对大数据的研究主要集中在如何进行大数据的存储、处理、分析以及管理的技术及软件的应用上,而关于大数据与管理科学的结合几乎很少,国内学者对大数据的研究主要集中大数据的商业模式的探讨、大数据分析处理技术、大数据的应用领域等,而对关于大数据与云计算结合的研究几乎处于理论摸索阶段。

二、大数据的国内外研究综述对于大数据的定义,学术界和产业界目前尚未形成公认的准确定义。

维基百科的定义[12]:大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的信息。

麦肯锡的定义[13]:大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。

权威 IT 研究将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”[14]。

美国国家科学基金会( NSF) 则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”[15]。

相关文档
最新文档