网络大数据现状与展望
“十三五”大数据产业发展回顾及“十四五”展望

“十三五”大数据产业发展回顾及“十四五”展望作者:王磊来源:《中国经贸导刊》2020年第31期一、“十三五”以来我国大数据产业发展成效“十三五”以来,中央和各级地方政府高度重视大数据产业发展,纷纷将其作为培育经济发展新动能、再造产业新优势、提升政府治理能力的重大战略举措,推动我国大数据产业快速发展。
(一)产业发展政策体系持续完善近年来,为促进大数据产业发展,中央和各级地方政府分别制定出台了一系列政策,形成了由国家战略、行动纲要、发展规划、指导意见、实施方案等构成的、比较完备的政策支持体系。
2016年,《国家“十三五”规划纲要》正式提出实施国家大数据战略,同年12月,工信部发布《大数据产业发展规划(2016—2020年)》,从国家层面对大数据产业发展进行了系统谋划。
2017 年 10 月,党的十九大报告中提出推动大数据与实体经济深度融合,进一步明确了大数据产业发展路径。
2020年,中共中央、国务院相继颁布《关于构建更加完善的要素市场化配置体制机制的意见》和《关于新时代加快完善社会主义市场经济体制的意见》强调要推进数据要素市场建设,推进数据要素市场化配置,为大数据产业发展夯实市场微观基础。
地方层面上,全国各级地方政府从落实国家战略和地方发展需要出发,基本上都陆续制定了支持大数据产业发展的规划、行动计划和实施意见等政策文件。
(二)网络和数据基础设施持续完善“十二五”末以来,我国网络和数据基础设施建设不断提速,为大数据产业加快发展提供了强有力的物质支撑。
网络基础设施方面,云网端一体化部署步伐加快,4G覆盖率不断提升,5G加速商用化,推动网络基础设施核心支撑能力显著提升。
截至2019年底,全国光缆线路总长度达4750万公里,互联网宽带接入端口“光进铜退”趋势明显。
互联网宽带接入端口数量达到9.16亿个,比2014年末净增5.1亿个,同期,光纤接入(FTTH/0)端口净增6.73亿个,占互联网接入端口的比重由40.4%提升至91.3%;4G基站总数则由85万个增长至544万个,占全部移动基站的比例由24.21%增至64.68%。
信息系统的发展趋势和前景展望

信息系统的发展趋势和前景展望信息系统是在当今社会中扮演着至关重要的角色,它们的发展趋势和前景展望备受关注。
随着技术的不断进步和社会的不断发展,信息系统在各个行业中的应用呈现出了许多新的趋势和前景。
本文将探讨信息系统的发展趋势以及其未来的前景展望。
一、大数据分析随着互联网的飞速发展和智能设备的普及,每天产生的数据量呈直线上升的趋势。
这些海量的数据对于企业来说是一笔巨大的财富。
信息系统的发展趋势之一就是将大数据分析应用到各个行业中。
通过对大数据的深入分析,企业可以更好地了解消费者的需求,改进产品设计,优化供应链管理,提高效率和竞争力。
二、云计算和移动化云计算和移动化正成为信息系统的另一大趋势。
云计算提供了强大的计算和存储能力,使得企业可以更加灵活地管理和利用自己的数据。
同时,移动设备的普及也加速了信息系统向移动化的转变。
通过移动应用和云端服务,人们可以随时随地访问和共享信息,提高工作效率和生活便利性。
三、人工智能和机器学习人工智能和机器学习技术的迅猛发展将进一步推动信息系统的进步。
人工智能可以模拟人类的智能,通过学习和训练,使计算机具备了一定的自主决策能力。
在信息系统中,人工智能和机器学习技术可以应用于数据分析、预测和优化等场景,大大提高了系统的智能化水平,为企业决策提供更加可靠和准确的支持。
四、网络安全和隐私保护随着信息系统的广泛应用,网络安全和隐私保护问题日益突出。
信息系统的发展趋势之一就是加强网络安全和隐私保护。
企业和组织需要加强对网络攻击和数据泄露的防范,采取有效的安全措施保护企业和用户的信息安全。
五、物联网与智能化物联网作为信息系统发展的一个重要方向,正快速崛起。
物联网通过将各种物理设备互联互通,实现设备之间的信息共享和远程控制。
随着物联网技术的发展,智能家居、智能交通、智能制造等行业的发展前景广阔,将进一步推动信息系统的智能化水平。
综上所述,信息系统的发展趋势和前景展望十分广阔。
大数据分析、云计算和移动化、人工智能和机器学习、网络安全和隐私保护、物联网与智能化等方面的技术创新将进一步推动信息系统的发展。
中国数字化转型现状和趋势分析

中国数字化转型现状和趋势分析随着全球数字化浪潮愈演愈烈,中国也正积极推进数字化转型。
截至2021年,中国已经成为全球最大的数字经济市场之一,数字化转型取得了一定的成效。
然而,数字化转型的路程不断演化和深化,中国数字化转型还存在着许多挑战和机遇。
本文将对中国数字化转型的现状和趋势进行分析,旨在为读者提供更深入了解中国数字化转型的视角。
一、数字化转型的概念和意义数字化转型是指利用数字技术以及数字化思维和方法,对传统的物质资产、生产制造、业务模式、组织架构、商业模式等进行全面升级和转变,以实现创新、便利、高效和可持续的发展。
数字化转型能够带来如下几个方面的意义:1. 提高效率: 数字化转型可以排除人力劳动和人为瑕疵,减少时间成本、能源成本、人力成本、质量成本,并提高响应速度和反应效率。
2. 优化客户体验: 通过数据分析和个性化需求满足,数字化转型可以更好地了解市场,优化客户体验和产品设计,提高用户留存率和产品满意度。
3. 促进产业转型: 数字化转型可以创造新产业和新业态,推动产业转型和经济发展,提高国家竞争力和科技创新能力。
4. 实现数字治理和社会管理: 数字化转型可以提高政府和企业的数字化治理和社会管理能力,提高公共服务能力和社会信任度,重构社会关系和治理体系。
二、中国数字化转型的现状和趋势截至2021年,中国数字化转型已经取得了一定的成效,表现在各个方面。
以下从技术、产业、市场和政策四个方面进行分析:1. 技术方面: 在技术方面,中国数字化转型的核心是以人工智能、5G、大数据和云计算等为代表的技术革新。
五G网络的稳定推进和全面普及、大数据应用和产业生态的形成、云计算的算力提升和降本增效,以及人工智能技术的快速发展和广泛应用,都为中国数字化转型提供了技术上的支撑。
依托这些技术,中国数字经济增长速度超过GDP增速,数字经济规模高达38.6万亿元。
2. 产业方面: 在产业方面,中国数字化转型的核心是以电商、物联网、人工智能、智能制造等为代表的新产业生态的形成和发展。
新一代信息技术的发展趋势与展望

新一代信息技术的发展趋势与展望随着新一代信息技术的发展,未来的世界将更加智能化、数字化和互联化。
无论是人工智能、大数据、物联网还是区块链等技术都将深刻影响未来的工作和生活方式。
一、人工智能人工智能是新一代信息技术中最受瞩目的技术之一。
它将彻底改变传统产业和商业模式。
人工智能需要大量的数据和算力支撑,而这些资源在未来将更加便宜和普及,使得人工智能的应用场景越来越广泛。
未来,人工智能将帮助人类解决更加复杂和繁重的工作。
例如,智能机器人已经在工业领域广泛应用。
在医疗领域,人工智能可通过分析大规模数据,提高疾病诊断的准确性和速度;在教育领域,人工智能还可辅助教师识别学生的学习难点和提供更个性化的学习方案。
二、大数据大数据是另一项重要的新一代信息技术。
大数据的出现可以帮助企业更准确地了解市场趋势和消费者需求,从而提高产品和服务的质量。
另外,大数据还可以帮助政府更快地响应社会问题,如卫生、教育和交通等领域。
未来,大数据将更加普及,数据采集和分析技术将越来越成熟。
通过大数据分析,人们将更加了解自己的身体状况,企业将更加精准地定位市场和客户,政府部门也将更加了解社会状况,从而提高决策的准确性和效率。
三、物联网物联网是指通过互联网络连接各种物品和设备,并向云端传输数据,在物品和设备之间实现无缝互动和信息交流。
未来,物联网将深刻改变未来的生活和工作方式。
通过物联网,人们将可以通过手机或其他设备来实时控制家庭电器,如空调、灯光和洗衣机等,从而实现智能家居。
在工业领域,物联网也可实现机器之间的自动化协同,提高产品质量和生产效率。
四、区块链技术区块链是一项去中心化、不可篡改、安全可信赖的分布式账本技术。
它将完全改变现有的交易方式和模式。
未来,区块链技术有望广泛应用于金融、物流、教育、医疗和社交等领域。
区块链技术的应用可以让交易更加安全和透明。
例如,金融领域的数字货币交易,离线实体资产的数字化登记和转让等。
随着区块链技术的不断发展和完善,未来的交易方式将会更加便捷和智能。
大数据中个人信息保护现状与改进对策

行业自律与标准
01
各行业纷纷建立自律机制,制定 行业标准和规范,加强个人信息 保护的内部管理。
02
一些行业组织还开展了个人信息 保护认证和评估工作,提高企业 和公众对个人信息保护的重视程 度。
技术手段与措施
采用加密技术、匿名化处理等手段保护个人信息的 安全性和隐私性。
个人信息保护的重要性
个人信息涉及隐私、安全、财产等多方面权益,保 护个人信息对于维护个人权益、促进数字经济发展 具有重要意义。
大数据技术带来的挑战
大数据技术的广泛应用使得个人信息保护面临前所 未有的挑战,如数据泄露、滥用、非法交易等问题 频发。
汇报目的和范围
目的
分析当前大数据环境下个人信息保护的现状及存在的问题,提出 针对性的改进对策,为政府、企业和个人提供参考。
促进国际合作与交流
加强国际合作与交流,共同应 对大数据时代的个人信息保护 挑战。
THANK YOU
感谢聆听
明确个人信息的定义、范围,以及信息处理者的义务和权利等,为个人信息保护提供更有 力的法律保障。
加强法律执行力度
建立专门的个人信息保护监管机构,加强对违法行为的打击力度,确保法律法规得到有效 执行。
推动国际合作与交流
积极参与国际个人信息保护规则的制定和合作,借鉴国际先进经验,共同应对跨国个人信 息保护问题。
人工智能技术在大数据处理中的应用,可能带来新的隐私保护挑 战。
区块链与数据安全
区块链技术在大数据安全领域的应用,为数据安全提供了新的解决 方案,但也存在技术和管理上的挑战。
物联网设备的安全与隐私
物联网设备在大数据采集中的广泛应用,其安全和隐私问题也日益 凸显。
大数据时代企业管理中信息安全研究的现状与展望张琪 刘斯

大数据时代企业管理中信息安全研究的现状与展望张琪刘斯摘要:当前随着我国社会经济高速发展,网络技术日益先进,并在各行各业获得了广泛的应用。
但大数据技术的应用也暴露出诸多的安全隐患,受到网络安全问题的影响,不利于企业信息化工作的开展。
究其原因导致此类问题的主要因素在于技术以及管理等两个方面。
因此需重视企业信息安全管理,并更好地应对大数据环境下所带来的安全问题。
因此加强大数据时代下企业信息安全管理模式研究具有重要的意义。
关键词:大数据时代;企业管理;信息安全;现状;展望1引言信息安全涉及网络通信、密码技术、中端设备、数据传输与运用等诸多学科,是一项综合性应用课题。
广义上说,有关网络信息保密性、完整性、真实性、可控性的技术和理论,都是网络信息安全所关注和研究的领域。
在实际应用中,网络信息安全更多地指向构成网络闭环的硬件、终端传输及其系统中的数据,如何使这些数据资源不受偶然(或者恶意)的原因破坏、失真、更改或泄露,确保系统连续可靠、正常有序地运行。
2大数据基本涵义大数据恰当正确地运用,能改善社会生产管理环境,提高数据采集收集能力及共享效率,实现数据多元化发展。
大数据简而言之就是融合了社会一切数据,汇集了海量数据信息。
所谓的大数据其实就是通过利用特定先进设备进行收集与管理,数据库所涉及的内容包罗万象,具备了超强的信息处理能力,能解决数据应用管理过程中所出现的多种问题,能改变当前人们的管理方式,运用数据库开展一切社会生产管理工作,提高数据应用管理效率与质量。
从当前我国社会生产发展情况来看,如今大数据技术与运用已经渗透到社会方方面面,而且每时每刻都对生产与人们生活产生很重大的影响,并且也为人们出行、工作、生活等提供了许多方便。
但是,大数据技术还是一种比较新的技术,因此,对大数据技术监管过程中难免不会出现很多不足,这些因素就会影响到人们信息安全。
由此,加强信息安全管理工作就变得十分有必要了。
若不能加强大数据网络安全管理工作,则不能避免计算机网络安全管理问题发生,对企业生产发展就会引起很多危害。
大数据在智能电网中的研究现状与展望
大数据在智能电网中的研究现状与展望作者:凌超蔡晖胡波来源:《华中电力》2014年第02期摘要:借助大数据技术,智能电网的整体价值迅速得到跃升,这种价值的跃升也使得电力企业具有大数据的时代特征。
本文从大数据、智能电网及两者的融合三个方面讨论了它们的研究现状、关键技术与展望。
关键词:智能电网,大数据0、引言随着电力工业与信息化的深度融合,智能电网将同时承载电力流、信息流和业务流。
届时,电网和电力信息通信网的用户将发生叠加。
作为继云计算、物联网之后信息产业的又一次颠覆性技术变革,大数据已经成为当前科技创新、产业政策及国家安全领域的新知识增长点。
[1]大数据方面,2012 年 3 月 22日,奥巴马宣布美国政府投资2亿美元启动“大数据研究和发展计划(Big Data Re-search and Development Initiative)”。
这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。
美国政府认为,大数据是“未来的新石油”,并将对大数据的研究上升为国家意志。
智能电网方面,日本计划在2030年全部普及智能电网,同时官民一体全力推动在海外建设智能电网。
在蓄电池领域,日本企业的全球市场占有率目标是力争达到50%,获得约 10万亿日元的市场。
日本经济产业省已经成立“关于下一代能源系统国际标准化研究会”,日美已确立在冲绳和夏威夷进行智能电网共同实验的项目[2]。
智能电网成为世界各国竞相发展的一个重点领域,将大数据技术融合进智能电网已经成为智能电网的发展方向。
上海电力学院计算机与信息工程学院院长雷景生透露,仅在省一级的电力公司数据服务中心,就有上千台计算机用来保存电网历史数据,每年为此所耗费的电量大得惊人。
然而,历史数据虽多,但多在“沉睡”。
目前电力公司分配电量主要还是依靠经验,若能唤醒这些数据,利用大数据的技术与用户产生互动,实时监控用电量数据,就能为智能分配电量提供可靠依据。
[3]1、大数据在智能电网中的研究现状1.1大数据一般意义上,大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。
信息化产业发展趋势与前景展望
信息化产业发展趋势与前景展望随着科技的飞速发展,信息化产业已成为推动经济发展的重要力量。
本文将从不同角度探讨信息化产业的发展趋势与前景展望。
一、大数据产业的崛起大数据时代已经来临,各行各业都在积极应用大数据技术。
从智能家居到智慧城市,大数据的应用无处不在。
因此,大数据产业成为信息化产业中的重要一环。
二、人工智能的蓬勃发展人工智能在医疗、金融、交通等领域的应用不断深入。
人工智能技术的不断成熟,为信息化产业打开了新的发展方向。
未来,人工智能有望成为信息化产业的新引擎。
三、物联网的广阔前景物联网的快速发展,拉近了人与物的距离。
物联网技术的应用将使各个行业实现全面互联互通。
这不仅为信息化产业带来了新的机遇,同时也推动了社会的整体进步。
四、云计算的普及应用云计算的兴起,改变了传统的数据存储和处理方式,使企业和个人获得了更高效、更灵活的服务。
云计算的普及应用将进一步推动信息化产业的发展。
五、网络安全的挑战与需求随着信息化产业的快速发展,网络安全问题也日益突出。
黑客攻击、数据泄露等事件频频发生,严重影响信息化产业的发展。
因此,网络安全事关信息化产业的可持续发展,需加强投入和研发。
六、教育产业的全面升级信息化产业的发展将对教育产业带来巨大影响。
借助互联网技术,教育资源可以实现跨时空的传播与共享,教育的普及程度将得到大幅提升。
七、医疗健康产业的智能化改造信息化的发展将推动医疗健康产业由传统的模式向互联网+、智能化的方向发展。
通过大数据、人工智能等技术的应用,医疗健康产业将实现更高效、更精准的服务。
八、金融行业的数字化转型信息化产业的发展对金融行业产生了深远影响。
随着移动支付、在线银行等新型金融业务的普及,金融行业正经历着数字化转型,提供更安全、便捷的服务。
九、制造业的智能化升级信息化产业的发展也将对制造业产生重要影响。
制造业的智能化升级可以提高生产效率、降低成本,并实现柔性化生产,满足个性化需求。
十、信息化产业的发展对就业的影响信息化产业的持续快速发展,为社会创造了大量就业机会。
未来网络技术与发展趋势综述
未来网络技术与发展趋势综述一、本文概述随着科技的飞速发展和社会的不断进步,网络技术已成为现代社会不可或缺的重要组成部分。
网络技术不仅改变了人们的生活方式,也极大地推动了经济的发展和社会的进步。
然而,随着网络技术的广泛应用,其面临的挑战和问题也日益凸显。
因此,对未来网络技术及其发展趋势进行深入研究和探讨,具有重要的理论和实践意义。
本文旨在全面综述未来网络技术的主要特点、关键技术和发展趋势,以期为相关领域的研究人员和实践者提供有价值的参考。
文章首先对网络技术的历史发展进行了简要回顾,然后重点分析了未来网络技术的主要特征,包括高速、智能、安全、泛在等方面。
接着,文章深入探讨了支撑未来网络技术发展的关键技术,如5G/6G通信技术、云计算技术、物联网技术、边缘计算技术、技术等。
文章展望了未来网络技术的发展趋势,包括网络融合、网络智能化、网络安全保障等方面。
通过本文的综述,读者可以对未来网络技术的发展有一个清晰、全面的认识,从而更好地把握网络技术的发展方向,为未来的网络建设和应用提供有力支持。
二、未来网络技术的主要特点未来网络技术以其独特的特点和优势,正在塑造一个全新的网络世界。
这些特点主要体现在以下几个方面:超高速度和超大容量:随着科技的不断进步,未来网络技术将实现更高的传输速度和更大的网络容量,以满足日益增长的数据需求。
新的传输技术和协议,如可见光通信、量子通信等,将进一步推动网络速度的提升和容量的扩大。
高度智能化和自动化:人工智能和机器学习等技术的深入应用,将使未来网络具备更强的智能化和自动化特性。
网络将能够自我优化、自我修复,甚至能够预测和应对潜在的问题,大大提升网络的稳定性和可靠性。
高度安全性和隐私保护:随着网络安全威胁的日益严重,未来网络将更加注重安全性和隐私保护。
通过先进的加密技术、身份认证技术和入侵检测技术,未来网络将为用户提供更加安全、私密的网络环境。
全面覆盖和深度融合:未来网络技术将实现更广泛的覆盖,包括偏远地区和深海等难以覆盖的区域。
大数据在网络安全中的作用
大数据在网络安全中的作用随着互联网的普及,人们在日常生活中越来越离不开网络,无论是工作、学习还是娱乐,网络都成了必不可少的一部分。
然而,网络安全问题也随之而来。
各种黑客攻击和网络病毒的出现让网络安全问题变得越来越严峻。
在这种情况下,大数据技术就显得尤为重要,因为它可以帮助我们更好地保护网络安全。
一、大数据在网络安全中的基本作用大数据技术可以帮助人们分析和处理大量的数据,在网络安全中,大数据技术可以帮助人们更好地进行网络安全监测、威胁预警、风险评估等工作。
通过对网络流量、系统日志、用户行为等数据进行分析和挖掘,可以及早发现、预防和解决网络安全问题。
例如,在网络安全监测方面,大数据技术可以帮助企业或个人实时监测网络流量,及时发现异常情况、威胁攻击等信息,并对其进行预警。
在威胁预警方面,大数据技术可以分析历史数据和实时数据,识别网络攻击行为、异常用户行为等,降低网络安全风险。
在风险评估方面,大数据技术可以分析用户的行为、访问历史等信息,评估用户的风险等级,防止用户进行违法操作。
可以说,大数据技术在网络安全中起着不可替代的作用。
二、大数据技术在网络安全中的细节作用1、大数据技术可以协助建立智能安全体系随着网络技术的发展,人们制定的安全策略和控制手段已经远远无法满足实际需求。
大数据技术可以帮助建立智能安全体系,通过机器学习等技术将大数据模型应用于网络安全领域,打造一个更智能、更可靠的安全机制。
2、大数据技术可以加强网络安全的实时性传统的网络安全监测和预警工具大多缺乏实时性,无法及时发现网络安全问题。
而大数据技术则可以实现实时数据处理和分析,帮助用户在发生网络安全问题时迅速做出反应,降低损失。
3、大数据技术可以协助网络安全漏洞的发现和修复在网络安全中,漏洞扮演着非常重要的角色。
漏洞的修复意味着安全风险的降低。
利用大数据技术分析网络流量等数据,可以及时发现潜在的漏洞点,及时修复漏洞,从根本上降低安全风险。
三、大数据技术在网络安全未来的前景展望目前,大数据技术在网络安全领域的应用还比较有限,但是它具有广阔的发展前景。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1 / 13 网络大数据 :现状与展望 1 引言 1.1 研究与发展现状 近年来,随着互联网、物联网、云计算、三网融合等 IT 与通信技 术的迅猛发展,数据的快速增长成了许多行业共同而对的严峻挑战和 宝贵机遇,因而信息社会己经进入了大数据 (hig Data)时代.大数据的 涌现不仅改变着人们的生活与工作方式、 企业的运作模式, 甚至还引 起科学研究模式的根本性改变 . 一般意义上,大数据是指无法在一定时间内用常规机器和软硬件 工具对其进行感知、获取、管理、处理和服务的数据集合川 .网络大 数据是指“人、机、物”三元世界在网络空间 (Cyberspace中彼此交 互与融合所产生并在互联网上可获得的大数据,简称网络数据 . 当前,网络大数据在规模与复杂度上的快速增长对现有 IT架构的 处理和计算能力提出了挑战•据著名咨询公司IDC发布的研究报告, 2011年网络大数据总量为1.8 ZB预计到2020年,总量将达到3 5 ZB. IBM将大数据的特点总结为3个V,即大量化(Volume)、多样化 (Variety)和快速化(Velocity)首先,网络空间中数据的体量不断扩大, 数据集合的规模己经从 UB}TB到了 PB,而网络大数据甚至以 EB和 ZB(10z1等单位来计数.IDC的研究报告称,未来十年全球大数据将增 加 50倍,管理数据仓库的服务器的数量将增加 10倍以迎合 50倍的 2 / 13
大数据增长 .其次,网络大数据类型繁多,包括结构化数据、半结构 化数据和非结构化数据 .在现代互联网应用中,呈现出非结构化数据 大幅增长的特点,至 2012 年 末非结构化数据占有比例达到互联网整个数据量的 75%以上 .这些非 结构化数据的产生往往伴随着社交网络、 移动计算和传感器等新技术 的不断涌现和应用 .再次,网络大数据往往呈现出突发涌现等非线 }h} 状态演变现象,因此难以对其变化进行有效评估和预测 .另一方而, 网络大数据常常以数据流的形式动态、 快速地产生, 具有很强的时效 性,用户只有把 握好对数据流的掌控才能充分利用这些数据 . 近几年, 网络大数据越来越显示出巨大的影响作用, 正在改变着 人们的工作与生活 .2012年 11月《时代》杂志撰文指出奥巴马总统连 任成功背后的秘密, 其中的关键是对过去两年来相关网络数据的搜集、 分析和挖掘②•目前,eBay的分析平台每天处理的数据量高达 100 PB 超过了纳斯达克交易所每天的数据处理量 .为了准确分析用户的购物 行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪 分析③. 2012年的双十一,中国
互联网再次发生了最大规模的商业活 动:淘宝系网站的销售总额达到 191 亿元人民币 .淘宝之所以能应对如 此巨大的交易量和超高并发性的分析需求,得益于其对往年的情况, 特别是用户的消费习惯、 搜索习惯以及浏览习惯等数据所进行的综合 分析 . 网络大数据给学术界也同样带来了巨大的挑战和机遇 .网络数据 科学与技术作为信息科学、 社会科学、 网络科学和系统科学等相关领 域交叉的新兴学科方向正逐步成为学术研究的新热点 .近年, Nature》 和《Scienee》〉等刊物相继出版专刊来探讨对大数据的研究 .2008年 3 / 13
《Nature》出版的专刊“ BigData",从互联网技术、网络经济学、超 级计
算、环境科学和生物医药等多个方而介绍了海量数据带来的眺战 叫.2011年《Science>推出关于数据处理的专刊'Dealing with Data", 讨论了数据洪流(Data Deluge所带来的机遇川•特别指出,倘若能够更 有效地组织和使用这
些数据, 人们将得到更多的机会发挥科学技术对 社会发展的巨大推动作用 .
1. 2 网络大数据研究的意义 总体而言,网络大数据研究的重要性体现在以下几个方而 : (1) 网络大数据
的研究对捍卫国家网络空间的数字主权, 维护社会 稳定,推动社会与经济可持续发展有着独特的作用 .信息化时代,国 家层而的竞争力将部分体现为一国拥有网络大数据的规模、 活性以及 对数据的解释与运用的能力 .国家在网络空间的数字主权也将是继海、 陆、空、天四空间之后另一个大国博弈的空间 .在网络大数据领域的 落后,意味着失守产业战略制高点, 意味着国家安全将在网络空间出 现漏洞.为此,今年 3 月,美国政府整合 6 个部门投资 2 亿美元启动 “大数据研究和发展计划” .在该计划中,美国国家科学基金会提出 要“形成一个包括数学、统计基础和计算机算法的独特学科” .该计 划还强调,大数据技术事关美国的国家安全,影响科学研究的步伐, 还将引发教育和学习的变革 .这意味着网络大数据的主权己上升为国 家意志,直接影响国家和社会的稳定,事关国家的战略安全 . (2) 网4 / 13
络大数据是国民经济核心产业信息化升级的重要推动力量 . “人、机、物”三元世界的融合产生了大规模的数据,如何感知、测 量、利用这些网络大数据成为国民经济中许多行业而临的共同难题, 成为这些行业数字化、信息化的障碍和藩篱 .如何使不同行业都能突 破这一障碍,关键在于对网络大数据基本共性问题的解决 .譬如,对 于非结构化数据的统一表示与分析,目前缺少有效的方法和工具 .因 此,通过对网络大数据共性问题的分析和研究, 使企业能够掌握网络 大数据的处理能力或者能够承受网络大数据处理的成本与代价, 进而 使整个行业迈入数字化与信息化的新阶段 .在这个意义上,对网络大 数据基础共性问题的解决将是新一代信息技术融合应用的新焦点, 是 信息产业持续高速增长的新引擎, 也是行业用户提升竞争能力的新动 力. (3) 网络大数据在科学和技术上的突
破,将可能诞生出数据服务、 数据材料、数据制药等战略性新兴产业 .网络数据科学与技术的突破 意味着人们能够理清数据交互连接产生的复杂性, 掌握数据冗余与缺 失双重特征引起的不确定性, 驾驭数据的高速增长与交叉互连引起的 涌现性(Emergenee)}”},进而能够根据实际需求从网络数据中挖掘出 其所蕴含 的信
息、知识甚至是智慧,最终达到充分利用网络数据价值的目的 . 涌现性是指由低层次的多个元素构成高层次的系统时展示出的每个 单一元素所不具备的性质 .网络数据不再是产业环节上产生的副产品, 相反地,网络数据己成为联系各个环节的关键纽带 .通过对网络数据 纽带的分析与掌握,可以降低行业成本、促进行业效率、提升行业生 产力.因5 / 13
此,可以预 见,在网络数据的驱动下,行业模式的革新将可能催生出数据材料、 数据制造、数据能源、数据制药等一系列战略性的新兴产业 . (4) 大数据引起了学术界对科学研究方法论的重新审视, 正在引发 科学
研究思维与方法的一场革命 .科学研究最初只有实验科学,随后 出现了理论科学,研究各种定律和定理 .由于在许多问题上,理论分 析方法变得太过复杂以至于难以解决难题, 人们开始寻求模拟的方法, 这又产生了计算科学 .而大数据的出现催生了一种新的科研模式,即 而对大数据, 科研人员只需从数据中直接查找、 分析或挖掘所需要的 信息、知识和智慧,甚至无需直接接触需研究的对象 .2007 年,己故 的图灵奖得主吉姆格雷(JimUray在他最后一次演讲中描绘了数据密 集型科学研究的“第四范式” (The Fourth
Paradigm)}'}把数据密集型 科学从计算科学中单独区分开来 .格雷认为,要解
决我们而临的某些 最棘手的全球性挑战, “第四范式”可能是唯一具有系统性的方法 . 网络大数据的深挖掘、大规模利用是新兴产业界的立足点 .即便 针对大数据的研究目前还没有建立一套完整的理论体系, 也缺少高效 快速的处理、 分析与挖掘的算法与范式, 但大数据的应用前景毋庸置 疑,因为大数据从根本上来说就是来源于应用的问题 .著名出版公司 ()' Reilly的创始人Tim O' Reill y断言,大数据就是下一个Intel In side,未 来属于那些能把数
据转换为产品的公司和人群 .MUI 的研究报告也宣 称,大数据是下一代革新、竞争力和生产力 的先导,网络大数据可为世界经济创造巨大价值, 提高企业和公共部 门的生产率和竞争力,并为消费者创造巨大的经济利益 .Uartner 公司 则更具体地预测,到 2015 年,采用大数据和海量信息管理6 / 13
的公司将 在各项财务指标上,超过未做准备的竞争对手 20%. 本文梳理了网络大数据所带来的挑战以及相关的研究体系,从网 络空间感知与数据表示、 网络大数据存储与管理体系、 网络数据挖掘 和社会计算以及网络数据平台系统与应用 4 个方而回顾了相关领域 的新近发展, 探讨了网络大数据研究方向和所而临的挑战, 并展望了 未来的主要研究方向 .
2 网络大数据带来的挑战 如上所述,网络大数据而临着来自诸多方而的挑战 .但从研究的 角度来说,根本挑战在于其复杂}h卜不确定性和涌现性•对这3个基 本特性的研究决定着网络大数据的发展趋势、研究进展和应用前景 .
2. 1 网络大数据的复杂性 复杂性造成网络大数据存储、分析、挖掘等多个环节的困难 .网 络大数据的复杂性主要包括数据类型的复杂性、 数据结构的复杂性和 数据内在模式的复杂性 .
(1)数据类型复杂性 .信息技术的发展使得数据产生的途径不断增 加,
数据类型持续增多 .相应地,则需要开发新的数据采集、存储与 处理技术.例如社交网络的兴起,使得微博、SNS个人状态信息等短文 本数据逐渐成为互联网上的主要信息传播媒介 .与传统的长文本不同, 短文本由于长度短, 上下文信息和统计信息很少, 给传统的文本挖掘 (如检索、主题发现、语义和情感分析等 )带来很大的困难 .相关的研究 包括利用外部数据源 (如