网络大数据现状和展望

合集下载

互联网行业发展趋势及未来展望

互联网行业发展趋势及未来展望

互联网行业发展趋势及未来展望随着科技的不断进步和互联网的普及,互联网行业正迅速发展并改变着人们的生活方式。

本文将探讨互联网行业的发展趋势,并对未来展望进行分析。

一、互联网行业的发展趋势1. 移动互联网的普及:随着智能手机的普及和移动网络的发展,移动互联网已经成为互联网行业的主要发展方向。

人们可以通过手机随时随地上网,进行各种在线活动,如购物、社交、娱乐等。

移动互联网的普及将进一步推动互联网行业的发展。

2. 人工智能的应用:人工智能技术的快速发展将为互联网行业带来巨大的机遇。

人工智能可以应用于各个领域,如智能家居、智能医疗、智能交通等。

通过人工智能技术,互联网行业可以提供更加智能化、个性化的服务,提高用户体验。

3. 大数据的应用:随着互联网的发展,数据量呈爆炸式增长。

大数据技术的应用可以帮助互联网行业更好地理解用户需求,提供更加精准的服务。

通过对大数据的分析,互联网行业可以进行精准营销、个性化推荐等,提高用户黏性和转化率。

4. 云计算的发展:云计算技术的发展将为互联网行业带来更大的灵活性和可扩展性。

云计算可以提供弹性计算资源,帮助互联网企业降低成本、提高效率。

同时,云计算还可以提供更加安全可靠的数据存储和处理服务,保护用户隐私和数据安全。

二、互联网行业的未来展望1. 5G技术的应用:随着5G技术的商用化,互联网行业将迎来更快速、更稳定的网络连接。

5G技术将大大提高网络传输速度和带宽,为互联网行业的发展提供更好的基础设施。

同时,5G技术还将推动物联网、智能交通等领域的发展。

2. 虚拟现实和增强现实的应用:虚拟现实和增强现实技术的发展将为互联网行业带来更多的创新机遇。

通过虚拟现实和增强现实技术,互联网行业可以提供更加沉浸式的用户体验,如虚拟旅游、虚拟购物等。

同时,虚拟现实和增强现实技术还可以应用于教育、医疗等领域,提供更加便捷和高效的服务。

3. 区块链技术的应用:区块链技术的发展将为互联网行业带来更高的安全性和信任度。

大数据技术的发展现状与未来趋势展望

大数据技术的发展现状与未来趋势展望

大数据技术的发展现状与未来趋势展望近年来,随着互联网和移动互联网的高速发展,大数据技术逐渐成为各行各业的重要工具。

大数据技术通过对海量数据的收集、分析和运用,为企业和组织提供了全新的决策依据和商业机会。

本文将探讨大数据技术的发展现状,并展望其未来的趋势。

一、大数据技术的发展现状大数据技术在过去十年内取得了巨大的进展。

首先,数据规模呈爆发式增长,各种传感器、社交媒体平台和智能设备不断产生着庞大的数据流。

其次,云计算技术的普及使得数据的存储和处理更加高效和便捷。

再者,机器学习和人工智能的快速发展为大数据的挖掘和分析提供了新的方法和算法。

这些因素的共同促进,大数据技术得以持续创新和升级。

在商业领域,大数据技术被广泛应用于市场研究、用户分析和精准营销等方面。

以电商巨头阿里巴巴为例,其利用大数据技术实现了用户画像和个性化推荐,提高了用户购物体验和精准营销效果。

此外,大数据技术也被应用于证券交易、风险管理和供应链管理等金融和物流领域,为企业提供了全新的商业模式和增长机会。

在城市管理方面,大数据技术能够实现对城市内各种设施设备和人流、交通流的实时监测和调度。

例如,各大城市的智能交通管理系统能够通过大数据分析实现交通拥堵的预测和疏导;而智能电网系统能够通过大数据技术进行电力需求和供应的优化和调控。

大数据技术的应用使得城市变得更加智能、高效和宜居。

二、大数据技术的未来趋势展望1. 数据安全与隐私保护将成为重要关注点随着大数据规模的不断扩大,数据安全和隐私问题将越来越突出。

未来,大数据技术需要更加注重数据的安全存储和传输,采用更加严格的数据权限管理和加密技术,防止数据泄露和滥用。

同时,隐私保护法律和监管政策也需要随之完善,确保个人隐私权益得到有效保护。

2. 边缘计算和智能设备将推动大数据技术的进一步发展边缘计算是指将计算任务从中心服务器下放到数据源附近的网络边缘。

未来,随着物联网的普及和智能设备的智能化,边缘计算将为大数据技术的应用提供更大的便利。

互联网发展趋势与前景展望

互联网发展趋势与前景展望

互联网发展趋势与前景展望随着科技的不断进步与全球信息化的加速推进,互联网已经成为现代社会中不可或缺的一部分。

互联网的发展势头迅猛,给我们的生活带来了巨大的变化。

本文将探讨互联网的发展趋势,并对未来的前景进行展望。

一、互联网智能化趋势在未来,智能化将成为互联网发展的重要方向。

随着人工智能技术与物联网技术的不断融合,我们将迎来一个智能化的时代。

智能家居、智能交通、智能医疗等概念正在逐渐变为现实。

通过互联网,我们可以实现家电的远程控制、智能车辆的自动驾驶、医疗设备的远程监控等。

这将极大地提高我们的生活质量和工作效率。

二、互联网大数据时代的到来随着互联网的蓬勃发展,大数据也成为一种重要的资源。

大数据的产生与存储已经成为一个庞大的系统。

通过对大数据的深度挖掘和分析,我们可以获得更多的信息和商业价值。

例如,通过大数据分析,企业可以更好地了解用户需求,从而做出更准确的市场决策。

大数据时代的到来,将促进互联网与各个行业的深度融合,推动社会的进步与发展。

三、互联网支付的普及与发展随着互联网的快速发展,传统的现金支付正在逐渐被互联网支付所取代。

互联网支付具有便捷、安全的特点,得到越来越多人的接受与使用。

移动支付、电子钱包等方式逐渐取代了传统的纸币和硬币支付。

在未来,无现金支付有望成为主流,人们只需轻触手机屏幕即可完成各种支付操作,这将改变我们的生活方式,并提升支付的效率和安全性。

四、互联网医疗的崛起互联网医疗是指通过互联网技术,实现医疗资源的共享与互联。

在互联网医疗的模式下,患者可以通过在线问诊、远程会诊等方式,获得更多的医疗服务。

互联网医疗的发展,将使医疗资源更加均衡,缓解医疗资源不足的问题。

同时,互联网医疗还能提高医疗效率,减少患者排队等待时间,实现更高质量的医疗服务。

随着技术的不断突破与创新,互联网医疗有望迎来更广阔的发展空间。

五、互联网安全问题的重视随着互联网的兴起,网络安全问题也变得日益突出。

各种黑客攻击、信息泄露等问题频繁发生,给个人和企业带来了巨大的损失与困扰。

中国互联网发展现状与趋势

中国互联网发展现状与趋势

中国互联网发展现状与趋势互联网的快速发展已深刻改变了中国的社会、经济和文化。

中国作为全球最大的互联网用户国家之一,拥有巨大的市场和创新潜力。

本文将探讨中国互联网的发展现状以及未来的趋势。

一、互联网的发展现状互联网在中国的发展可以追溯到上世纪90年代初。

起初,互联网在中国只是一个小众的工具,但随着技术的不断进步和用户的普及,互联网开始迅速发展。

如今,中国已成为全球最大的互联网普及国家,拥有超过9亿的互联网用户。

中国互联网发展的成功离不开政府的支持和推动。

中国政府积极鼓励互联网技术的发展,并制定了一系列政策来推动互联网发展。

同时,中国也拥有许多知名的互联网企业,如阿里巴巴、腾讯、百度等,它们在互联网领域取得了巨大的成功。

互联网的快速普及与发展也极大地改变了中国人民的生活方式。

通过互联网,人们可以随时随地获取信息,进行在线购物、在线支付和社交娱乐等活动。

互联网已经成为中国经济和社会发展的重要推动力。

二、互联网的发展趋势1. 移动互联网的普及:随着智能手机和移动互联网的普及,越来越多的中国人民通过手机上网。

根据统计数据显示,中国的移动互联网用户已超过8亿,占到互联网用户总数的绝大多数。

移动互联网的普及将进一步提高人们获取信息和进行在线交流的便利性。

2. 人工智能技术的应用:人工智能技术在中国互联网领域的应用越来越广泛。

目前,许多中国互联网企业正在积极研发和应用人工智能技术,如语音识别、机器人技术和智能推荐等。

人工智能技术的应用将进一步提升用户体验,推动互联网的发展。

3. 大数据的应用:大数据技术在中国的互联网领域也得到了广泛应用。

通过对海量数据的分析和挖掘,企业可以更好地了解用户的需求,提供个性化的产品和服务。

大数据技术的应用将进一步推动中国互联网行业的发展。

4. 云计算的发展:云计算是近年来互联网领域的新兴技术,在中国也得到了迅速的发展。

云计算技术可以提供强大的计算能力和存储能力,为用户提供更便捷的互联网服务。

浅谈大数据发展现状及未来展望

浅谈大数据发展现状及未来展望

浅谈大数据发展现状及未来展望大数据是指具有大量、多样化和高速增长的数据集,这些数据集难以通过传统的数据库管理工具进行捕获、管理和处理。

随着互联网的普及,人们对大数据的需求也越来越高,大数据的发展呈现出以下几个现状和未来展望。

首先,大数据的发展现状是指数据量的爆炸式增长。

随着互联网的迅速发展和普及,海量的数据被不断产生和积累。

据统计,目前全球每天产生的数据量已经超过2.5亿TB,而且这个数据量还在持续增长。

人们在日常生活、社交媒体、移动设备等方方面面都在不断产生数据,这些数据包含着丰富的信息和价值。

再次,大数据的发展现状是数据处理技术的不断创新和进步。

大数据需要高效地进行存储、处理和分析,这就要求数据处理技术能够快速、准确地处理大规模和多样化的数据。

云计算、分布式计算、机器学习等技术的发展和应用,使得数据处理的效率和质量得到了极大的提高。

此外,大数据的发展现状还包括对数据隐私和安全的关注。

大数据的应用和分析可能涉及到用户的个人信息和隐私,因此对数据安全和隐私保护提出了更高的要求。

人们对数据的合法性和使用方式有更高的关注度,也促使了相关法律和规范的制定和完善。

展望未来,大数据发展的趋势将更加明显。

首先,数据的增长速度将进一步加快。

随着互联网的进一步普及,更多的设备将连接到互联网,产生更多的数据。

物联网技术的发展,将会使得传感器和设备产生的数据数量更大、更多样化。

其次,数据的处理能力将进一步提升。

随着计算能力的提升和技术的不断创新,数据处理和分析的效率将得到大幅度提高。

数据处理平台将更加智能化和自动化,从而能够更好地发现数据中的模式和规律。

再次,大数据的应用范围将进一步扩大。

目前大数据的应用已经涉及到金融、医疗、教育、交通等众多领域,未来将有更多的行业和领域开始应用大数据分析,以实现更好的决策和服务。

最后,数据隐私和安全的问题将得到更好的解决。

随着人们对数据隐私和安全的关注度的提高,相关的技术和法律保障将会得到更好的发展和完善。

浅谈大数据发展现状及未来展望

浅谈大数据发展现状及未来展望

浅谈大数据发展现状及未来展望随着科技的不断进步,大数据已成为当前智能化时代的核心驱动力之一。

它不仅对各行业的发展产生了深远影响,也为社会带来了巨大的变革。

本文将就大数据的发展现状进行探讨,并展望其未来的发展趋势。

一、大数据的定义和背景大数据,顾名思义,指的是以海量数据为基础,利用先进的技术和工具来收集、存储、处理和分析数据。

它的背景可以追溯到互联网的兴起和移动智能设备的普及。

现如今,人们在日常生活中产生大量的数据,包括社交媒体、在线购物、移动支付等活动。

这些数据被视为“新的石油”,具有巨大的商业和科学价值。

二、大数据的发展现状1. 商业应用领域:大数据已在商业应用中发挥了巨大作用。

例如,在市场营销中,通过分析大数据可以更好地了解消费者的需求和行为。

在金融领域,大数据可以帮助银行和保险公司发现潜在的欺诈行为,并进行风险管理。

此外,大数据还推动了智能城市、智能制造和智慧医疗等领域的发展。

2. 科学研究领域:大数据对科学研究的帮助也是显而易见的。

科学家可以利用大数据来进行天文学、地质学、生物学等领域的研究。

通过分析大数据,他们可以获得更准确、更全面的研究结果,并推动科学的进步。

3. 社会管理领域:政府和公共机构也广泛利用大数据来进行社会管理。

大数据可以帮助政府更好地了解社会问题,并制定相应的政策。

例如,在交通管理中,政府可以通过分析大数据来优化交通流量,减少交通拥堵。

在公共安全领域,大数据可以帮助预测和预防犯罪行为。

三、大数据的未来展望1. 人工智能与大数据的结合:未来,人工智能技术将与大数据更加深入地结合。

人工智能可以通过学习和分析大数据来模拟人类的智能行为,实现更多领域的自动化与智能化。

例如,自动驾驶汽车需要依赖大数据来实现精准导航和智能决策。

2. 隐私保护与数据安全:随着大数据的广泛应用,数据安全和隐私保护问题也日益突出。

未来,人们需要在数据收集、存储和传输过程中加强相关安全措施,保护个人隐私和敏感信息。

大数据应用的现状与展望

大数据应用的现状与展望

大数据应用的现状与展望随着信息技术的快速发展,大数据已经成为当今社会不可忽视的一个重要领域。

大数据的应用已经蔓延到各行各业,对经济、科技、医疗、管理等方面带来了巨大的影响。

本文将对大数据应用的现状和未来展望进行探讨。

一、大数据应用的现状1.商业领域大数据在商业领域的应用已经非常广泛。

通过对海量数据的分析,企业可以更好地了解消费者的需求,进行市场定位、产品推广、精准营销等决策。

此外,大数据还可以帮助企业进行供应链管理,提高效率和降低成本。

2.科技领域大数据的应用在科技领域也日益重要。

例如,在天文学领域,使用大数据分析可以帮助科学家发现新的星系、行星和宇宙现象;在生物医学领域,大数据分析可以加速药物研发和基因治疗的发展。

此外,大数据还在交通、能源等领域发挥着重要作用。

3.社会管理政府和公共管理部门也开始利用大数据来改善社会管理。

通过对大数据的分析,政府可以更好地了解社会问题,制定合理的政策,并提高公共服务的质量和效率。

例如,大数据可以帮助交通管理部门优化城市交通流量,减少拥堵和事故发生的概率。

二、大数据应用的展望1.智能交通随着智能交通技术的发展,大数据在交通领域的应用将会更加广泛。

通过对交通数据的分析,可以实现智能路灯、智能导航、智能交通信号控制等,提高交通效率和安全性。

2.健康医疗大数据在医疗领域的应用将会推动健康医疗的发展。

通过对个人的健康数据进行分析,可以实现精准医疗,根据个体的特征和需求提供个性化的医疗方案。

此外,大数据还可以帮助早期发现疾病迹象,预防和控制疾病的传播。

3.智慧城市大数据在建设智慧城市方面有着巨大的潜力。

通过对城市数据的分析,可以实现智能交通、智能环境监测、智慧能源管理等,提高城市的可持续发展和生活质量。

4.金融行业大数据在金融行业的应用将会进一步加深。

通过对金融数据的分析,可以提高风险管理、金融预测、欺诈检测等方面的能力,为金融机构提供更加精确的决策支持。

综上所述,大数据应用的现状已经非常广泛,涵盖了商业、科技、社会管理等诸多领域。

互联网的发展趋势现状和未来的展望

互联网的发展趋势现状和未来的展望

互联网的发展趋势现状和未来的展望随着科技的不断进步和人们对信息的需求不断增加,互联网已经成为了现代社会中不可或缺的一部分。

它不仅改变了人们的生活方式,也对各行各业产生了深远的影响。

本文将探讨互联网的发展趋势现状以及未来的展望。

一、互联网的发展趋势现状1. 移动互联网的普及随着智能手机的普及和移动网络的发展,移动互联网已经成为了互联网发展的主要趋势。

人们可以随时随地通过手机访问互联网,获取信息、进行交流和购物等。

移动互联网的普及不仅改变了人们的生活方式,也给企业带来了更多的商机。

2. 大数据的应用随着互联网的发展,大量的数据被产生和存储。

这些数据包含了各个领域的信息,如消费习惯、用户行为等。

通过对这些数据的分析和挖掘,企业可以更好地了解用户需求,提供个性化的服务和产品。

大数据的应用已经成为了互联网发展的重要方向。

3. 人工智能的崛起人工智能是近年来互联网发展的热门领域之一。

通过机器学习和深度学习等技术,人工智能可以模拟人类的思维和行为,实现自主学习和智能决策。

人工智能已经在各个领域得到了广泛应用,如智能语音助手、自动驾驶等。

未来,人工智能将继续发展,为人们带来更多的便利和创新。

4. 云计算的兴起云计算是一种基于互联网的计算模式,通过将计算资源集中管理和共享,实现资源的高效利用和灵活调配。

云计算已经成为了企业和个人的重要工具,可以提供弹性的计算能力和存储空间。

未来,随着云计算技术的不断发展,云服务将更加普及和成熟。

二、互联网的未来展望1. 5G技术的应用5G技术是下一代移动通信技术,具有更高的传输速度和更低的延迟。

随着5G技术的商用化,移动互联网将迎来一个新的发展阶段。

人们可以更快地访问互联网,享受更多的高清视频、虚拟现实和增强现实等应用。

5G技术的应用将进一步推动互联网的发展。

2. 物联网的普及物联网是指通过互联网将各种物理设备连接起来,实现设备之间的信息交流和互操作。

随着物联网技术的不断发展,人们可以通过互联网远程控制家电、监控环境等。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

网络大数据:现状与展望1引言1.1研究与发展现状近年来,随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展,数据的快速增长成了许多行业共同而对的严峻挑战和宝贵机遇,因而信息社会己经进入了大数据(hig Data)时代.大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式,甚至还引起科学研究模式的根本性改变.一般意义上,大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合川.网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中彼此交互与融合所产生并在互联网上可获得的大数据,简称网络数据.当前,网络大数据在规模与复杂度上的快速增长对现有IT架构的处理和计算能力提出了挑战.据著名咨询公司IDC发布的研究报告,2011年网络大数据总量为1. 8 ZB,预计到2020年,总量将达到3 5 ZB.IBM将大数据的特点总结为3个V,即大量化(Volume)、多样化(Variety)和快速化(Velocity).首先,网络空间中数据的体量不断扩大,数据集合的规模己经从UB}TB到了PB,而网络大数据甚至以EB 和ZB(10z1)等单位来计数.IDC的研究报告称,未来十年全球大数据将增加50倍,管理数据仓库的服务器的数量将增加10倍以迎合50倍的大数据增长.其次,网络大数据类型繁多,包括结构化数据、半结构化数据和非结构化数据.在现代互联网应用中,呈现出非结构化数据大幅增长的特点,至2012年末非结构化数据占有比例达到互联网整个数据量的75%以上.这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用.再次,网络大数据往往呈现出突发涌现等非线}h}状态演变现象,因此难以对其变化进行有效评估和预测.另一方而,网络大数据常常以数据流的形式动态、快速地产生,具有很强的时效性,用户只有把握好对数据流的掌控才能充分利用这些数据.近几年,网络大数据越来越显示出巨大的影响作用,正在改变着人们的工作与生活.2012年11月《时代》杂志撰文指出奥巴马总统连任成功背后的秘密,其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘②.目前,eBay的分析平台每天处理的数据量高达100 PB,超过了纳斯达克交易所每天的数据处理量.为了准确分析用户的购物行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析③. 2012年的双十一,中国互联网再次发生了最大规模的商业活动:淘宝系网站的销售总额达到191亿元人民币.淘宝之所以能应对如此巨大的交易量和超高并发性的分析需求,得益于其对往年的情况,特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析.网络大数据给学术界也同样带来了巨大的挑战和机遇.网络数据科学与技术作为信息科学、社会科学、网络科学和系统科学等相关领域交叉的新兴学科方向正逐步成为学术研究的新热点.近年,Nature》和《Science》等刊物相继出版专刊来探讨对大数据的研究. 2008年《Nature》出版的专刊“BigData",从互联网技术、网络经济学、超级计算、环境科学和生物医药等多个方而介绍了海量数据带来的眺战叫.2011年《Science》推出关于数据处理的专刊`Dealing with Data",讨论了数据洪流(Data Deluge)所带来的机遇川.特别指出,倘若能够更有效地组织和使用这些数据,人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用.1. 2网络大数据研究的意义总体而言,网络大数据研究的重要性体现在以下几个方而:(1)网络大数据的研究对捍卫国家网络空间的数字主权,维护社会稳定,推动社会与经济可持续发展有着独特的作用.信息化时代,国家层而的竞争力将部分体现为一国拥有网络大数据的规模、活性以及对数据的解释与运用的能力.国家在网络空间的数字主权也将是继海、陆、空、天四空间之后另一个大国博弈的空间.在网络大数据领域的落后,意味着失守产业战略制高点,意味着国家安全将在网络空间出现漏洞.为此,今年3月,美国政府整合6个部门投资2亿美元启动“大数据研究和发展计划”.在该计划中,美国国家科学基金会提出要“形成一个包括数学、统计基础和计算机算法的独特学科”.该计划还强调,大数据技术事关美国的国家安全,影响科学研究的步伐,还将引发教育和学习的变革.这意味着网络大数据的主权己上升为国家意志,直接影响国家和社会的稳定,事关国家的战略安全.(2)网络大数据是国民经济核心产业信息化升级的重要推动力量.“人、机、物”三元世界的融合产生了大规模的数据,如何感知、测量、利用这些网络大数据成为国民经济中许多行业而临的共同难题,成为这些行业数字化、信息化的障碍和藩篱.如何使不同行业都能突破这一障碍,关键在于对网络大数据基本共性问题的解决.譬如,对于非结构化数据的统一表示与分析,目前缺少有效的方法和工具.因此,通过对网络大数据共性问题的分析和研究,使企业能够掌握网络大数据的处理能力或者能够承受网络大数据处理的成本与代价,进而使整个行业迈入数字化与信息化的新阶段.在这个意义上,对网络大数据基础共性问题的解决将是新一代信息技术融合应用的新焦点,是信息产业持续高速增长的新引擎,也是行业用户提升竞争能力的新动力.(3)网络大数据在科学和技术上的突破,将可能诞生出数据服务、数据材料、数据制药等战略性新兴产业.网络数据科学与技术的突破意味着人们能够理清数据交互连接产生的复杂性,掌握数据冗余与缺失双重特征引起的不确定性,驾驭数据的高速增长与交叉互连引起的涌现性(Emergence)}''},进而能够根据实际需求从网络数据中挖掘出其所蕴含的信息、知识甚至是智慧,最终达到充分利用网络数据价值的目的.涌现性是指由低层次的多个元素构成高层次的系统时展示出的每个单一元素所不具备的性质.网络数据不再是产业环节上产生的副产品,相反地,网络数据己成为联系各个环节的关键纽带.通过对网络数据纽带的分析与掌握,可以降低行业成本、促进行业效率、提升行业生产力.因此,可以预见,在网络数据的驱动下,行业模式的革新将可能催生出数据材料、数据制造、数据能源、数据制药等一系列战略性的新兴产业.(4)大数据引起了学术界对科学研究方法论的重新审视,正在引发科学研究思维与方法的一场革命.科学研究最初只有实验科学,随后出现了理论科学,研究各种定律和定理.由于在许多问题上,理论分析方法变得太过复杂以至于难以解决难题,人们开始寻求模拟的方法,这又产生了计算科学.而大数据的出现催生了一种新的科研模式,即而对大数据,科研人员只需从数据中直接查找、分析或挖掘所需要的信息、知识和智慧,甚至无需直接接触需研究的对象.2007年,己故的图灵奖得主吉姆格雷( JimUray)在他最后一次演讲中描绘了数据密集型科学研究的“第四范式”(The Fourth Paradigm)}'},把数据密集型科学从计算科学中单独区分开来.格雷认为,要解决我们而临的某些最棘手的全球性挑战,“第四范式”可能是唯一具有系统性的方法.网络大数据的深挖掘、大规模利用是新兴产业界的立足点.即便针对大数据的研究目前还没有建立一套完整的理论体系,也缺少高效快速的处理、分析与挖掘的算法与范式,但大数据的应用前景毋庸置疑,因为大数据从根本上来说就是来源于应用的问题.著名出版公司()' Reilly的创始人Tim O' Reilly断言,大数据就是下一个Intel Inside,未来属于那些能把数据转换为产品的公司和人群.MUI的研究报告也宣称,大数据是下一代革新、竞争力和生产力的先导,网络大数据可为世界经济创造巨大价值,提高企业和公共部门的生产率和竞争力,并为消费者创造巨大的经济利益.Uartner公司则更具体地预测,到2015年,采用大数据和海量信息管理的公司将在各项财务指标上,超过未做准备的竞争对手20%.本文梳理了网络大数据所带来的挑战以及相关的研究体系,从网络空间感知与数据表示、网络大数据存储与管理体系、网络数据挖掘和社会计算以及网络数据平台系统与应用4个方而回顾了相关领域的新近发展,探讨了网络大数据研究方向和所而临的挑战,并展望了未来的主要研究方向.2网络大数据带来的挑战如上所述,网络大数据而临着来自诸多方而的挑战.但从研究的角度来说,根本挑战在于其复杂}h}、不确定性和涌现性.对这3个基本特性的研究决定着网络大数据的发展趋势、研究进展和应用前景.2. 1网络大数据的复杂性复杂性造成网络大数据存储、分析、挖掘等多个环节的困难.网络大数据的复杂性主要包括数据类型的复杂性、数据结构的复杂性和数据内在模式的复杂性.(1)数据类型复杂性.信息技术的发展使得数据产生的途径不断增加,数据类型持续增多.相应地,则需要开发新的数据采集、存储与处理技术.例如社交网络的兴起,使得微博、SNS个人状态信息等短文本数据逐渐成为互联网上的主要信息传播媒介.与传统的长文本不同,短文本由于长度短,上下文信息和统计信息很少,给传统的文本挖掘(如检索、主题发现、语义和情感分析等)带来很大的困难.相关的研究包括利用外部数据源(如Wikipedia}}> >搜索结果川等)扩充文档,或者利用内部相似文档信息来扩充短文本的表达川.然而,无论是利用外部数据,还是利用内部数据,都可能引入更多的噪声.另一方而,不同数据类型的有机融合给传统的数据处理方法带来了新的挑战.例如在社交媒体的研究当中地域信息与内容的融合叫、时空信息与内容信息的结合等等.(2)数据结构的复杂性.传统上处理的数据对象都是有结构的,能够存储到关系数据库中.但随着数据生成方式的多样化,如社交网络、移动计算和传感器等技术,非结构化数据成为大数据的主流形式.非结构化数据具有许多格式,包括文本、文档、图形、视频等等.非结构化数据当中蕴含着丰富的知识,但其异构和可变的性质也给数据分析与挖掘工作带来了更大的挑战.与结构化的数据相比,非结构化数据相对组织凌乱,包含更多的无用信息,给数据的存储与分析带来很大的困难.目前相关的研究热点,包括开发非关系型数据库(如Uoogle 的BigTable,开源的HBase等)来存储非结构化数据.Uoogle提出了MapReduce计算框架,Yahoo!}Facebook等公司在此基础上实现了Hadoop } Hive之类的分布式架构,对非结构化数据做基本的分析工作.国内各大公司和科研单位也启动了用于支撑非结构化处理的基础设施研发,如百度的云计算平台、中国科学院计算技术研究所的凌云(LingCloud)系统等.(3)数据模式的复杂性.随着数据规模的增大,描述和刻画数据的特征必然随之增大,而由其组成的数据内在模式将会以指数形式增长.首先,数据类型的多样化决定了数据模式的多样化.不仅需要熟悉各种类型的数据模式,同时也要善于把握它们之间的相互作用.这种而向多模式学习的研究需要综合利用各个方而的知识(如文本挖掘、图像处理、信息网络、甚至社会学等等).为此,Sun提出用网络来描述异质数据间的关系,同时提出了“元路径(Meta-Path)”的概率来刻画目标数据模式.这样,通过定义合适的元路径,便可在数据网络中挖掘有价值的模式.其次,非结构化的数据通常比结构化数据蕴含更多的无用信息和噪声,网络数据需要高效鲁棒的方法来实现去粗存精,去冗存真.搜索引擎就是从无结构化数据中检索出有用信息的一种工具.尽管搜索技术在工业上己经取得极大的成功,但仍然存在很多不足(如对一些长尾词的查询,对二义性查询词的理解等),都有待进一步提高.另外,网络大数据通常是高维的,往往会带来数据高度稀疏与维度灾难等问题.在这种情况下,由于数据模式统计显著性较弱,以往的统计学习方法多针对高频数据挖掘模式,因此难以产生令人满意的效果.近年来,受实际应用驱动,高维稀疏问题成为了统计学习领域的热点问题Clz7.相关理论研究发现,基于稀疏表达的学习方法(如Lf}55})等),在获得较好学习效果的同时,还具有更高的效率和鲁棒性。

相关文档
最新文档