大数据机遇与挑战

大数据时代的机遇与挑战

任志鹏13108224

摘要：信息技术的飞速发展，特别是物联网、云计算、社交网络、社会媒体以及信息获取技术的进步，数据正以巨大的速度迅速增长和积累。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。然而如此重大的机遇也伴随着相当程度的挑战，在技术上还有诸多障碍，在社会影响方面，大数据对人们的传统生活方式和安全隐私也构成威胁。

关键词：大数据云计算数据获取数据存储数据处理数据可视化隐私安全

大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒十万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

大数据时代的机遇：

1．“大数据决策”成为一种新决策方式。依据大数据进行决策，从数据中获取价值,让数据主导决策，是一种前所未有的决策方式，并正在推动着人类信息管理准则的重新定位。随着大数据分析和预测分析对管理决策影响力的逐渐加大，依靠直觉做决定的状况将会被彻底改变。

2．“大数据应用”促进信息技术与各行业深度融合。有专家指出，大数据及其分析，会在未来10年改变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条件，大数据将在未来10年，使美国医疗市场获得每年3000亿美元的新价值，并消减2/3的全国医疗开支。

在制造业领域，制造企业为管理产品生命周期将采用IT系统，包括电脑辅助设计、工程、制造、产品开发管理工具和数字制造，制造商可以建立一个产品生命周期管理平台PLM从而将多种系统的数据集合在一起，共同创造出新的产品。

此外，在交通、能源、材料、商业和服务等行业领域甚至在新闻传媒领域，也都在以大数据为发展契机，加速这些行业与信息技术的深度融合。

3．大数据时代将成为世界发展主潮流。世界上许多国家都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在国家层面进行战略部署，以迎接大数据技术革命，正在带来的

新机遇和新挑战。

美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。

大数据时代的挑战：

1．技术方面。具体体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

2．社会影响方面。主要体现在大数据对国家安全和个人隐私的威胁。“大数据安全”上升为国家战略安全。传统意义上的国家安全，是指军队对国家领土安全的保护，是国家之间军事实力的较量。但在互联网高度发达的大数据时代，网络变成了几乎是透明的虚拟世界，也因此使国家安全的环境和内涵发生了极大的变化，对大数据的安全保存、防丢失和防破坏等问题，成为我们必须要面对的安全难题。大数据安全，已经上升成为国家安全的重要组成部分。在大数据时代，数据安全的威胁随时都有可能发生。各种国家信息基础设施和重要机构所承载着的庞大数据信息，如由信息网络系统所控制的石油和天然气管道、水、电力、交通、银行、金融、商业和军事等，都有可能成为被功击的目标。

通过手机轨迹数据分析了15个月150万人的移动规律，发现每个人的移动踪迹高度独立，在这个数据集中每个人的位置在每小时是特定的，4个时空点就足以唯一识别95％的个人．收集和发布移动数据、社会媒体数据、个人医疗数据等直接给个人隐私带来威胁，如果数据拥有者直接发布隐含着敏感信息的数据，而不采取适当数据保护技术，将可能造成个人敏感信息的泄露．在多样化的社会中隐私是基本的需要，是个人权利的基础，互联网和移动通信放大了个体的唯一识别性，进一步增强了传统的隐私挑战。

总结：

互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体，“大数据”，也正在演变成不可或缺的战略资源。互联网、物联网每天都在产生大量的数据，这些庞大的数据资源，为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。得大数据者得天下，是一些推崇大数据时代的变革者所坚信不疑的判断。但大数据给社会带来的而挑战也是不容忽视的。如何既能公开发布更多的数据，为社会计算提供更大的数据支持，同时又能保证个人的隐私不会泄露，作到数据开放与隐私保护的两者平衡，

这是学术界需要关注的问题。

参考文献：

[1]陈明奇，等.大数据时代的美国信息网络安全新战略分析.第27次全国计算机安全学术交流会论文集，2012（8）。

[2]陈如明.大数据时代的挑战、价值与应对策略.中国国际信息通信展专刊，2012.

[3]张光茫.大数据时代的思考与启示——读涂子沛《大数据》[J].水利天地，2012（09）.

[4]宋方.大数据机遇[J].企业管理，2012（07）.[5]大数据应用[J].金融科技时代，2012（08）.