大数据时代所面临的发展与挑战

大数据时代所面临的发展与挑战

来源：金窝窝

大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

关键词：大数据，互联网，策略

大数据的挖掘

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

大数据时代下的信息技术日渐成熟，但是在高科技发展的今天，也存在着诸多不足，综合各方面信息，技术上和非技术上大数据时代面临的挑战：

运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战大数据处理和分析的能力远远不及理想中水平，数据量的快速增长，对存储技术提出了挑战;同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。

大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视;

大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，如何创新已成为大数据时代的一个首要问题;

大数据时代对政府制订规则与监管部门发挥作用提出了新的挑战; 大数据的可视化还没有达到人们的需求;

海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻;而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼;

大数据人才的缺乏，大数据时代对数据分析师的要求极高，只有大数据专业化的人才，才具备开发预言分析应用程序模型的技能。

大数据时代面临挑战的应对策略

大数据时代的浪潮已经袭来，这对于我们每一个人来说，既是大数据的缔造者，因为我们的认知和行为方式都在源源不断地产生各种各样的数据;又是大数据的使用者，因为人的大脑几乎每时每刻都在对所观察到和所搜集到的各种数据进行分析，以期得出结论;更是大数据的直接受益者，因为通过对数据的分析和挖掘，大数据的大价值最终体现在指导人的行动并由此推动社会的不断进步。

1、合理获取数据

在大数据时代，数据的产生速度飞快而且体量庞大。各种机构、个人都在不断地向外产生和发布结构化与非结构化的复杂数据，并进行数据交换，如人们当前最常用的数据来源渠道——互联网，每天的数据交换量已极为惊人。

在这种情况下，由于数据传播的速度极快，且在传播过程中本身已有可能通过交换发生多次变换而生成了更多的复杂数据，那么，对我们普通人来说，当数据充分融合在一起的时候就很难分辨其真正的来源。即使能够弄清楚数据的真正来源，你又将面临那些复杂的非结构化数据的考验。

大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式。针对大数据时代的基本特征，加强全方位创新。很多的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。

2、存储随需而变

美国一家知名的 DVD 租赁企业每年都会邀请一些协同处理算法的专家对其用户数据进行分析，从而了解租赁客户的需求。一些美国金融企业甚至提出了分析即服务的理念。金融、电信、互联网等企业对大数据的处理和分析有迫切的需求。与传统的商务智能应用相比，大数据对企业数据的处理能力和商务智能软件提出了更高要求：首先，企业必须具备处理大量数据的能力，因为有的企业可能一天之内就要多次处理 PB 级的数据，这是一些传统的存储设备所不能胜任的;其次，传统的数据仓库软件是针对结构化数据设计的，而大数据包含的主要是非结构化的数据，因此传统的数据仓库软件必须改变。

3、筛选与分析大数据

充分利用数据“洞察”自己身边的人或物，在诸多供给方当中精准地匹配自身需求，从而最大限度地满足自身吁求也是大数据价值的应有之义。为此，即使是普通人也应具备一定的数据筛选和识别能力。这些数据传播渠道所发布的数据往往有其针对性和倾向性，甚至带有误导性，这时就需要数据使用者具备一定的甄别能力，才能真正充分利用大数据实现自身价值的最大化。

大数据能够为我所用而产生价值，离不开使用者具备一定的数据分析技能。当然，普通人未必要掌握数理分析、数据挖掘等专业统计技能，但有必要学会对一些常用的指标数据结合其应用背景进行简单分析。比如，大家熟悉的CPI、天气指数、幸福指数等统计指标，信用卡消费账单等个人信息等，其实这些都是大数据价值的体现形式，要想读懂这些数据信息并了解数字背后所反映的经济运行机理或个人消费行为模式，就需要对其进行一定的分析。

大数据时代对数据分析要求很高，所以培养大数据时代分析的人才必不可少，只有具备大数据专业方面的知识，才能更好地去研究大数据蕴含的特殊技能。

4、理性面对大数据的价值诱惑

毫无疑问，大数据时代将是商业智能“大显身手”的时代。企业利用发达的数据挖掘技术正日益精准地揣摩着消费者心态，并运用各种手段对其“循循善诱” 。如今，当人们上网购物时，只要输入想要购买的物品，大部分商家都会依据所输入的信息弹出相关的推荐产品，更有甚者还能够利用人们的搜索记录和地理位置信息在其浏览网页的过程中植入符合人们需求的精准广告。

5.社交网络的大数据分析

互联网社交网络信息处理构成了一个典型的大数据系统，面向社交网络的大数据管理分析与服务综合运用搜索引擎技术、文本处理技术、自然语言处理和智能分析等技术，对互联网海量社交网络信息自动获取和分析，提供面向互联网的热点话题监测、分析、挖掘、溯源以及报表展示等功能，满足社交网络数据监控和热点事件追踪工作中各个环节的用户需求。面向社交网络的大数据管理分析与服务适用于宣传、公安、安全等部门进行舆论监测、引导和管理，也适用于企业进行产品口碑跟踪、技术情报收集和精准营销。

社交网络大数据分析需要有大数据的技术与产品支持，发达国家一些信息技术企业已提前发力，通过加大开发力度和兼并等多种手段，成为大数据解决方案提供商。但过分依赖国外的大数据分析与技术平台，难以回避信息泄密风险。因此，在社交网络大数据分析领域，我们需要有自主可控的大数据技术与产品。

社交网络大数据成为了当前的应用热点，在大数据应用和落地方面具备先天的优势和基础。社交网络大数据的处理能力直接关系到国家的信息安全和社会稳定，建立安全和谐的网络环境是国家的重大战略需求，是促使长治久安的大事。而从产业发展的角度来看，建立面向社交网络的大数据管理分析与服务平台并实现产业化推广，对于支撑产业链的良性发展具有积极意义。我国拥有世界上最多的网民和最大的网络访问量，在社交网络大数据分析方面已经具有良好的基础，有望做出世界领先的原始创新成果，应该加大社交网络大数据分析方面的研究力度，培育一批从事社交网络大数据管理分析与服务的企业。

在数字时代，人们的生活方式和思考方式在发生一系列的变化，这种变化同样也使得人们的消费观念发生较大的转变。大数据时代对生活、工作的影响大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循?数?

管理的模式，也是我们当下?大社会?的集中体现，三分技术，七分数据，得数据者得天下。