大数据与互联网信息挖掘

大数据与互联网信息挖掘

学习体会

前言

现在是一个技术奔腾、信息爆炸的社会，大数据这个新概念一出现就受到了人们极大的热捧。作为一名计算机与网络专业的学生，更是深刻地体会到身处网络的信息海洋中，常常会有被数据、信息“淹没”窒息感和无力感。面对海量的网络信息，我们的眼中不应该只是屏幕上的代码和设备中的0和1，我们更要看到这些看似没什么联系的信息中，隐藏的深层信息，和它们背后潜在的巨大机遇。

学习了这门课程后，我对大数据有了更深刻的理解，在此，从以下几方面谈谈我的看法。

首先，什么是大数据？

大数据指一般的软件工具难以捕捉、管理和分析的大容量非结构数据，一般以“太字节”为单位。构成大数据的信息主要包括：宽带普及带来的巨量日志和通讯记录，社交网络每天不断更新的个人信息，视频通讯、医疗影像、地理信息、监控录像等视频记录，传感器、导航设备等非传统IT 设备产生的数据信息，以及持续增加的各种智能终端产生的图片及信息，这些信息呈爆炸性增长，不断涌入网络海洋。大数据之大并不仅仅在于容量之大，更大的意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来大知识、大科技、大利润和大发展。

我看过一本书，书中引用了几个十分经典的案例，向我们深入浅出地诠释了大数据的含义和意义，我从这几件案例中也总结出了一些启示。

案例一、美国总统奥巴马成功当选竟然靠的大数据？！

奥巴马在2012年的总统大选中之所以最后胜出，借用了大数据的方法，通过对目标选民的细分，奥巴马的竞选团队甚至对每一个个体选民进行统计，如年龄，性别甚至喜欢在什么时段收看节目……这样，在投放广告时才更有针对性。竞选结果表明，他仅以微弱的优势获得了胜利，而这微弱优势的选票，也许就来自于接收到精准投放广告的那部分选民。

启示：大数据并不是一门高深的“技术”，而是一种思维方式。从部分抽样到全部抽样，不再是传统统计学对趋势的把握，而更加注重个体特征的综合分析，从而得出更有针对性的决策和判断。

案例二、亚马逊的华丽转身——大数据公司

会员为亚马逊贡献了三分之一的运营收入，而究其原因，大概与亚马逊精准的“推荐系统”有关。曾在亚马逊的网站上消费过的朋友可能注意过，当你选择一种商品的时

候，他总会很贴心地为你推荐相关的产品。拿国内流行的一句话说：“他比你更了解你自己”。

启示：大数据的商业意义在于，通过海量的收集、挖掘，数据会自动做出更有说服力的选择，真正做到“让数据说话”。需要关注的是，大数据与传统的统计相比，由于样本量趋于无穷大，所以在帮助人们决策时，往往更具科学性，也更有洞察力。正因为大数据在商业上的价值在亚马逊上得到了验证，业内甚至有人评论：“亚马逊并不是家商务公司，而是一家大数据公司。”

案例三、挽救早产儿—生命本该不脆弱

在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。而研究表明，那些由于早产不幸夭折的孩子们在“特定时期”并不会有剧烈的生命体征变化，而通过大数据分析，只要及时进行医疗干预，这些灾难完全可以避免。

启示：大数据的魔力在于不仅仅是事后的分析评估，而是能够在某种程度上“预知未来”。如果被预测出来的“时间窗口”事关重大甚至像上面的案例讲的——“人命关天”，那大数据的价值将不可限量。

通过以上三个案例可以看出，大数据已经从政治、商业、医疗等各个方面影响人们的生活了。依靠数据做决策看似机械、古板，实际上，如果一个机构从来不充分利用自己的数据，那就和一个人有过目不忘的本事却从来不动脑筋没有分别。在移动互联网时代，智能终端的快速普及让每个人都能消费数据，然而，在消费的同时，我们每个人也都在无时不刻地生产数据，我们的位置、速度、阅读信息等等……这个世界进入了“大数据”时代。

案例四、航空公司也能生产大数据？

一家德国的航空公司，在飞机上安装了许多监测设备，在执行日常的飞行任务时，获取大量气象数据（如：气温、气压等），通过采集大量的数据并将其反馈给当地的气象部门，他们惊喜地发现，天气预报的准确率提高了7个百分点。这实在是非常了不起。

启示：“生活中并不缺少美，缺少的是发现美的眼睛。”罗丹在100多年前说的这段话改装一下用在大数据上也同样可信：生活中并不缺乏数据，只是缺乏善于从数据中发现规律的方法。值得注意的是，维克托教授在这里有一个核心观点：大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这是对人们长时间积累起来的思维习惯的一次冲击和挑战，但当我们开始习惯用大数据的思维时，经过一段时间的积累，也许就会发现大数据的魅力了。

大数据时代面临的挑战

大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

大数据时代下的信息技术日渐成熟，但是在高科技发展的今天，也存在着诸多不足，综合各方面信息，我总结出了几点技术上和非技术上大数据时代面临的挑战：

●运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战

●大数据处理和分析的能力远远不及理想中水平，数据量的快速增长，对存储技

术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快

速分析、处理能力。

●大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至

企业用户的商业机密，对个人隐私问题必须引起充分重视；

●大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，如何

创新已成为大数据时代的一个首要问题；

●大数据时代对政府制订规则与监管部门发挥作用提出了新的挑战；

●大数据的可视化还没有达到人们的需求；

●海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；

而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼；

●大数据人才的缺乏，大数据时代对数据分析师的要求极高，只有大数据专业化

的人才，才具备开发预言分析应用程序模型的技能。

大数据时代面临挑战的应对策略

大数据时代的浪潮已经袭来，这对于我们每一个人来说，既是大数据的缔造者，因为我们的认知和行为方式都在源源不断地产生各种各样的数据；又是大数据的使用者，因为人的大脑几乎每时每刻都在对所观察到和所搜集到的各种数据进行分析，以期得出结论；更是大数据的直接受益者，因为通过对数据的分析和挖掘，大数据的大价值最终体现在指导人的行动并由此推动社会的不断进步。面对大数据时代在现如今面临的挑战，个人提出几点应对策略：

1、合理获取数据

在大数据时代，数据的产生速度飞快而且体量庞大，往往以TB或YB甚至是ZB来

衡量。各种机构、个人都在不断地向外产生和发布结构化与非结构化的复杂数据，并进行数据交换，如人们当前最常用的数据来源渠道——互联网，每天的数据交换量已极为惊人。

在这种情况下，由于数据传播的速度极快，且在传播过程中本身已有可能通过交换发生多次变换而生成了更多的复杂数据，那么，对我们普通人来说，当数据充分融合在一起的时候就很难分辨其真正的来源。即使能够弄清楚数据的真正来源，你又将面临那些复杂的非结构化数据的考验。

大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式。针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速

收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。

2、存储随需而变

美国一家知名的 DVD 租赁企业每年都会邀请一些协同处理算法的专家对其用户数

据进行分析，从而了解租赁客户的需求。一些美国金融企业甚至提出了分析即服务的理念。陶波表示，金融、电信、互联网等企业对大数据的处理和分析有迫切的需求。与传统的商务智能应用相比，大数据对企业数据的处理能力和商务智能软件提出了更高要求：首先，企业必须具备处理大量数据的能力，因为有的企业可能一天之内就要多次处理 PB 级的数据，这是一些传统的存储设备所不能胜任的；其次，传统的数据仓库软件是针对结构化数据设计的，而大数据包含的主要是非结构化的数据，因此传统的数据仓库软件必须改变。

3、筛选与分析大数据

充分利用数据“洞察”自己身边的人或物，在诸多供给方当中精准地匹配自身需求，从而最大限度地满足自身吁求也是大数据价值的应有之义。为此，即使是普通人也应具备一定的数据筛选和识别能力。这些数据传播渠道所发布的数据往往有其针对性和倾向性，甚至带有误导性，这时就需要数据使用者具备一定的甄别能力，才能真正充分利用大数据实现自身价值的最大化。

大数据能够为我所用而产生价值，离不开使用者具备一定的数据分析技能。当然，普通人未必要掌握数理分析、数据挖掘等专业统计技能，但有必要学会对一些常用的指标数据结合其应用背景进行简单分析。比如，大家熟悉的CPI、天气指数、幸福指数等统计指标，信用卡消费账单等个人信息等，其实这些都是大数据价值的体现形式，要想读懂这些数据信息并了解数字背后所反映的经济运行机理或个人消费行为模式，就需要对其进行一定的分析。

大数据时代对数据分析要求很高，所以培养大数据时代分析的人才必不可少，只有具备大数据专业方面的知识，才能更好地去研究大数据蕴含的特殊技能。

4、理性面对大数据的价值诱惑

毫无疑问，大数据时代将是商业智能“大显身手”的时代。企业利用发达的数据挖掘技术正日益精准地揣摩着消费者心态，并运用各种手段对其“循循善诱”。如今，

当人们上网购物时，只要输入想要购买的物品，大部分商家都会依据所输入的信息弹出相关的推荐产品，更有甚者还能够利用人们的搜索记录和地理位置信息在其浏览网页的过程中植入符合人们需求的精准广告。

结语

大数据时代是信息社会运作的必然结果，而借由它，人类的信息社会更上一个台阶。

农业社会人们以土地为核心资源，工业时代转为能源，信息社会则将变更为数据。谁掌握数据，以及数据分析方法，谁就将在这个大数据时代胜出，无论是商业组织，还是国家文明。只要充分发挥大数据时代的价值、迎接好大数据面临的挑战并及时应对，就会处于大数据时代领域里的不败之地。

作为一名计算机网络相关专业的学生，在这个技术飞速发展，数据爆炸的时代，眼前充满了各种各样的机遇与挑战，我们只有扎实地学好专业技能，多探索，多实践，多感悟，才能找到自己的成功之路。