迎接大数据时代的来临_倪光南

6
科学研究方法（范式）的发展
科学研究范式（paradigm）的发展过程，最早是实验型科 研（Experimental Science），这已有几千年的历史了，后来发 展到理论型科研（Theore;cal Science），这也有数百年的历史 了，近几十年发展到计算型科研（Computa;onal Science），现 在则推进到第四范式——以大数据为基础的数据密集型科研 （Data-­‐intensive Science）。
美国流感传染率的官方数据与基于推特的数据比较17
推特上关于米价的贴子 （每月）
实际米价
在印尼的推特上，讨论米价的信息和实际米价的关系
18
领先标志 降低汽 车档次
失业高峰
滞后标志 增加典押和 出租
减少杂 品开销
减少保健 开支
多乘公 共交通
取消度假
19 观察社会媒体揭示了领先或滞后于失业高峰的某些标志
§
§
11
大数据支撑平台的分层思路
来源：姚宏宇，《大数据与云计算》
12
数据可视化
美国全国枪击死亡情况
数据可视化是关于数据之视觉表现形式的研究；其中，这种数据
的视觉表现形式被定义为一种以某种概要形式抽提出来的信息，包括 相应信息单位的各种属性和变量。数据可视化主要旨在借助于图形化 手段，清晰有效地传达与沟通信息，并且早在大数据出现之前就已经 被广泛地应用了；但在大数据领域，可视化技术具有了更大的作用。
2013 中国国际云计算技术和应用论坛 （Cloud China 2013）
迎接大数据时代的来临
——大数据发生、特征、科研范式、处理与应用
倪光南编写 2013年4月7-8日
1
从商业智能（BI）到大数据
n 大数据从数据挖掘、商业智能（BI）发展而来，经典 实例如下： n “啤酒与尿布”：20世纪90年代沃尔玛的超市管理人员分析
20
21
用大数据指导政府网站建设
国家信息中心：《中国政府网站发展数据报告
用大数据指导政府网站建设（续）
国家信息中心：《中国政府网站发展数据报告2012》
大数据对决策者的意义
n 早期预警：早期检测居民使用数字设备和服务中的异常 可以在时间上快速响应危机； n 实时感知：大数据可以描绘一幅关于现实情况的很细粒 度的且当前的表述，它有助于制定行动计划和政策； n 实时反馈：大数据具有实时监测居民的能力，使其可用 来了解哪里政策和行动计划失效并作出必要的调整。 n 应当指出：实时的大数据信息不能代替政府决策时传统 应用的定量的统计证据，但如正确理解的话，它可以表 明哪里需要做进一步的调查（在时间不太紧要的情况 下），或者哪里需要作出立即的响应（在发生自然灾难 情况下），而这是其他手段无法做到的。
l 对突发事件 更快的跟踪 和响应 l 对危机性质 和变化的更 好了解 l 对需要服务 地区的准确 定位 l 对供求关系 的预测能力
共享 数据
数据挖掘 和分析
9
hCp:///docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf
数据来源
应用领域
大数据的一些特性
n 大数据的“实时”性并不意味着真正的实时，而往往 是近似的“实时”：
n 在一个相对短、相对新的时间里产生并可资利用； n 在一个与场景有关的短时期里，即能容许作出响应，并 判定效果的一个时间段里（即容许产生一个反馈过程） 产生并可资利用。
n 新的数字数据源的特点：
15
Source: hCp:///denguetrends/about/how.html
“Google登革热趋势”利用搜索数据近乎实时地估计登革热在 全球的传播情况 16 （蓝色——该系统估计数据，橙色——巴西官方数据）
Source: « You Are What You Tweet: Analyzing TwiCer for Public Health. M. J. Paul and M. Dredze, 2011. hCp:///%7Empaul/files/2011.icwsm.twiCer_health.pdf
大数据时代的 美国总统选举
n 奥巴马竞选活动经理Jim Messina： “我们要用数据去衡量这场竞选活动中 的每一件事情。” n 芝加哥竞选总部还任命Rayid Ghani为“首席科学家”，此人是埃森哲技术实 验室的分析性研究带头人，新的大数据库能让竞选团队筹集到比他们曾预料 到的更多的资金。 n 华盛顿那些基于直觉与经验决策的竞选人士的优势在急剧下降，取而代之的 是数量分析专家与电脑程序员的工作，一位官员说：“在政治领域，大数据 的时代已经到来。”
大数据的一个典型处理流程
典型的大数据处理流程包括：数据的获取和记录、数据 的清洁/抽取/标注、数据的整合/聚类/表达、数据的分析/建 模和数据解释等5个阶段。在处理的过程中，异构性、规模、 即时性、复杂性和隐私权等问题是大数据想要创造价值所需 解决的困难。
资料来源：潘柱廷，《攻击大数据》
7
各种科学研究范式的关系
n 这几种范式在实际科研中往往同时使用，相辅相成。 n 第一种范式即实验型科研是最基本的方法，因为任何科学都 需要用实验来检验；理论在未经实验证实前，只能作为假设 ，所以第二种范式即理论型科研是以实验为基础并依赖于实 验验证的；第三种范式即计算型科研往往需要利用第二种范 式取得的成果，即需要在理论的指导下，利用计算能力发挥 理论的作用；同样，第四种范式可以认为是第三种范式的 延伸，它们都依赖于计算能力，只是第三种范式是在已知规 律的情况下，运用计算能力发挥规律的作用，而第四种范式 则是在未知规律的情况下，运用计算能力从大数据中发现规 律并发挥规律的作用。 n 第四种范式是否将成为基本的科研方法还有待于实践的进一 步检验，但其重要性已毋庸置疑。
n n n n 从人们使用数字服务被动收集到的交易数据 联机数据，网页搜索、新闻媒体和社会媒体的交互数据 物理传感器数据 居民报告或群体源的主动数据
5
科学研究的第四范式
n 图灵奖获得者吉姆•格雷（Jim Gray）基于e-Science的思路提出： 大数据是科学研究的第四范式（the fourth paradigm）。 n e-Science是英国科学技术局研究理事会前任会长约翰•泰勒 (John Taylor)提出的，它实际上是一种基础设施，它提供了一 种信息化的科学研究的环境和平台，使得不同学科领域的研究 和科研活动能够有针对地开发特定的科学研究与应用。实际上， 像现在的核反应模拟、航空航天设计、生命科学研究……无一 不依赖于高性能计算机及相应的数值计算方法，属于计算密集 型科研。 n 第四范式的思想是和e-Science一脉相承的，第四范式是从计算 密集型科研发展到以大数据为基础的数据密集型科研方法，从 目前看来它将在越来越多领域的研究中发挥重大的甚至是决定 性的作用。
销售数据时发现了一个令人难于理解的现象：在某些特定的情 况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常 出现在同一个购物篮中。这样，他们在尿布货柜附近放置了 啤酒，结果销量大幅上升。 n 美国第二大超市Target为了抓住含金量很高的一个顾客群体— —孕妇，通过数据挖掘建立了一个模型，选出了25种典型商品 的消费数据构建了“怀孕预测指数”，由此，它能在很小的误 差范围内预测到顾客的怀孕情况，从而能早早地把孕妇优惠广 告夹杂在其他一大堆与怀孕不相关的商品广告中发出去，有效 地招揽了孕妇顾客群。这种优惠广告间接地令一个蒙在鼓里的 父亲意外发现他高中生的女儿怀孕了，一时轰动全美。
13
来源：《可视化数据告诉你美国枪击案到底多严重》
美国
可视化技术应用实例
俄国 荷兰
意大利 印度 德国 中国 法国 西班牙
日本 伊朗 巴西
14
h$p://internet-­‐
关联性分析、发现异常
n 很多时候，从新的数字数据源提供的数据中发现的关联性会 正确地反映传统的官方统计，从而能提供更便宜、更快的、 近似的预测。 n 发现相关性只是手段，重要目的是利用相关性以及其他手段 来发现人类社会活动的异常，帮助制订正确的反应策略。 n 许多新数据源的价值不仅在于它的规模和速度，还在于它所 包含信息的丰富性。在许多情况下，大数据不仅是官方统计 数据的代替或作为它的近似，而且能对它进行补充，增加深 度和细节。 n 定性的社会媒体信息越多，越有助于描绘出一个关于事件的 全貌，便于做出快速响应。这里，大数据的规模、速度和数 据本性的组合具有很大的价值。
10
资料来源：《Challenges and Opportuni;es with Big Data》
大数据和云计算
§ 如果说大数据是一座蕴含巨大价值的矿藏，云计算则可以被 看作是采矿作业的得力工具；而且，云计算也是为了解决大 数据等“大”问题而发展而来的技术趋势，没有大数据的 需求，云计算的功用也将得不到完全发挥。因此，大数据与 云计算是相辅相成的。 对于大数据而言，云计算的意义不仅在于通过相关技术解决 各种具体问题，还在于通过云计算构建一种通用、高效和可 靠的大数据支撑平台，掌握以数据流为中心的系统集成思想 ，在大数据应用层面探索更广阔的内容。 为了更好地利用大数据的价值，我们需要用一种新的思路来 考虑支撑整个数据处理过程的体系架构，即把分层的思路从 单一系统的架构中延展到整个平台范围，将整个数据处理平 台按照分层的思路统一规划设计，依据系统不同组件的物理 和逻辑特性在系统范围内分层。
8
大数据生态系统
个人： 数据形式：群体源信息、被 吸取数据 动力：价格/优惠、改进服 务 要求：隐私权标准、选择权 公共部门： 数据形式：统计、保健、税 收、经费信息、设施数据 动力：改进服务保障、提升 经费效率 要求：隐私权标准、选择权 私人部门： 数据形式：交易数据、消费和 用户信息 动力：改进客户知识和预测趋 势能力 要求：商 随着互联网、移动互联网的发展，1. 数据产生和发送的速度和频 率急剧增长；2. 数据源的数目和种类上升。全球范围内可用的数 字数据从2005年的150EB增长到2010年的1200EB。预计在以后一些 年里将年增长40%，即相当于人口增长速度的40倍。这意味着数字 数据从2007到2020将增长44倍，或每20个月翻一番。 n 这些新的数字数据源包括搜索、新闻、博客、微博等社交网、移 动电话和短信、热线电话、监控数据、遥测数据……，产生的新 数据的特点是：一般以数字方式产生；往往是我们日常生活或与 数字服务交互的副产品；一般是自动收集、有在数据产生时同时 提取和存储它的系统；在地理上或短时期里可以跟踪，如手机位 置数据或通话持续时间；可连续地进行实时或近乎实时的分析。 n 这些新的情况再加上云计算的发展，为大数据提供了合适的环境 和处理能力，推动数据挖掘、商业智能发展到大数据。