大数据、云计算、物联网关键技术与未来

规模性（Volume） 多样性（Variety） 高速性（Velocity）
价值性（Value）
（IDC） “4V”定义
11
UPC
全球网民平均每月 使用流量（MB）
12000 10240 10000
8000
6000
4000
全球流量累计达到1EB（即10亿GB） 的时间 一年（2001） 一个月（2004） 一周（2007） 一天（2013） 一天产生的信息量可刻满1.88亿张DVD光盘
云计算发展背景
需求推动、技术进步、商业模式变革
超过4万台服务器 约需要20P（2千万 G）以上空间
视频
Youtube超过10亿个视频短 片，每秒有1万人次观看 （每天超过10亿人次）
智慧地球
云计算：从现在开始
Facebook保存有 800亿张照片，每 秒有60万人次访问
照片
音乐
RFID、传感器
物联网 万亿级 移动互联网 40亿 20亿
Cloud Computing
大数据与云计算的技术与未来
DMT
第一部分 大数据时代的思维变革
大数据定义
UPC
A REVOLUTION THAT WILL TRANSFROM HOW WE LIVE, WORK, AND THINK
大数据(Big Data)，或称巨量资料，指的是所涉 及的资料量规模巨大到无法通过目前主流软件工具
经降临，在商业、经济及其他领域中，决策将日益基于数据和分析 而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据
资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所
有领域都将开始这种进程。”
亚马逊前任首席科学家Andreas Weigend说：“数据是新的石油。”
执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数
据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的 非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇 从未涉足的世界的窗户。 知道“是什么”就够了，没必要知道“为什么”。在大数据时代 ，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。
5
UPC
2012年3月份美国奥巴马政府发布了“大数据研究和发展倡议”，
投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、 环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计
划被视为美国政府继信息高速公路( Information Highway)计划之后在
信息科学领域的又一重大举措。 2012年5月，联合国发表名为《大数据促 发展：挑战与机遇》的政务白皮书中，指出大 数据对于联合国和各国政府来说是一个历史性 的机遇，还探讨了如何利用包括社交网络在内 大数据资源造福人类。联合国的大数据白皮书 还建议联合国成员国建设“脉搏实验室 ”“Pulse Labs”网络开发大数据的潜在价值
1500亿元。
——2011年，中国云计算服务市场 规模315.54亿元，增长88.6%。
——2012年，中国云计算服务市场
规模将超过600亿元。2013年，将增长到 1174.12亿元。
Inspur group 2016/10/24
UPC
国外云计算发展现状
公司名
Amazon
IaaS
√
PaaS
√
SaaS
一个8Mbps的 摄像头
一小时能产生3.6GB的数据
一个城市每月产生的数据达上千万GB
一个病人的CT影像数据量达几十GB
医院
全国每年需保存的数据达上百亿GB
13
UPC
大数据就如同蜜蜂，其主要价值是传播花粉，自己生产的蜂蜜价值并不大。
2013年世界范围内狭义的大数据产业产值只有186亿美元 ，但广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预 测，开放数据仅在教育、保健等7个行业便可释放3.2万亿～
未来，但是未来往往在你不经意当中已经悄悄
地来到你的身边。
8
UPC
•硬件成本的降低 •网络带宽的提升 •云计算的兴起 •网络技术的发展 •智能终端的普及 •电子商务、社交网络、 电子地图等的全面应用 •物联网
大数据时代到来的必然性：
9
UPC
目前对大数据尚未有一个公认的定义，不同 的定义基本上是从特征出发，试图给出大数 据的定义。
A REVOLUTION THAT WILL TRANSFROM HOW WE LIVE, WORK, AND THINK
2009年H1N1流行病毒背景下谷歌通过检测检索词条，处 理了4.5亿个不同的数据模型，通过预测并与2007年、2008年 美国疾控中心记录的实际流感病例进行对比后，确定了45条检
23
DMT
第二部分 势不可挡的云计算浪潮
云计算体验——方便您的生活
多终端同步-透明
PC / 笔记本 客户端 浏览器 PDA / 手机 / 相机 电子相册 电视
UPC
云
数据中心
运算中心
拍出的相片立即编辑修改


在线编写文档、报告
随时随地写日志 随时随地的身体健康状况监控
2000 1 0 10 100
1024
1998 2000 2003 2008 2014
全球网民平均每月使用流量： 1M（1998） 10M（2000） 100M（2003） 1G（2008） 10G（2014）
12
UPC
我国网民数量居世界之首，每天产生的数据量也位于世界前列。 淘宝网站 单日数据产生量超过5万GB 存储量4000万GB 目前数据总量10亿GB 百度公司 存储网页1万亿页 每天大约要处理60亿次搜索请求
21
三.大数据时代的机遇和挑战
UPC
机遇
•大数据技术促进国家和社会发展 •大数据蓝海成为企业竞争的新焦点 •大数据时代呼唤创新型人才
挑战
•大数据技术的运用仍有困难 •大数据给信息安全带来新挑战
22
UPC
当前,大数据的应用只是冰山一角,绝大部分隐 藏在表面之下。 未来，大数据所带来的精彩值得期待！
大数据很抽象，表示数据规模的庞大。 大数据泛指巨量的数据集，因可从中挖掘出
有价值的信息而受到重视。《华尔街日报》
将大数据时代、智能化生产、无线网络革命 称为引领未来繁荣发展的重大技术变革。
10
UPC
维基百科给出的定义： 大数据是指利用常用软件工 具捕获、管理和处理数据所耗时 “3V”定义 间超过可容忍时间的数据集。
大数据时代的生活令人神往，你对客观世界的认识更进了一步， 所做的决策也不再仅仅依赖主观判断。甚至于你的一个习惯动作、 你的一次消费行为、你的一份就诊记录，都正在被巨大的数字网络
串联起来。移动互联网风潮汹涌。大数据正悄悄包围着我们。甚至
连世界经济格局也在酝酿着巨大变革！
4
UPC
《纽约时报》2012年2月的一篇专栏中所称 ，“大数据”时代已
Business Administration | Tianjin University of Finance and Economics
二.大数据的应用领域
教育学 天文学
UPC
情报学
电子政务
公共服务 传媒业 商业智能 图书馆学 市场营销 总统选举
16
生物医学 气候学 金融学
企业管理 生活娱乐
UPC
√
云计算技术和业务开展情况 将过剩的闲散IT资源整合起来为客户提供服务，提高资源利用率，增长新的利润增长点
Goo百度文库le
√
√
为搜索等互联网业务建立的低成本、高可扩展的数据处理平台。为了打击竞争对手Microsoft，推 出了Google Doc等SaaS服务，为了与Amazon抗衡，同时提高资源利用率，将剩余资源开放出来 提供PaaS服务.同时Google也是云计算技术的领导者
似乎都高兴，那就买入；如果大家的焦虑
情绪上升，那就抛售。 这一招收效显著——当年第一季度，
霍廷的公司获得了7%的收益率。
20
UPC
大数据首次播报春运迁徙实况
40天，36亿人次。这是2014年春运的总时间和总出行人数。在这场堪称 人类历史上最大规模的短期迁徙中，人群从哪儿去了哪儿？哪些线路最热门 ？在以往，这些问题可能难以精确回答。但随着技术进步，通过应用“大数 据”这一技术利器，人们已经接近“在迷宫中感受全局”地看见春运的全景 。
，在合理时间内达到撷取、管理、处理、并整理成
为有价值的信息。 大数据技术，是指从各种各样类型的数据中，快 速获得有价值信息的能力。
Business Administration | Tianjin University of Finance and Economics
一.认识大数据时代
UPC
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。 麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域 ，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新 一波生产率增长和消费者盈余浪潮的到来。”
UPC
引言
最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有 这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势 。 《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件 Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文 档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。
与移动互联网，悄然为记录人的行为数据提
供了最为便利、持久的载体。最重要的是， 在这些强大的数据收集终端面前，人们没有 掩饰的意图，从而创造着过去无法收集与分 析的海量数据，这让所有社会科学领域能够 从宏观群体走向微观个体，让跟踪每一个人 的数据成为了可能，从而让研究人性成为了 可能。
变革公共卫生
UPC
大数据帮助奥巴马 成功实现连任
奥巴马的数据团队对数 以千万计的选民邮件进行了大 数据挖掘，精确预测出了更可
能拥护奥巴马的选民类型，并
进行了有针对性的宣传，从而 帮助奥巴马成为了美国历史上
唯一一位在竞选经费处于劣势
下实现连任的总统。
UPC
奥巴马的例子告诉我们，只要数据量够
大，够及时，挖掘够深刻，我们完全可以洞 悉每个选民的投票几率。迅速普及的互联网
索词条组合，并将其用于一个特定的数学模型后，预测的结果
与官方数据的相关系数高达97%。按照传统的信息返回流程， 通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾 病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所 未有的方式，通过海量数据分析得出流感所传播的范围，为世 界预测流感提供了一种更快捷的预测工具。
由原来卖软件license转型为出租软件的SaaS服务，进一步扩展到PaaS服务领域（Force.com） Sales Force.com √ √ 为用户提供社交网络服务，支撑系统采用低成本PC构建云计算平台进行照片存储、后台日志分 析及智能推荐等，降低系统成本，增强竞争力。基于开源Hadoop开发了Hive系统，支持海量数据 仓库应用。 提供Azure解决方案，包括基于Windows的虚拟计算环境和存储、以及在此基础上提供的Live、 .Net、SQL服务能力 基于IBM小型机、x系列PC服务器、数据库、中间件软件以及Tivoli系统管理软件提供按需计费的 资源管理解决方案，提供Lotus Live等在线应用解决方案
Business Administration | Tianjin University of Finance and Economics
UPC
金融领域
华尔街“德温特资本市场”公司首席 执行官保罗·霍廷每天的工作之一，就是 利用电脑程序分析全球3.4亿微博账户的 留言，进而判断民众情绪，再以“1”到 “50” 进行打分。根据打分结果，霍廷 再决定如何处理手中数以百万美元计的股 票。霍廷的判断原则很简单：如果所有人
6
UPC
随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的 力量。因此2013年被许多国外媒体和专家称为“大数据元年”。
得 数 据 者 得 天 下 。
三 分 技 术 ， 七 分 数 据 ，
当 今 “ 大 社 会 ” ，
7
UPC
《大数据时代：生活、工作与思维的大变 革》一书的作者维克托·迈尔·舍恩伯格，如 是说，“如果你是一个个人，如果你拒绝的话 ，可能会失去生命，如果是一个国家的话，拒 绝大数据时代的话，可能失去这个国家的未来 ，失去一代人的未来。” 这一句话恐怕不能算作耸人听闻，因为每 当人们站在现在这个节点的时候，总会去眺望
5.4万亿美元的经济价值。
14
不是随机样本，而是全体数据
UPC
A REVOLUTION THAT WILL TRANSFROM HOW WE LIVE, WORK, AND THINK
当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进 行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是 所有的数据，“样本=总体”。
文本
上网本、智能手机
互联网：90年代初
笔记本电脑 桌面电脑
个人电脑：80年中期
10亿
UPC
云计算浪潮势不可挡！！ 必须顺应时代的潮流~~
UPC
UPC
一组数据
——2012年，全球财富1000强企业 中将有80%的使用云计算服务；到2015年， 使用云计算的企业的比率有望提高到95%。 ——2013年，全球云计算市场规模 将超1000亿美元。2020年，规模将达到