大数据--第一章
第1章 认识大数据
谢 谢！
高等教育出版社
Higher Education Press
1.4.2 大数据导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海 量数据进行有效的分析，还是应该将这些来自前端的数据导 入到一个集中的大型分布式数据库，或者分布式存储集群， 并且可以在导入基础上做一些简单的清洗和预处理工作。
1.4.3 大数据统计与分析
大数据时代的来临将对我们的现实生活、企业的运营 管理模式提出了新的挑战，也带来新的市场机会。大数据技 术的战略意义不在于掌握庞大的数据信息，而在于对这些数 据进行专业化处理。可以说大数据分析是决策过程中的决定 性因素，也是大数据时代发挥数据价值的关键环节。大数据 分析技术帮助企业了解客户、锁定资源、规划生产、开拓新 的业务。
➢ 1.5 大数据思维 ➢ 1.5.1 InfoSphere BigInsights简介 ➢ 1.5.2 BigQuery简介 ➢ 1.5.3 “魔镜”简介
➢ 1.6 大数据的应用 ➢ 1.6.1 大数据助石油公司智能营销 ➢ 1.6.2 大数据在乳业公司预测产奶量
➢ 实验1 认识大数据分析工具“魔镜”
1.1.2 大数据的特征
与传统数据的产生方式相比，大数据具有三个明显的特 征：
数据量大：数据量大是大数据的明显特征，一般计量单 位都是PB、EB甚至ZB。
非结构性：大数据既包含结构化数据也包含非结构化数 据，而且通过特定的大数据技术从大量非结构化数据中提取 有用的信息。
实时性：在互联网高速发展的背景下，我们所谈到的大 数据不仅仅数量巨大，实时性、动态性成了大数据的另一重 要特征。
1.数据思维的最核心是利用数据解决问题。 2.大数据关注“有用”。 3.由关注精确度转变为关注效率。 4.关注定制产品。
第1章 大数据介绍
非结构化数据
另一类称为非结构化数据，是指数据结构不规则或不完整，甚至没有预定义的
文本数据比结构化数据要占用更多的内存，比如“hello！”这样一个简单的 单词，计算机用二进制表示出来，会看到一长串数字。那么可想而知，大量的 文本将占用更多的存储空间，表示起来也更加复杂。
图像是另一种非结构化数据。一张标有数字8的图像，大家看到它可能会想到 马路上各种各样的广告牌和数字显示LED屏。这个图像是由很多小方格组成的， 小方格被称为像素点。
（2）非结构化数据常指不规则或不完整的数据，包括所有格式的办公文档、 XML、HTML、各类报表、图片、图像以及咅频、视频信息等。企业中80%的数 据都是非结构化数据，这些数据每年都按指数增长60%。相对于以往便于存储的
语音是第三种非结构化数据形式。例如人说话的声音、唱歌，都是由于空气 震动而产生的声波。除了空气以外，在固体和液体中声音也是可以传播的。
第四类非结构化数据是视频，它是由一系列的静态影像与声音组合而成的。 视频按照一定的刷新频率进行刷新和播放，利用了人眼的视觉暂留原理，当播 放的速率超过每秒24帧以上时，可以给人一种平滑连续变化的动态视觉效果。
“大数据”一词在1980年未来学家阿尔文·托夫勒著的《第三次浪潮》书中将 “大数据”称为“第三次浪潮的华彩乐章”。
1997年美国宇航局研究员迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据” 这一术语来描述20世纪90年代的挑战。
2007–2008年随着社交网络的激增，技术博客和专业人士为“大数据” 概念注 入新的生机。
01第一章 初识Hadoop大数据技术
第1章初识Hadoop大数据技术本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的解决方案、Hadoop大数据技术以及Hadoop的应用案例。
本章的主要内容如下。
（1）大数据技术概述。
（2）Google的三篇论文及其思想。
（3）Hadoop概述。
（4）Hadoop生态圈。
（5）Hadoop的典型应用场景和应用架构。
1.1 大数据技术概述1.1.1 大数据产生的背景1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。
19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。
Hadoop 大数据技术与应用图1-1 数据管理技术在2001年前的两个发展阶段 2001年后，互联网迅速发展，数据量成倍递增。
据统计，目前，超过150亿个设备连接到互联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube 网站，Facebook 网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 。
2016年全球产生数据量16.1ZB ，预计2020年将增长到35ZB （1ZB = 1百万，PB = 10亿TB ），如图1-2所示。
图1-2 IDC 数据量增长预测报告2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC 公司一直倡导的云计算概念外，还抛出了“大数据”（BigData ）的概念。
2011年6月底，IBM 、麦肯锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。
19世纪60年代，IT 系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导1946年，计算机诞生，数据与应用紧密捆绑在文件中，彼此不分1946 1951 1956 1961 1970 1974 1979 1991 2001 … 网络型E-RSQL 关系型数据库 数据仓库 第一台 计算机 ENIAC 面世 磁带+ 卡片 人工 管理 磁盘被发明，进入文件管理时代 GE 公司发明第一个网络模型数据库，但仅限于GE 自己的主机 IBM E. F.Dodd 提出关系模型 SQL 语言被发明 ORACLE 发布第一个商用SQL 关系数据库，后续快速发展数据仓库开始涌现，关系数据库开始全面普及且与平台无关，数据管理技术进入成熟期 0.8ZB ：将一堆DVD 堆起来够地球到月亮一个来回 35ZB ：将一堆DVD 堆起来是地球到火星距离的一半IDC 报告“Data Universe Study ”预测：全世界数据量将从2009年的0.8ZB 增长到2020年的35ZB ，增长44倍！年均增长率>40%！1.1.2 大数据的定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
大数据导论第一章总结
大数据导论第一章总结大数据导论是一门介绍大数据的基本概念、技术和应用的课程。
通过学习这门课程，我们可以深入了解大数据的定义、特点和挑战，以及大数据的处理和分析方法。
本章主要介绍了大数据的概念和背景，并讨论了大数据对社会和经济的影响。
本章明确了大数据的概念。
大数据是指规模巨大、种类繁多且产生速度快的数据集合。
这些数据通常无法使用传统的数据处理方法进行管理和分析。
大数据的特点包括四个方面：数据量大、速度快、多样性和价值密度低。
接着，本章介绍了大数据的背景和发展。
随着互联网的快速发展和智能设备的普及，大数据的产生和积累呈现出指数级的增长。
大数据的发展给各行业带来了巨大的机遇和挑战。
通过对大数据的分析，我们可以发现隐藏在数据中的规律和趋势，从而为决策提供科学依据。
然后，本章探讨了大数据对社会和经济的影响。
大数据的广泛应用已经改变了许多行业的商业模式和运营方式。
例如，在医疗健康领域，大数据可以帮助医生进行个性化诊断和治疗，提高医疗服务的质量和效率。
在金融领域，大数据可以用于风险管理和反欺诈等方面，提高金融机构的安全性和稳定性。
本章总结了大数据的重要性和挑战。
大数据具有巨大的潜力，可以为社会和经济发展带来巨大的推动力。
然而，大数据的处理和分析也面临着诸多挑战，如数据隐私和安全、数据质量和数据分析能力等方面。
因此，我们需要不断发展和完善大数据的技术和方法，以应对这些挑战。
大数据导论第一章介绍了大数据的概念、背景和发展，以及大数据对社会和经济的影响。
通过学习这门课程，我们可以深入了解大数据的本质和应用，为未来的数据科学和数据分析奠定基础。
大数据的时代已经来临，我们需要积极适应和应对，以更好地利用大数据的潜力推动社会和经济的发展。
《大数据技术原理与应用》第二版-第一章大数据概述
《⼤数据技术原理与应⽤》第⼆版-第⼀章⼤数据概述
数据量⼤
数据类型繁多
处理速度快
价值密度低
研究变化经历了从实验到理论到计算再到数据
思维的变化
1. 全样⽽⾮抽样
2. 效率⽽⾮精准
3. 相关⽽⾮因果
1. 批处理计算，主要针对于⼤规模的数据批量处理。
MapReduce⽤于⼤规模的数据集（1TB）的并⾏运算。
Spark是⼀个针对超⼤数据集合低延时的集群分布式计算系
统，⽐MapReduce快许多。
2. 流计算，流数据或数据流是指在时间分布和数量上⽆限的⼀系列动态数据集合，必须采⽤实时计算⽅式给出秒级响应。
商业级平台：Streams、StreamBase；第⼆类
是开源的计算平台，Storm、Yahoo、S4、Spark Streaming
3. 图计算。
Pregel是实现并⾏图处理系统，主要⽤于图遍历、最短路径、PageRank计算，还有其他Giraph、GraphX、PowerGraph、GoldenOrb、Hama
4. 查询分析计算，需要提供实时或准实时的响应，⾕歌的Dremel、Impala、Hive、Cassandra
1. 云计算包括三种典型的服务模式，IaaS（基础设施服务即计算资源和存储）、PaaS（平台即服务）、SaaS（软件即服务）
2. 公有云、私有云、混合云
3. 云计算关键技术：包括虚拟技术、分布式存储、分布式计算、多租户。
4. 物联⽹是物物相连的互联⽹的延伸，他利⽤局部⽹络或者互联⽹等通信技术把传感器、控制器、机器、⼈员和物通过新的⽅式连接在⼀起，形成了⼈与物、物与物相
连，实现信息化和远程管理控制。
大数据导论 第1章 大数据概念与应用
1.1 大数据的概念
存储：存储成本的下降
云计算出现之前
第一章 大数据概念及其应用
云计算出现之后
在云计算出现之前，数据存储的成本是 非常高的。 例如，公司要建设网站，需要购置和部 署服务器，安排技术人员维护服务器， 保证数据存储的安全性和数据传输的畅 通性，还会定期清理数据，腾出空间以 便存储新的数据，机房整体的人力和管 理成本都很高。
1.1 大数据的概念 1.2 大数据的来源 1.3 大数据的特征及意义 1.4 大数据的表现形态 1.5 大数据的应用场景 习题
1.3大数据的特征及意义
第一章 大数据概念及其应用
大数据的3S
大数据是数据分析的前沿技术。从各种各样类型的数据中，快速高效获得有价值信 息的能力，就是大数据技术。在IT业界有的学者使用3S来描述大数据，还有的学者 使用3I来描述大数据。
2
的“数据困境”。
• 2011年5月，麦肯锡研究院发布报告——Big data: The next frontier for innovation,
competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指
3
其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”
大数据的技术支撑
云计算、硬件性价比的提 高以及软件技术的进步
计算
运行、计算速 度越来越快
第一章 大数据概念及其应用
数据源整合进行存储、清 洗、挖掘、分析后得出结果 直到优化企业管理提高效率
存储 存储成本下降
大数据
智能
实现信息对等解 放脑力，机器拥 有人的智慧
智能设备、传感器的普及，推 动物联网、人工智能的发展
2）互联网数据采集 通过网络爬虫或网站公开API等方式从网站 上获取数据信息，该方法可以数据从网页 中抽取出来，将其存储为统一的本地数据 文件，它支持图片、音频、视频等文件或 附件的采集，附件与正文可以自动关联。 除了网站中包含的内容之外，还可以使用 DPI或DFI等带宽管理技术实现对网络流量 的采集。
大数据教程01第一章 大数据概述
数据量很大，超大的数据量决定了需要考虑的数据价值和潜在
（Volume） 信息；同时也决定了计算的规模。
多样
多样指大数据数据类型的多样性，大数据包含着半结构化、非结构化的
（Variety） 数据。
价值
海量的大数据中，真正有价值的数据可能很少，因此从整体来看，大数
（Value） 据的价值密度低。
Master 是 Namenode ， Slave 是 Datanode ， HDFS 集 群 由 一 个 名 称 节 点 （Namenode）和一定数量的数据节点（Datanode）组成。其中 Namenode控 制客户端对数据的访问和负责管理文件系统命名空间，是一个负责管理文件 系统命名空间和客户端访问文件的中央服务器。Datanode通常用于管理连接 到节点的存储，即管理正在运行的节点上的数据存储。在内部，Datanode节 点包含有一个或多个块（blocks）并将数据存储在其中，HDFS是使用Java语 言构建的;任何支持Java的机器都可以运行NameNode或DataNode。
第一章 大数据基础
1.1 大数据发展背景概述 1.2 大数据相关概念及特点 1.3 大数据应用过程 1.4 大数据技术 1.5 大数据应用行业 1.6 大数据的挑战和机遇
1.3 大数据应用过程
1.3.1 数据采集 1.3.2 预处理 1.3.3 数据存储管理 1.3.4 数据挖掘分析
1.3.1 数据采集
2.集群（Clustering） 指将多台计算机或者服务器通过物理上以及软件上的部署，使其像 一台计算机一样被使用。集群强调的是扩展。
3.分布式（Distribute） 指是将任务或者数据切分到不同的服务器进行计算或者存储，分布 式强调的是切分。
大数据技术与应用基础第1章大数据概述精品PPT课件
（2）互联网及移动互联网。 移动互联网促进更多用户从传统的数据使用者转变为数据生产者。
（3）物联网。 物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感
器等产生大量数据，其数据规模更巨大。
三、大数据的产生及数据类型
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
四、信息安全的要素
第1章 大数据概述
P1
第1章 大数据概述
P1
THANtening, this course is expected to bring you value and help
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特征
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容 大数据的典型应用
一、大数据的发展
大数据综述
Google上每天需要处理24PB的数据；
淘宝累计的交易数据量高达100PB；
每天会有2.88万个小时的视频上传到 Youtobe； 根据国际数据公司IDC的测算，到2020 年数字世界将产生35000EB的数据。
第1章 大数据概述
P1
大规模的行业/企业大数据已 远远超出了现有传统的计算 技术和信息系统的处理能力。 因此，寻求有效的大数据处 理技术、方法和手段已经成 为现实世界的迫切需求。
一、大数据的发展
大数据有多重要
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
典型的大数据应用实例
路径一： 人工智能
机器翻译
是充分发挥机器 本身强大的计算能力和数据处理能力
1.5大数据关键技术
技术层面 数据采集
数据存储和管理 数据处理与分析 数据隐私和安全
表1-5 大数据技术的不同层面及其功能
大数据应用渗透各行各业，数据驱动决策， 信息社会智能化程度大幅提高
1.2大数据概念
1.2.1数据量大
根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数 据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍
1.3大数据的影响
• 在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用 有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技 术和新应用的不断涌现
• 在就业市场方面，大数据的兴起使得数据科学家成为热门职业 • 在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技
术相关专业的现有教学和科研体制
1.2.2 数据类型繁多
大数据是由结构化和非结构化数据组成的
– 10%的结构化数据，存储在数据库中
– 90%的非结构化数据，它们与人类信 息密切相关
科学研究 –基因组 –LHC 加速器 –地球与空间探测
企业应用 –Email、文档、文件 –应用日志 –交易记录
Web 1.0数据 –文本 –图像 –视频
据
信息爆炸
将涌现出一批新的市 场标杆企业
1.1.2信息科技为大数据时代提供技术支撑
1. 存储设备容量不断增加
图1-1 存储价格随时间变化情况
1.2信息科技为大数据时代提供技术支撑
来自斯威本科技大学（Swinburne University of Technology）的研究团队， 在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的 文章中，描述了一种全新的数据存储方式，可将1PB（1024TB）的数据存 储到一张仅DVD大小的聚合物碟片上。
继续装ing
1.3大数据的影响
图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在 科学研究上，先后历经了实验、理论、计算和数据四种范式
实验
理论
计算
数据
1.3大数据的影响
• 在思维方式方面，大数据完全颠覆了传统的思维方式： – 全样而非抽样 – 效率而非精确 – 相关而非因果
1.4大数据的应用
• 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、 医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹
典型的大数据应用实例
Kevin Spacey
David Fincher
大数据分析
英国同名小说《纸牌屋》
风靡全球的美剧《纸牌屋》
典型的大数据应用实例
从谷歌流感趋势看大数据的 应用价值
表1-1 三次信息化浪潮
信息化浪潮 发生时间
标志
第一次浪潮 1980年前后 个人计算机
解决问题
代表企业
信息处理
Intel、AMD、IBM、 苹果、微软、联想、 戴尔、惠普等
第二次浪潮 1995年前后 互联网
2010年前后 计算和大数
功能
利用ETL工具将分布的、异构数据源中的数据如关系数据、平 面数据文件等，抽取到临时中间层后进行清洗、转换、集成， 最后加载到数据仓库或数据集市中，成为联机分析处理、数据 挖掘的基础；或者也可以把实时采集的数据作为流计算系统的 输入，进行实时处理分析
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库 、云数据库等，实现对结构化、半结构化和非结构化海量数据 的存储和管理
《大数据技术原理与应用》
第一章 大数据概述
提纲
1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据的应用 1.5 大数据关键技术 1.6 大数据计算模式 1.7 大数据产业 1.8 大数据与云计算、物联网的关系
1.1大数据时代
1.1.1第三次信息化浪潮
• 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一 次重大变革
Web 2.0数据 –查询日志/点击流
–Twitter/ Blog / SNS
–Wiki
1.2.3处理速度快
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
1.2.4价值密度低
价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是 具有很高的商业价值
表1-2 大数据发展的三个阶段
阶段
时间
第一阶段：萌 芽期
上世纪90年 代至本世纪 初
第二阶段：成 本世纪前十
熟期
年
第三阶段：大 规模应用期
2010年以后
内容
随着数据挖掘理论和数据库技术的逐步成熟 ，一批商业智能工具和知识管理技术开始被 应用，如数据仓库、专家系统、知识管理系 统等。
Web2.0应用迅猛发展，非结构化数据大量产 生，传统处理方法难以应对，带动了大数据 技术的快速突破，大数据解决方案逐渐走向 成熟，形成了并行计算与分布式系统两大核 心技术，谷歌的GFD和MapReduce等发数据技 术受到追捧，Hadoop平台开始大行其道
1.1.2信息科技为大数据时代提供技术支撑
2. CPU处理能力大幅提升
图1-3 CPU晶体管数目随时间变化情况
1.1.2信息科技为大数据时代提供技术支撑
3. 网络带宽不断增加
图1-4 网络带宽随时间变化情况
1.1.3数据产生方式的变革促成大数据时代的来临
图1-5 数据产生方式的变革
1.1.4 大数据的发展历程
利用分布式并行编程模型和计算框架，结合机器学习和数据挖 掘算法，实现对海量数据的处理和分析；对分析结果进行可视 化呈现，帮助人们更好地理解数据、分析数据
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构 建隐私数据保护体系和数据安全体系，有效保护个人隐私和数 据安全
1.5大数据关键技术