《大数据》之一：第1章 大数据概念与应用
大数据在商业决策中的应用作业指导书
大数据在商业决策中的应用作业指导书第1章大数据概述 (4)1.1 数据的概念与分类 (4)1.1.1 数据的定义 (4)1.1.2 数据的分类 (4)1.2 大数据的发展历程 (4)1.2.1 数据存储与处理技术的发展 (4)1.2.2 数据分析技术的发展 (4)1.2.3 大数据时代的来临 (5)1.3 大数据的关键技术 (5)1.3.1 数据采集与预处理 (5)1.3.2 数据存储与管理 (5)1.3.3 数据分析与挖掘 (5)1.3.4 数据可视化 (5)1.3.5 大数据安全与隐私保护 (5)第2章商业决策与大数据 (5)2.1 商业决策的演变 (5)2.1.1 经验决策阶段 (5)2.1.2 数据分析决策阶段 (5)2.1.3 大数据决策阶段 (6)2.2 大数据在商业决策中的作用 (6)2.2.1 提高决策效率 (6)2.2.2 降低决策风险 (6)2.2.3 优化资源配置 (6)2.2.4 创新商业模式 (6)2.3 大数据时代商业决策面临的挑战 (6)2.3.1 数据质量参差不齐 (6)2.3.2 数据安全与隐私保护 (6)2.3.3 数据分析人才短缺 (7)2.3.4 技术更新迅速 (7)2.3.5 数据孤岛现象严重 (7)第3章数据采集与预处理 (7)3.1 数据源的选择与接入 (7)3.1.1 确定数据需求 (7)3.1.2 数据源评估 (7)3.1.3 数据接入 (7)3.2 数据采集方法与技术 (7)3.2.1 网络爬虫 (7)3.2.2 传感器与物联网 (8)3.2.3 公开数据集与第三方数据服务 (8)3.3 数据预处理技术与策略 (8)3.3.1 数据清洗 (8)3.3.3 数据转换 (8)3.3.4 数据降维 (8)3.3.5 数据采样 (8)第4章数据存储与管理 (8)4.1 分布式存储技术 (8)4.1.1 分布式存储原理 (9)4.1.2 分布式存储在商业决策中的应用 (9)4.2 数据仓库与数据湖 (9)4.2.1 数据仓库 (9)4.2.2 数据湖 (9)4.2.3 数据仓库与数据湖在商业决策中的应用 (10)4.3 数据质量管理与维护 (10)4.3.1 数据质量管理方法 (10)4.3.2 数据维护 (10)4.3.3 数据质量管理与维护在商业决策中的应用 (10)第5章数据挖掘与分析 (10)5.1 数据挖掘的基本概念与方法 (10)5.1.1 数据挖掘的基本概念 (11)5.1.2 数据挖掘的方法 (11)5.2 关联规则挖掘与应用 (11)5.2.1 关联规则的基本概念 (11)5.2.2 关联规则挖掘方法 (11)5.2.3 关联规则在商业决策中的应用 (11)5.3 聚类分析与应用 (11)5.3.1 聚类分析的基本概念 (11)5.3.2 聚类分析方法 (11)5.3.3 聚类分析在商业决策中的应用 (11)5.4 时间序列分析与应用 (12)5.4.1 时间序列分析的基本概念 (12)5.4.2 时间序列分析方法 (12)5.4.3 时间序列分析在商业决策中的应用 (12)第6章机器学习与人工智能 (12)6.1 机器学习基本概念与算法 (12)6.1.1 机器学习概述 (12)6.1.2 常见机器学习算法 (12)6.2 深度学习技术与应用 (12)6.2.1 深度学习概述 (12)6.2.2 常见深度学习模型 (13)6.2.3 深度学习在商业决策中的应用 (13)6.3 人工智能在商业决策中的应用案例 (13)6.3.1 零售行业 (13)6.3.2 金融行业 (13)6.3.3 医疗行业 (13)6.3.5 制造业 (13)第7章数据可视化与故事化 (14)7.1 数据可视化技术与方法 (14)7.1.1 可视化工具与技术 (14)7.1.2 可视化设计原则 (14)7.2 数据故事化与传播 (14)7.2.1 数据故事化的重要性 (14)7.2.2 数据故事化的步骤 (14)7.3 数据可视化在商业决策中的应用案例 (14)7.3.1 市场趋势分析 (15)7.3.2 客户细分 (15)7.3.3 风险评估 (15)第8章大数据在市场营销中的应用 (15)8.1 客户细分与精准营销 (15)8.1.1 数据收集与处理 (15)8.1.2 客户细分方法 (15)8.1.3 精准营销策略 (15)8.2 产品推荐与个性化定制 (15)8.2.1 基于大数据的推荐算法 (15)8.2.2 个性化定制策略 (15)8.2.3 产品推荐的优化与调整 (15)8.3 营销活动监测与优化 (16)8.3.1 营销活动数据监测 (16)8.3.2 营销活动效果评估 (16)8.3.3 营销策略优化与调整 (16)8.3.4 大数据在营销活动中的应用案例 (16)第9章大数据在供应链管理中的应用 (16)9.1 供应链数据分析与优化 (16)9.1.1 数据采集与整合 (16)9.1.2 数据分析方法 (16)9.1.3 供应链绩效评估 (16)9.2 需求预测与库存管理 (17)9.2.1 需求预测方法 (17)9.2.2 多维度数据分析 (17)9.2.3 库存管理优化 (17)9.3 供应商评价与风险管理 (17)9.3.1 供应商数据收集与分析 (17)9.3.2 供应商风险评估 (17)9.3.3 供应商关系管理 (17)第10章大数据在商业决策中的未来趋势与挑战 (17)10.1 新技术发展趋势 (17)10.1.1 人工智能与大数据的结合 (17)10.1.2 物联网与大数据的融合 (18)10.1.3 边缘计算在大数据中的应用 (18)10.2 数据安全与隐私保护 (18)10.2.1 数据安全策略与法规 (18)10.2.2 数据加密与脱敏技术 (18)10.2.3 用户隐私保护意识与合规性 (18)10.3 大数据在商业决策中的实践与创新 (18)10.3.1 数据驱动的决策模式 (18)10.3.2 跨界融合与创新 (19)10.3.3 个性化定制与智能化服务 (19)10.4 我国大数据产业发展现状与展望 (19)10.4.1 产业发展现状 (19)10.4.2 产业挑战与展望 (19)第1章大数据概述1.1 数据的概念与分类1.1.1 数据的定义数据是对客观事物的记录和描述，是信息的载体。
《大数据技术原理与操作应用》第1章习题答案
第一章单选题1、下列选项中，最早提出“大数据”这一概念的是（）。
• A、贝恩• B、麦肯锡• C、吉拉德• D、杰弗逊参考答案:B答案解析:暂无解析2、下列选项中，哪一项是研究大数据最重要的意义（）。
• A、分析• B、统计• C、测试• D、预测参考答案:D答案解析:研究大数据，最重要的意义是预测。
3、Hadoop1.0中，Hadoop内核的主要组成是（）。
• A、HDFS和MapReduce• B、HDFS和Yarn• C、Yarn• D、MapReduce和Yarn参考答案:A答案解析:Hadoop1.0中，Hadoop内核的主要是由HDFS和MapReduce两个系统组成。
4、在HDFS中，用于保存数据的节点是（）。
• A、namenode• B、datanode• C、secondaryNode• D、yarn参考答案:B答案解析:暂无解析多选题1、下列选项中，属于Google提出的处理大数据的技术手段有（）。
• A、MapReduce• B、MySQL• C、BigTable• D、GFS参考答案:A,C,D答案解析:Google提出了三个处理大数据的技术手段，分别是MapReduce、BigTable和G FS。
2、下列选项中，属于Hadoop优势的有（）。
• A、扩容能力强• B、可靠性• C、低效率• D、高容错性参考答案:A,B,D答案解析:Hadoop具有扩展能力强、成本低、高效率、可靠性、高容错性的优势。
3、下列选项中，属于Hadoop版本系列的有（）。
• A、Hadoop4• B、Hadoop2• C、Hadoop1• D、Hadoop3参考答案:B,C,D答案解析:Hadoop主要分为Hadoop1、Hadoop2、Hadoop3三个系列的多个版本。
判断题1、大数据提供的是一些描述性的信息，而创新还是需要人类自己实现。
• 对• 错参考答案:对答案解析:暂无解析2、JobTracker只负责执行TaskTracker分配的计算任务。
第1章 认识数据与大数据1.1 数据、信息与知识-高中教学同步《信息技术-数据与计算》(教案)
1.1.3理解知识
知识概念：在实践中获得的认识和经验的总和。
数据、信息与知识的关系：数据处理成信息，信息提炼为知识。
实践题：选择数据集进行分析，并解释其信息价值及如何转化为知识。
拓展阅读：阅读关于数据科学的基础文章，了解数据处理和分析的基本方法。
教学反思
使用思维导图工具，绘制数据、信息和知识三者之间的关系图，并标注它们之间的转换过程。
3.拓展阅读
阅读有关数据科学的基础文章或书籍的指定章节，了解数据处理和分析的基本方法。
查找并学习关于信息技术如何推动社会进步的案例，准备在下次课堂上分享。
板书设计
第1章认识数据与大数据
1.1数据、信息与知识
1.1.1感知数据
思维导图的应用：引入思维导图作为知识管理工具，帮助学生以结构化的方式组织信息，促进了他们对知识点的深刻理解和记忆。
活动二：
调动思维
探究新知
介绍数据、信息和知识的定义和区别。
使用思维导图工具逐步构建数据、信息和知识之间的关系图谱，帮助学生形成整体认识。
提出引导性问题，如“为什么同样的数据对于不同的人可能意味着不同的信息？”和“信息如何转化为知识？”
根据老师提供的定义和例子，记录笔记并尝试解释数据、信息和知识的区别和联系。
参与思维导图的创建，通过互动式电子白板或在线协作工具添加自己的见解和例子。
小组内讨论老师提出的问题，并准备向全班展示自己的理解。
通过互动和合作学习，让学生深入探讨数据、信息和知识的概念及其关系，增强理解和应用这些概念的能力。
活动三：
调动思维
探究新知
分发实际案例分析材料，如体质数据、在线学习数据等。
指导学生如何从材料中提取数据，分析信息，并转化为知识。
《大数据导论》复习资料
《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录：第1章大数据概述（1）大数据的概念（2）大数据的特征（3）大数据的数据类型（4）大数据的技术（5）大数据的应用第2章大数据采集与预处理（1）大数据采集（2）大数据预处理概述（3）数据清洗（4）数据集成（5）数据变换（6）数据规约第3章大数据存储（1）大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述（5）云存储技术（6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台（5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2）大数据分析的类型及架构（3）大数据挖掘（4）大数据关联分析（5）大数据分类（6）大数据聚类（7）大数据分析工具第6章大数据可视化（1）大数据可视化概述（2）大数据可视化方法（3）大数据可视化工具第7章社交大数据（1）社交大数据（2）国内社交网络大数据的应用（3）国外社交网络大数据的应用第8章交通大数据（1）交通大数据概述（2）交通监测应用（3）预测人类移动行为应用第9章医疗大数据（1）医疗大数据简介（2）临床决策分析应用（3）医疗数据系统分析第10章大数据的挑战与发展趋势（1）大数据发展面临的挑战（2）大数据的发展趋势一、客观部分：（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB.HBaseC.CassandraD.DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节：3.7附1.1.1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外，NewSQL数据库。
大数据导论 第1章 大数据概念与应用
1.1 大数据的概念
存储：存储成本的下降
云计算出现之前
第一章 大数据概念及其应用
云计算出现之后
在云计算出现之前，数据存储的成本是 非常高的。 例如，公司要建设网站，需要购置和部 署服务器，安排技术人员维护服务器， 保证数据存储的安全性和数据传输的畅 通性，还会定期清理数据，腾出空间以 便存储新的数据，机房整体的人力和管 理成本都很高。
1.1 大数据的概念 1.2 大数据的来源 1.3 大数据的特征及意义 1.4 大数据的表现形态 1.5 大数据的应用场景 习题
1.3大数据的特征及意义
第一章 大数据概念及其应用
大数据的3S
大数据是数据分析的前沿技术。从各种各样类型的数据中，快速高效获得有价值信 息的能力，就是大数据技术。在IT业界有的学者使用3S来描述大数据，还有的学者 使用3I来描述大数据。
2
的“数据困境”。
• 2011年5月，麦肯锡研究院发布报告——Big data: The next frontier for innovation,
competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指
3
其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”
大数据的技术支撑
云计算、硬件性价比的提 高以及软件技术的进步
计算
运行、计算速 度越来越快
第一章 大数据概念及其应用
数据源整合进行存储、清 洗、挖掘、分析后得出结果 直到优化企业管理提高效率
存储 存储成本下降
大数据
智能
实现信息对等解 放脑力，机器拥 有人的智慧
智能设备、传感器的普及，推 动物联网、人工智能的发展
2）互联网数据采集 通过网络爬虫或网站公开API等方式从网站 上获取数据信息，该方法可以数据从网页 中抽取出来，将其存储为统一的本地数据 文件，它支持图片、音频、视频等文件或 附件的采集，附件与正文可以自动关联。 除了网站中包含的内容之外，还可以使用 DPI或DFI等带宽管理技术实现对网络流量 的采集。
大数据技术与应用基础第1章大数据概述精品PPT课件
（2）互联网及移动互联网。 移动互联网促进更多用户从传统的数据使用者转变为数据生产者。
（3）物联网。 物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感
器等产生大量数据，其数据规模更巨大。
三、大数据的产生及数据类型
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
四、信息安全的要素
第1章 大数据概述
P1
第1章 大数据概述
P1
THANtening, this course is expected to bring you value and help
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特征
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容 大数据的典型应用
一、大数据的发展
大数据综述
Google上每天需要处理24PB的数据；
淘宝累计的交易数据量高达100PB；
每天会有2.88万个小时的视频上传到 Youtobe； 根据国际数据公司IDC的测算，到2020 年数字世界将产生35000EB的数据。
第1章 大数据概述
P1
大规模的行业/企业大数据已 远远超出了现有传统的计算 技术和信息系统的处理能力。 因此，寻求有效的大数据处 理技术、方法和手段已经成 为现实世界的迫切需求。
一、大数据的发展
大数据有多重要
大数据产业数据挖掘与分析应用解决方案
大数据产业数据挖掘与分析应用解决方案第1章大数据概述 (3)1.1 大数据概念与特征 (3)1.1.1 概念定义 (3)1.1.2 数据特征 (4)1.2 大数据应用领域与发展趋势 (4)1.2.1 应用领域 (4)1.2.2 发展趋势 (4)第2章数据挖掘技术基础 (5)2.1 数据挖掘的定义与任务 (5)2.2 数据挖掘的主要方法与技术 (5)2.3 数据挖掘流程与模型评估 (6)第3章数据预处理技术 (6)3.1 数据清洗与数据集成 (6)3.1.1 数据清洗 (6)3.1.2 数据集成 (7)3.2 数据变换与数据规约 (7)3.2.1 数据变换 (7)3.2.2 数据规约 (7)第4章数据挖掘算法与应用 (7)4.1 分类算法与应用 (7)4.1.1 分类算法概述 (7)4.1.2 分类算法应用 (7)4.1.2.1 金融行业 (7)4.1.2.2 医疗行业 (8)4.1.2.3 电商行业 (8)4.2 聚类算法与应用 (8)4.2.1 聚类算法概述 (8)4.2.2 聚类算法应用 (8)4.2.2.1 市场细分 (8)4.2.2.2 图像处理 (8)4.2.2.3 社交网络分析 (8)4.3 关联规则挖掘算法与应用 (8)4.3.1 关联规则挖掘算法概述 (8)4.3.2 关联规则挖掘应用 (9)4.3.2.1 电商购物篮分析 (9)4.3.2.2 电信行业 (9)4.3.2.3 医疗诊断 (9)第5章大数据挖掘平台与工具 (9)5.1 Hadoop生态系统 (9)5.1.1 Hadoop概述 (9)5.1.2 Hadoop核心组件 (9)5.1.3 Hadoop生态系统中的工具与组件 (9)5.2 Spark计算框架 (10)5.2.1 Spark概述 (10)5.2.2 Spark核心特性 (10)5.2.3 Spark生态系统中的工具与库 (10)5.3 Flink实时计算框架 (10)5.3.1 Flink概述 (10)5.3.2 Flink核心特性 (10)5.3.3 Flink生态系统中的工具与组件 (10)第6章产业大数据挖掘与分析 (11)6.1 互联网行业大数据挖掘与分析 (11)6.1.1 市场趋势分析 (11)6.1.2 用户画像构建 (11)6.1.3 网络安全分析 (11)6.2 金融行业大数据挖掘与分析 (11)6.2.1 客户信用评估 (11)6.2.2 智能投顾 (11)6.2.3 反洗钱与反欺诈 (11)6.3 医疗行业大数据挖掘与分析 (11)6.3.1 疾病预测与预防 (11)6.3.2 精准医疗 (11)6.3.3 医疗资源优化配置 (11)第7章大数据可视化技术 (12)7.1 数据可视化基础 (12)7.1.1 可视化概述 (12)7.1.2 可视化设计原则 (12)7.1.3 数据可视化类型 (12)7.2 大数据可视化工具与平台 (12)7.2.1 常用可视化工具 (12)7.2.2 可视化平台架构 (12)7.2.3 可视化技术发展趋势 (12)7.3 大数据可视化应用案例 (12)7.3.1 金融行业 (12)7.3.2 医疗行业 (13)7.3.3 电商行业 (13)7.3.4 智能交通 (13)7.3.5 能源行业 (13)第8章大数据安全与隐私保护 (13)8.1 数据安全与隐私保护概述 (13)8.1.1 数据安全与隐私保护的重要性 (13)8.1.2 大数据环境下的安全挑战 (13)8.1.3 法律法规与伦理标准 (13)8.2 数据加密与安全存储技术 (13)8.2.1 数据加密算法 (13)8.2.2 安全存储技术 (13)8.2.3 大数据环境下的加密与存储技术应用 (13)8.3 数据脱敏与隐私保护技术 (13)8.3.1 数据脱敏技术 (14)8.3.2 隐私保护策略与模型 (14)8.3.3 大数据环境下的脱敏与隐私保护技术应用 (14)第9章大数据挖掘在营销领域的应用 (14)9.1 客户细分与客户价值分析 (14)9.1.1 客户细分方法 (14)9.1.2 客户价值分析 (14)9.1.3 客户细分与价值分析在营销策略中的应用 (14)9.2 营销策略优化与推荐系统 (14)9.2.1 数据驱动的营销策略优化 (14)9.2.2 推荐系统在营销中的应用 (14)9.2.3 营销推荐系统实践案例 (15)9.3 营销活动效果评估与监控 (15)9.3.1 营销活动效果评估指标 (15)9.3.2 营销活动效果评估方法 (15)9.3.3 营销活动实时监控与调整 (15)第10章大数据挖掘在教育领域的应用 (15)10.1 教育数据挖掘与学习分析 (15)10.1.1 教育数据挖掘基本概念与方法 (15)10.1.2 学习分析基本概念与方法 (15)10.1.3 教育数据挖掘与学习分析在教育领域的应用案例 (16)10.2 个性化学习推荐系统 (16)10.2.1 个性化学习推荐系统架构 (16)10.2.2 常用推荐算法及其在教育领域的应用 (16)10.2.3 个性化学习推荐系统在实际应用中的挑战与展望 (16)10.3 教育教学质量评估与优化 (16)10.3.1 教育教学质量评估指标体系构建 (16)10.3.2 教育教学质量评估方法 (16)10.3.3 教育教学质量优化策略 (16)10.4 大数据在教育决策支持中的应用展望 (16)10.4.1 教育决策支持系统概述 (17)10.4.2 大数据在教育决策支持中的应用场景 (17)10.4.3 大数据教育决策支持的未来发展趋势 (17)第1章大数据概述1.1 大数据概念与特征1.1.1 概念定义大数据，顾名思义，是指规模巨大、多样性、高速增长的数据集合。
《大数据技术原理与操作应用》最新版精品课件第1章
1.2 Hadoop的介绍
Hadoop的发展历史
2003—2004 年，Google 公布部分GFS 、MapReduce 思想的细节， Doug Cutting 等人用两年的业余时间实现了DFS 和MapReduce 机制，使 Nutch 性能飙升。
2005 年，Hadoop 作为Lucene 的子项目Nutch的一部分正式引入 Apache 基金会。由于NDFS 和MapReduce 在Nutch 引擎中有着很好的应用。
1.2 Hadoop的介绍
Hadoop 的生态体系
Hadoop 是一个能够对大量数据进行分布式处理的软件框架，目前 Hadoop 已经发展成为包含很多项目的集合。Hadoop 的核心是HDFS 和 MapReduce，Hadoop 2. 0 还包括YARN。随着Hadoop 的兴起，其框架下的 开发工具也逐渐丰富。
11
1.2 Hadoop的介绍
Hadoop的由来
Apache Hadoop 项目是一款可靠、可扩展的分布式计算开源软件。 Hadoop 软件库是一个框架，该框架的两个核心模块是分布式文件系统(HDFS) 和数据计算MapReduce。
MapReduce 允许用户在不了解分布式系统底层知识的情况下，以可靠 、容错的方式灵活地并行处理大型计算机集群(数千个节点)上的大量数据。用 户可以轻松地搭建和使用Hadoop 分布式计算框架，并充分地利用集群的运算 和存储能力，完成海量数据的计算与存储。
(二)大数据预处理技术
大数据的预处理包括对数据的抽取和清洗等方面。由于大数据的数据类 型是多样化的，不利于快速分析处理，数据抽取过程可以将数据转化为单一的 或者便于处理的数据结构。
9
(三)大数据存储及管理技术
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的 数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致 性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号 表达出来。
因此，“用数据说话”、“让数据发声”，已成为人类认知世界的一种全新方法。
经典案例： （1）啤酒与尿布
全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用
3 of 40
1.1 大数据的概念与意义
2．大数据的技术支撑
云计算、硬件性价比的提 高以及软件技术的进步
计算
运行、计算速 度越来越快
第一章 大数据概念与应用
数据源整合进行存储、清洗、 挖掘、分析后得出结果直到 优化企业管理提高效率
存储 存储成本下降
大数据
智能
实现信息对等解 放脑力，机器拥 有人的智慧
5 of 40
1.1 大数据的概念与意义
第一章 大数据概念与应用
2）计算：运算速度越来越快
海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如 果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是 非常关键的因素。
⚫ 分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光； ⚫ HDFS为海量的数据提供了存储； ⚫ MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率； ⚫ Spark、Storm、Impala等各种各样的技术进入人们的视野。
云计算出现后，数据存储服务衍生出了新 的商业模式，数据中心的出现降低了公司 的计算和存储成本。 例如，公司现在要建设网站，不需要去购 买服务器，不需要去雇用技术人员维护服 务器，可以通过租用硬件设备的方式解决 问题。
存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数 据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由 于存储成本的下降，才能为大数据搭建最好的基础设施。
• 2008年9 月，美国《自然》（Nature）杂志专刊——The next google,第一次正
1
式提出“大数据”概念。
• 2011年2月1日，《科学》（Science）杂志专刊——Dealing with data，通过社
会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类
4V 特征
体量大（Volume）
从2013年至2020年，人类的数据规模 将扩大50倍，每年产生的数据量将增长 到44万亿GB，相当于美国国家图书馆 数据量的数百万倍，且每18个月翻一番。
种类多（Variety）
大数据与传统数据相比，数据来源广、维 度多、类型杂，各种机器仪表在自动产生 数据的同时，人自身的生活行为也在不断 创造数据；不仅有企业组织内部的业务数 据，还有海量相关的外部数据。
全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用
第一章 大数据概念与应用
1.1 大数据的概念与意义 1.2 大数据的来源 1.3 大数据应用场景 1.4 大数据处理方法 习题
1 of 40
1.1 大数据的概念与意义
第一章 大数据概念与应用
1．从“数据”到“大数据”
时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件：
2
面临的“数据困境”。
• 2011年5月，麦肯锡研究院发布报告——Big data: The next frontier for
innovation, competition, and productivity,第一次给大数据做出相对清晰的定义：
3
“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据 集。”
6 of 40
1.1 大数据的概念与意义
第一章 大数据概念与应用
3）智能：机器拥有理解数据的能力 大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升 了处理和理解数据的能力。例如：
1
谷歌AlphaGo大胜世界围棋冠军李世石
2
阿里云小Ai成功预测出《我是歌手》的总决赛歌王
智能设备、传感器的普及，推 动物联网、人工智能的发展
4 of 40
1.1 大数据的概念与意义
1）存储：存储成本的下降
云计算出现之前
第一章 大数据概念与应用
云计算出现之后
在云计算出现之前，数据存储的成本是 非常高的。 例如，公司要建设网站，需要购置和部 署服务器，安排技术人员维护服务器， 保证数据存储的安全性和数据传输的畅 通性，还会定期清理数据，腾出空间以 便存储新的数据，机房整体的人力和管 理成本都很高。
8 of 40
1.1从“数据”到“大数据”
第一章 大数据概念与应用
风马牛可相及
在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发 生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与 作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。
2 of 40
1.1 大数据的概念与意义
第一章 大数据概念与应用
价值高（Value）
大数据有巨大的潜在价值，但同其呈几何 指数爆发式增长相比，某一对象或模块数 据的价值密度较低，这无疑给我们开发海 量数据增加了难度和成本。
速度快（Velocity）
随着现代感测、互联网、计算机技 术的发展，数据生成、储存、分析、 处理的速度远远超出人们的想象力， 这是大数据区别于传统数据或小数 据的显著特征。
3
iPhone上智能化语音机器人Siri
4
微信上与大家聊天的微软小冰
7 of 40
1.1 大数据的概念与意义
3．大数据的意义
第一章 大数据概念与应用
美国著名管理学家爱德华·戴明所言：“我们信靠上帝。除了 上帝，任何人都必须用数据来说话。”
（1）有数据可说
在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动 态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常 见，好比放大镜、望远镜、显微镜那般重要。