大数据导论-第3章[23页]
合集下载
大数据导论 第3章 大数据采集与预处理
数
据
原始数据（有噪声、数据质量差），不能直接用于数据分析，有结构
裸 数
但不统一。
据
23 . 1 认数 识 据 h a d o o p
第三二章 大数据生采态集系与统预处理
(3)从价值角度，把数据分为：线上数据（热数据，流动数据）和线下数 据（冷数据、静态数据），线上数据比线下数据更有价值。
23 . 1 认数 识 据 h a d o o p
第三章 大数据采集与预处理
3.1 数据 3.2 数据采集 3.3 数据清洗 3.4 数据变换 3.5 网络爬虫
3.2 数据采集
第三章 大数据采集与预处理
3.2.1 数据采集分类
(1)按采集频率分：静态数据采集、低频数据采集、高频数据采集。
历史数据 人事档案
借阅信息 就业信息
静态数据
股票交易 日志
23 . 1 认数 识 据 h a d o o p
第三二章 大数据生采态集系与统预处理
度量是计算用的量化数值，而维度是描述事物的各种属性信息。 虽然度量都是数值，但是数值不一定是度量，比如订单ID是数值， 但它不是度量而是维度，像时间、文本类的数据都是维度。 注意： (1)维度和度量是可以转换的。比如要看“年龄”的平均数，这里的“年 龄”就是度量，要看19岁用户的订单情况，这里的“年龄”就是维度。对于 一个数据项而言，到底它是维度还是度量，是根据用户的需求而定的。 (2)维度可以衍生出新的维度和度量，比如用“地区”维度衍生出一个 大区维度，“北京”、“天津”都对应“华北大区”，或者用“年龄”维度衍生出 一个年龄范围维度，20到29岁=“青年人”，30到39岁=“中年人”，40到49 岁=“资深中年人”。再比如上述的平均年龄，就是用“年龄”维度衍生出一 个度量。 (3)度量也可以衍生出新的维度和度量，比如用“订单金额”度量衍生 出一个金额范围维度，100元以下对应“小额订单”，500元以上对应“大额 订单”等等。再比如用“收入”度量和“成本”度量相减，可以得到一个“利润” 度量。
数据科学与大数据技术导论-第3章-大数据与云计算
3.2.4 云平台技术
谷歌云平台
谷歌云平台主要由网络系统、硬件系统、软件 系统和应用服务组成。
网络系统：包括了内部网络与外部网络。 硬件系统：包括服务器、整合服务器的服务器 机架和连接服务器机架的数据中心。 软件系统：包括每个服务器的单机操作系统和 底层软件系统，底层软件系统有文件系统等。 应用服务：主要包括内部使用的软件开发工具、 PAAS平台服务和SAAS服务。
· 扩展安全性能 · 控制成本 · 引入新技术
3.1.4 云计算的分类
差异点
合同形式 标准化程度 建设模式 盈利模式
周期 云服务商成本
运营模式 用户关注点 客户群体
公有云
租用制（产品化程度不明显） 高，自服务，定制化少
投入成本设计建设机房，提供客户租用 后续收取租用费用（单个订单收费较低）
5-10年后规模效应盈利 高昂（需建设机房） 规模化服务、长期运营回收成本 价格敏感，使用便捷 中小型传统企业、互联网企业及个人
03
单用户单处理机模式
多个用户可通过分 时技术共享单处理机的 资源，这种计算方式也 被称为集中式计算。
03
分布式计算模式
3.1.1 云计算的概念
云计算的定义
狭义的云计算：服务提供商通过分布式 计算和虚拟化技术建立数据中心或超级计算 机，为用户提供数据存储、科学计算等服务。
广义的云计算：服务提供商通过建立网 络服务器集群，向不同类型的客户提供在线 软件使用、数据存储、硬件借租等服务。
3.1.1 云计算的概念
云计算的优势
云计算大大消 减了企业信息化的 成本投入，按需付 费降低了信息化投 资，使企业重心转 向业务，提高工作 效率和企业的利润。
对企业
对个人
数据科学导论教学课件(共8章)-第3章大数据生态系统
记录
心的传输网络。
汇集
预处理
转换
数据需要我们根据业务模型与应用
需求进行筛选，之后通过传具主要是前端的各类数据
2
采集装置。
原始数据存在着多种可用性不强的
问题，比如缺失值、异常值等问题，
需要在处理之前进行必要的预处理。
从该阶段开始，数据信息进入数据
4
中心，为应对实时海量数据，需要
An Example of OpenMP
#include <stdio.h> #include <stdlib.h> #include <omp.h>
int main(int argc, char* argv[]) { // 编译原语 # pragma omp parallel for for(int i = 0; i < 10; ++i)
5
分析
底层处理上，数据以二进制信息的 形式参与，而模拟形式更适合人类 理解。该阶段便将分析结果以图表 形式展现出来，形象且直观。可视 化工作的运行依赖计算、存储与网 络资源，依赖可跨平台使用的专用 软件。
展现
它主要利用前期数据进行有监督或
无监督学习器的训练与优化，以让
数据“说话”，为后续工作提供智
慧支持。此阶段需综合运用计算资
数据科学 导论
Chapter 3
大数据生态系统
目录
CONTENTS
01 数据生态 02 并行与分布式处理 03 Hadoop, Spark, Storm
数据生态（数据是生命）
鉴于其海量、多样、高速与价值稀疏性，如何有效发现隐藏在数据背后的知识，或者“让数据说话”，是这个时代的 鲜明主题。把数据比作生命，我们可以根据其衍生、传播、转储、运行、展现与回收等不同阶段，兼顾数据特征与业务要求， 分别研发处理工具，对其进行有多级反馈的流水处理。该系统内含多个模块，模块间相互影响、彼此制约，在平衡中完成数 据治理，可谓大数据生态系统。
大数据导论 第3章 数据获取与处理
总结以上填充缺失值的方法可见：方法3)~6)填充的值都有可能不正确。但与其他方法相比，方法6) 是最常用和最可靠的填充缺失值的方法，它使用已有数据的大部分信息来预测缺失值。
赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）； 3. 原始数据中存在的问题：不完整，缺少属性值或仅仅包含聚集数据；
含噪声，包含错误或存在偏离期望的离群值；不一致，用于商品分类的 部门编码存在差异。
16
1. 数据存在的问题
1. 数据收集工具可能错误，数据记录中很多人为的或计算 机导致的的错误。
3.1大数据获取手段
目录
获取手段
爬虫技术
基本流程
爬虫策略
1. 数据获取手段
1. 通过传感器自动采集 2. 数据交易平台购买 3.利用网络爬虫爬取网页上的数据
3
2. 爬虫技术概念
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的 URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直 到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题 无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品 有：Oracle、Sql Server等。
7
3.网络爬虫的基本工作流程
（1）首先选取一部分精心挑选的种子URL； （2）将这些URL放入待抓取URL队列； （3）从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来，存储进 已下载网页库中。此外，将这些URL放进已抓取URL队列。 （4）分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循环。
赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）； 3. 原始数据中存在的问题：不完整，缺少属性值或仅仅包含聚集数据；
含噪声，包含错误或存在偏离期望的离群值；不一致，用于商品分类的 部门编码存在差异。
16
1. 数据存在的问题
1. 数据收集工具可能错误，数据记录中很多人为的或计算 机导致的的错误。
3.1大数据获取手段
目录
获取手段
爬虫技术
基本流程
爬虫策略
1. 数据获取手段
1. 通过传感器自动采集 2. 数据交易平台购买 3.利用网络爬虫爬取网页上的数据
3
2. 爬虫技术概念
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的 URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直 到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题 无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品 有：Oracle、Sql Server等。
7
3.网络爬虫的基本工作流程
（1）首先选取一部分精心挑选的种子URL； （2）将这些URL放入待抓取URL队列； （3）从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来，存储进 已下载网页库中。此外，将这些URL放进已抓取URL队列。 （4）分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循环。
大数据导论PPT全套完整教学课件2024新版
NoSQL数据库
如HBase、Cassandra等，适用 于海量数据的存储和访问，支持 高并发读写和灵活的数据模型。
云存储服务
如Amazon S3、阿里云OSS等， 提供弹性扩展、按需付费的在线 存储服务。
分布式计算技术
1 2 3
MapReduce编程模型
将大规模数据处理任务拆成若干个可以在集群 中并行执行的小任务，实现数据的分布式处理。
数据质量定义及维度
阐述数据质量的定义，从准确性、完 整性、一致性、时效性等多个维度评
价数据质量。
数据质量评价标准
数据质量提升策略
介绍业界通用的数据质量评价标准， 如信息质量评估框架（IQAF）等。
探讨数据清洗、数据整合、数据变换 等数据质量提升策略及实施方法。
未来发展趋势预测及挑战应对
大数据与人工智能融合
政府信息公开与透明化建设
政府数据开放共享
通过大数据平台实现政府各部门间数据共享，提高政府决策效率和 透明度。
政策效果评估
利用大数据分析技术对政策实施效果进行实时监测和评估，为政策 调整提供依据。
舆情分析与应对
运用大数据技术对社会舆论进行实时监测和分析，帮助政府及时了 解民意，提高应对突发事件的反应速度。
ABCD
物联网技术体系
感知层、网络层、应用层
物联网在大数据中的应用案例
智能交通、智能家居、智能医疗等
边缘计算与雾计算在大数据中的作用
边缘计算概述
边缘计算的定义、特点、应用场景
雾计算概述
雾计算的定义、特点、与云计算的区别和联系
边缘计算与雾计算在大数据中的作用
降低数据传输延迟、提高数据处理效率、增强数据安全性
物理资源层、虚拟化层、平台管理层 、应用服务层
《大数据导论》复习资料
《大数据导论》课程期末复习资料《大数据导论》课程讲稿章节目录：第1章大数据概述（1）大数据的概念（2）大数据的特征（3）大数据的数据类型（4）大数据的技术（5）大数据的应用第2章大数据采集与预处理（1）大数据采集（2）大数据预处理概述（3）数据清洗（4）数据集成（5）数据变换（6）数据规约第3章大数据存储（1）大数据存储概述（2）数据存储介质（3）存储系统结构（4）云存储概述（5）云存储技术（6）新型数据存储系统（7）数据仓库第4章大数据计算平台（1）云计算概述（2）云计算平台（3）MapReduce平台（4）Hadoop平台（5）Spark平台第5章大数据分析与挖掘（1）大数据分析概述（2）大数据分析的类型及架构（3）大数据挖掘（4）大数据关联分析（5）大数据分类（6）大数据聚类（7）大数据分析工具第6章大数据可视化（1）大数据可视化概述（2）大数据可视化方法（3）大数据可视化工具第7章社交大数据（1）社交大数据（2）国内社交网络大数据的应用（3）国外社交网络大数据的应用第8章交通大数据（1）交通大数据概述（2）交通监测应用（3）预测人类移动行为应用第9章医疗大数据（1）医疗大数据简介（2）临床决策分析应用（3）医疗数据系统分析第10章大数据的挑战与发展趋势（1）大数据发展面临的挑战（2）大数据的发展趋势一、客观部分：（单项选择、多项选择）（一）、单项选择1.以下不是NoSQL数据库的是（）A.MongoDBB.HBaseC.CassandraD.DB2★考核知识点:NoSQL与NewSQL主流系统参考讲稿章节：3.7附1.1.1（考核知识点解释）：目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等另外，NewSQL数据库。
大数据导论智慧树知到答案2024年商丘工学院
大数据导论商丘工学院智慧树知到答案2024年第一章测试1.大数据的前沿技术是（）。
A:数据定义B:数据结构.C:数据处理D:数据分析答案:D2.大数据赖以生存的土壤是（）。
A:互联网B:前沿技术C:物联网D:网络信息答案:A3.第三次信息化浪潮的标志是哪些技术的兴起？( )A:云计算B:大数据C:个人计算机D:物联网答案:ABD4.以下是大数据存储面临的挑战的选项是( )。
A:数据问题B:管理问题C:应用问题D:系统问题答案:BCD5.信息科技为大数据时代提供哪些技术支撑？( )A:网络带宽不断增加B:CPU 处理能力大幅提升C:存储设备容量不断增加D:数据量不断增大答案:ABC6.大数据产业指的是什么（）。
A:一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合B:提供分布式计算、数据挖掘、统计分析等服务的各类企业C:提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业D:提供数据分享平台、数据分析平台、数据租售平台等服务的企业答案:A7.万维网之父是 ( )。
A:蒂姆●伯纳斯-李B:彼得●德鲁克C:舍恩伯格D:斯科特布朗答案:A8.以下哪一项不属于大数据的特征（）。
A:数据价值密度高B:单位处理数据的速度高C:数据类型复杂D:数据量大答案:A9.大数据存储的特点与挑战有( )。
A:成本问题B:容量问题C:安全问题D:延迟问题答案:ABCD10.大数据可以帮助发现规律，大数据可以帮助解释现象，大数据可以帮助预测未来。
（）A:对 B:错答案:A第二章测试1.大数据的最显著特征是( )。
A:数据类型多样B:数据价值密度高C:数据处理速度快D:数据规模大答案:D2.下列不属于 Google云计算平台技术架构的是（）。
A:结构化数据表 BigTableB:分布式锁 ChubbyC:并行数据处理 MapReduceD:弹性云计算 EC2答案:D3.物联网的全球发展形势可能提前推动人类进入“智能时代”，也称（）。
大数据导论-教学大纲-大数据导论-张凯-清华大学出版社
授课方式:
主要以老师课堂授课为主，辅助少量的学生提问和讨论。
教学内容安排和要求:
第1章 专业学习要求
教学目的与要求：
通过本章学习，要求学生达到：了解数据科学与大数据技术本科专业基本情况，专业定位，课程体系，知识点要求，学习方法，本专业的基本能力要求、创新能力要求和工程素质要求。
第2章 学科概述
教学目的与要求：
基本内容简介
主要包括：数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。
基本要求:
了解数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。通过学习，掌握以上相关课程中的一些基本概念，理解其相关技术和方法的基本原理。
教学目的与要求：
通过本章学习，要求学生达到：掌握程序的概念，计算机语言，软件的概念；掌握操作系统的基本功能，了解不同的操作系统；了解软件工程的基本概念，软件开发方法和软件开发工具；了解知识工程和数据工程的概念和区别，知识管理与数据管理的概念和区别，以及知件的概念。
第6章 数据采集与存储
教学目的与要求：
通过本章学习，要求学生达到：了解数据采集的概念、数据前期处理、数据传送方式、数据清洗和ETL技术；掌握数据结构几种基本类型，了解离散数学中的一些基本概念。掌握数据库的概念、关系数据库，范式等，了解联邦数据库和数据仓库的概念。
第7章 数据统计与分析
教学目的与要求：
主要以老师课堂授课为主，辅助少量的学生提问和讨论。
教学内容安排和要求:
第1章 专业学习要求
教学目的与要求：
通过本章学习，要求学生达到：了解数据科学与大数据技术本科专业基本情况，专业定位，课程体系，知识点要求，学习方法，本专业的基本能力要求、创新能力要求和工程素质要求。
第2章 学科概述
教学目的与要求：
基本内容简介
主要包括：数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。
基本要求:
了解数据科学与大数据技术本科专业知识体系，数据科学与大数据技术概况，大数据硬件环境，数据通信与计算机网络，程序、软件与系统，数据采集与存储，数据统计与分析，图形学、图像处理与可视化，人工智能，数据安全，大数据平台、框架及工具。通过学习，掌握以上相关课程中的一些基本概念，理解其相关技术和方法的基本原理。
教学目的与要求：
通过本章学习，要求学生达到：掌握程序的概念，计算机语言，软件的概念；掌握操作系统的基本功能，了解不同的操作系统；了解软件工程的基本概念，软件开发方法和软件开发工具；了解知识工程和数据工程的概念和区别，知识管理与数据管理的概念和区别，以及知件的概念。
第6章 数据采集与存储
教学目的与要求：
通过本章学习，要求学生达到：了解数据采集的概念、数据前期处理、数据传送方式、数据清洗和ETL技术；掌握数据结构几种基本类型，了解离散数学中的一些基本概念。掌握数据库的概念、关系数据库，范式等，了解联邦数据库和数据仓库的概念。
第7章 数据统计与分析
教学目的与要求：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据导论
3.1 大数据采集 3.2 数据预处理 3.3 ETL技术及其工具 【思考题】
3.1 大数据采集
3.1.1 大数据采集简介
1．大数据的来源
世上本没有数据，一切数据都是人为的产物。大数据主要来源于现实世界、人类记录和计算机生成三
个方面，如图3-1所示。
传统意义上的“数据”，是指“有根据的数字”，数字之所以产
集设备和应用软件。
数据采集的限制因素：资源有限。
数据采集的目标：有价值数据最大化，无价值数据最小化，和现实对象的偏差最小化。
数据采集的特殊要求：可靠性、时效性。
3．多源数据的采集方式
1）软件接口对接方式
2）开放数据库方式 3）基于底层数据交换的数据直接采集方式
4．影响数据采集准确性的原因
1）网络异常 2）统计口径不同
1．Apache Flume Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。Flume最初是由Cloudera的工程师设计用于合并 日志数据的系统，后来逐渐发展用于处理流数据事件。 2．Fluentd Fluentd是另一个开源的数据收集框架，如图3-10所示。Fluentd使用C/Ruby开发，使用JSON 文件来统一日志数据。它的可插拔架构支持各种不同种类和格式的数据源和数据输出。它同时提供了 高可靠性和很好的扩展性。Treasure Data对该产品提供支持和维护。
传感 ///
3．用于采集互联网信息的网络爬虫 网络爬虫（Web Spider）又称网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚 本。 4．群智感知技术 与传统感知技术依赖于专业人员和设备不同，群智感知技术将目光转向大量普通用户，利用其随身携带 的智能移动终端（智能手机、可穿戴设备等）形成大规模、随时随地且与人们日常生活密切相关的感知系统， 通过网络通信形成群智感知网络，从而实现感知任务分发与感知数据收集，完成大规模、复杂的社会感知任 务。在计算机科学领域，与群智感知相关的概念有群体计算、社群感知、众包等。 众包是协调一个群体（互联网上的一大群人）做“微工作”（每人做一点贡献）来解决软件或者单个人 难以解决的问题，通过一系列的机制和方法来指导和协调群体的行为，从而达到目的。 文本数据采集：包括广告、杂志、报纸、教材等。 图片数据采集：包括实体图片、人物图片、场景图片等。 语音视频数据采集：方言、特殊情景语音、视频等。 O2O/LBS数据采集：店铺信息、公交站牌、Wi-Fi等。 问卷调研：市场机会调研、广告效果调研、使用体验调研等。
生，是因为人类在实践中发现，仅仅用语言、文字和图形来描述这个
世界是不精确的，也是远远不够的。例如，有人问“姚明有多高”，
如果回答说“很高”“非常高”“最高”，别人听了，只能得到一个
抽象的印象，因为每个人对“很”“非常”有不同的理解，“最”也
是相对的，但如果回答说“2.26米”，就一清二楚。除了描述世界，
数据还是我们改造世界的重要工具。人类的一切生产、交换活动，可
图3-1 大数据的来源
以说都是以数据为基础展开的，例如度量衡、货币的背后都是数据， 它们的发明和出现，都极大地推动了人类文明的进步。
大数据导论
/// 4 ///
2．多源数据采集的目标及要求
数据采集（DAQ）又称数据获取，是指从真实世界对象中获得原始数据的过程。数据采集的过程要充分
大数据导论
/// 6 ///
3．Logstash Logstash是著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中的那个“L”。Logstash用 JRuby开发，所有运行时依赖JVM。 4．Chukwa Chukwa是Apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的 HDFS和MapReduce来构建（显而易见，它用Java实现），提供扩展性和可靠性。Chukwa同时提供对数据的 展示、分析和监视。 5．Scribe Scribe是Facebook开发的数据（日志）收集系统。 6．Splunk Splunk提供完整的数据采集、数据存储、数据分析和处理，以及数据展现的能力。Splunk是一个分布式 的机器数据平台。 Distributed Search负责数据的搜索和处理，提供搜索时的信息抽取。 Indexers负责数据的存储和索引。 Forwarders负责数据的收集、清洗、变形，并发送给Indexers。
考虑其产生主体的物理性质，同时要兼顾数据应用的特点。
数据采集的目的是为了测量电压、电流、温度、压力或声音等物理现象。基于PC的数据采集，通过模块
化硬件、应用软件和计算机的结合，进行测量。尽管数据采集系统根据不同的应用需求有不同的定义，但各个
系统采集、分析和显示信息的目的却都相同。数据采集系统整合了信号、传感器、激励器、信号调理、数据采
3）代码质量问题
4）无效请求
5．如何正确选择数据采集方式
1）全埋点与代码埋点
2）前端埋点与后端埋点
大数据导论
/// 5 ///
3.1.2 常用大数据采集工具
数据采集最传统的方式是企业自己采集生产系统产生的数据，除上述生产系统中的数据外，企 业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过 架设日志采集系统来保存这些数据，希望通过这些数据获取商业或社会价值。
大数据导论
/// 7 ///
3.1.3 常用的数据采集方法
1．用于采集物理世界信息的传感器 说到传感器，相信大家都不会陌生，比如微信的“摇一摇” 就用到了加速度传感器。 1）传感器的定义 传感器是一种物理设备或者生物器官，能够探测、感受外界 的信号、物理条件（如光、热、湿度）或化学组成（如烟雾）， 并将探知的信息传递给其他的设备或者器官。 2）传感器的种类 2．用于采集数字设备运行状态的日志文件 系统日志可记录系统中硬件、软件和系统问题的信息，同时 还可以监视系统中发生的事件。用户可以通过它来检查错误发生 的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括 系统日志、应用程序日志和安全日志。
第3 章
大数据的采集及预处理
任何完整的大数据平台一般包括以下几个部分： 数据采集、数据存储、数据处理、数据展现（可视化、 报表和监控）。其中，数据采集是所有数据系统必不 可少的。随着大数据越来越被重视，数据采集也变得 尤为突出，这给我们带来了许多挑战，第一个挑战就 是在大量的数据中收集需要的数据。数据源多种多样， 数据量大、变化快，如何保证数据采集的可靠性？如 何避免重复数据？如何保证数据的质量？
3.1 大数据采集 3.2 数据预处理 3.3 ETL技术及其工具 【思考题】
3.1 大数据采集
3.1.1 大数据采集简介
1．大数据的来源
世上本没有数据，一切数据都是人为的产物。大数据主要来源于现实世界、人类记录和计算机生成三
个方面，如图3-1所示。
传统意义上的“数据”，是指“有根据的数字”，数字之所以产
集设备和应用软件。
数据采集的限制因素：资源有限。
数据采集的目标：有价值数据最大化，无价值数据最小化，和现实对象的偏差最小化。
数据采集的特殊要求：可靠性、时效性。
3．多源数据的采集方式
1）软件接口对接方式
2）开放数据库方式 3）基于底层数据交换的数据直接采集方式
4．影响数据采集准确性的原因
1）网络异常 2）统计口径不同
1．Apache Flume Flume是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。Flume最初是由Cloudera的工程师设计用于合并 日志数据的系统，后来逐渐发展用于处理流数据事件。 2．Fluentd Fluentd是另一个开源的数据收集框架，如图3-10所示。Fluentd使用C/Ruby开发，使用JSON 文件来统一日志数据。它的可插拔架构支持各种不同种类和格式的数据源和数据输出。它同时提供了 高可靠性和很好的扩展性。Treasure Data对该产品提供支持和维护。
传感 ///
3．用于采集互联网信息的网络爬虫 网络爬虫（Web Spider）又称网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚 本。 4．群智感知技术 与传统感知技术依赖于专业人员和设备不同，群智感知技术将目光转向大量普通用户，利用其随身携带 的智能移动终端（智能手机、可穿戴设备等）形成大规模、随时随地且与人们日常生活密切相关的感知系统， 通过网络通信形成群智感知网络，从而实现感知任务分发与感知数据收集，完成大规模、复杂的社会感知任 务。在计算机科学领域，与群智感知相关的概念有群体计算、社群感知、众包等。 众包是协调一个群体（互联网上的一大群人）做“微工作”（每人做一点贡献）来解决软件或者单个人 难以解决的问题，通过一系列的机制和方法来指导和协调群体的行为，从而达到目的。 文本数据采集：包括广告、杂志、报纸、教材等。 图片数据采集：包括实体图片、人物图片、场景图片等。 语音视频数据采集：方言、特殊情景语音、视频等。 O2O/LBS数据采集：店铺信息、公交站牌、Wi-Fi等。 问卷调研：市场机会调研、广告效果调研、使用体验调研等。
生，是因为人类在实践中发现，仅仅用语言、文字和图形来描述这个
世界是不精确的，也是远远不够的。例如，有人问“姚明有多高”，
如果回答说“很高”“非常高”“最高”，别人听了，只能得到一个
抽象的印象，因为每个人对“很”“非常”有不同的理解，“最”也
是相对的，但如果回答说“2.26米”，就一清二楚。除了描述世界，
数据还是我们改造世界的重要工具。人类的一切生产、交换活动，可
图3-1 大数据的来源
以说都是以数据为基础展开的，例如度量衡、货币的背后都是数据， 它们的发明和出现，都极大地推动了人类文明的进步。
大数据导论
/// 4 ///
2．多源数据采集的目标及要求
数据采集（DAQ）又称数据获取，是指从真实世界对象中获得原始数据的过程。数据采集的过程要充分
大数据导论
/// 6 ///
3．Logstash Logstash是著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中的那个“L”。Logstash用 JRuby开发，所有运行时依赖JVM。 4．Chukwa Chukwa是Apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的 HDFS和MapReduce来构建（显而易见，它用Java实现），提供扩展性和可靠性。Chukwa同时提供对数据的 展示、分析和监视。 5．Scribe Scribe是Facebook开发的数据（日志）收集系统。 6．Splunk Splunk提供完整的数据采集、数据存储、数据分析和处理，以及数据展现的能力。Splunk是一个分布式 的机器数据平台。 Distributed Search负责数据的搜索和处理，提供搜索时的信息抽取。 Indexers负责数据的存储和索引。 Forwarders负责数据的收集、清洗、变形，并发送给Indexers。
考虑其产生主体的物理性质，同时要兼顾数据应用的特点。
数据采集的目的是为了测量电压、电流、温度、压力或声音等物理现象。基于PC的数据采集，通过模块
化硬件、应用软件和计算机的结合，进行测量。尽管数据采集系统根据不同的应用需求有不同的定义，但各个
系统采集、分析和显示信息的目的却都相同。数据采集系统整合了信号、传感器、激励器、信号调理、数据采
3）代码质量问题
4）无效请求
5．如何正确选择数据采集方式
1）全埋点与代码埋点
2）前端埋点与后端埋点
大数据导论
/// 5 ///
3.1.2 常用大数据采集工具
数据采集最传统的方式是企业自己采集生产系统产生的数据，除上述生产系统中的数据外，企 业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过 架设日志采集系统来保存这些数据，希望通过这些数据获取商业或社会价值。
大数据导论
/// 7 ///
3.1.3 常用的数据采集方法
1．用于采集物理世界信息的传感器 说到传感器，相信大家都不会陌生，比如微信的“摇一摇” 就用到了加速度传感器。 1）传感器的定义 传感器是一种物理设备或者生物器官，能够探测、感受外界 的信号、物理条件（如光、热、湿度）或化学组成（如烟雾）， 并将探知的信息传递给其他的设备或者器官。 2）传感器的种类 2．用于采集数字设备运行状态的日志文件 系统日志可记录系统中硬件、软件和系统问题的信息，同时 还可以监视系统中发生的事件。用户可以通过它来检查错误发生 的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括 系统日志、应用程序日志和安全日志。
第3 章
大数据的采集及预处理
任何完整的大数据平台一般包括以下几个部分： 数据采集、数据存储、数据处理、数据展现（可视化、 报表和监控）。其中，数据采集是所有数据系统必不 可少的。随着大数据越来越被重视，数据采集也变得 尤为突出，这给我们带来了许多挑战，第一个挑战就 是在大量的数据中收集需要的数据。数据源多种多样， 数据量大、变化快，如何保证数据采集的可靠性？如 何避免重复数据？如何保证数据的质量？