第7章 大数据采集与预处理技术-大数据技术基础-宋旭东-清华大学出版社
第3章 大数据存储与管理基本概念-大数据技术基础-宋旭东-清华大学出版社
3.1 大数据的数据类型——结构化数据
大数据可按照数据结构划分为三类： 结构化数据、半结构化数据和非结构化数据。
结构化数据
结构化数据通常存储在数据库中，是具有数据结构描述信息的数据，这种数 据类型先有结构再有数据。例如可以用二维表等结构来逻辑表达的数据。
✬数据特点：
任何一列数据都不可再分，任何一列数据都有相同的数据类型。如关系数据 库SQL，Oracle中的数据。
3.2 数据管理技术的发展——数据库系统阶段
数据库的数据模型——层次模型
✬层次模型优点：
✬层次模型缺点：
① 层次模型的结构简单、清晰，很容易看到 各个实体之间的联系；
② 操作层次类型的数据库语句比较简单，只 需要几条语句就可以完成数据库的操作；
③ 查询效率较高，在层次模型中，节点的有 向边表示了节点之间的联系，在DBMS中如果有 向边借助指针实现，那么依据路径很容易找到待 查的记录；
✬半结构化数据主要来源：
❏ 在WWW等对存储数据无严格模式限制的情形下，常见的有HTML、XML
和SGML文件。
❏ 在电子邮件、电子商务、文献检索和病历处理中，存在着大量结构和
内容 均不固定的数据。
❏ 异构信息源集成情形下，由于信息源上的互操作要存取的信息源范围很
广，包括各类数据库、知识库、电子图书馆和文件系统等。
不规则性，导致缺乏对数据的严格约束。
3.1 大数据的数据类型——非结构化数据
非结构化数据
非结构化数据是那些非纯文本类型的数据，这类数据没有固定的标准 格式，无法对其直接进行解析。如文本文档、多媒体（视频、音频 等），它们不容易收集和管理，需要通过一定数据分析和挖掘才能获 得有用的数据。
3.2 数据管理技术的发展
48-大数据技术教学大纲-大数据技术基础-宋旭东-清华大学出版社
《大数据技术》课程教学大纲课程编号：适用专业：数据科学与大数据技术及相关专业执笔：适用年级：本科四年级一、课程性质和教学目的（-）课程性质《大数据技术》是数据科学与大数据技术专业以及讣算机科学与技术、软件工程、网络工程及物联网等相关专业的专业基础课。
（二）教学目的通过本课程的学习，要求学生达到：1.掌握大数据的基本概念和相关技术。
2.掌握大数据分布式存储和并行讣算的思想，能够构建大数据Hadoop平台。
3.理解HDFS、HBase. Hive、Spark的工作原理、掌握其基本操作。
4.能够编写简单的大数据MapReduce程序。
5.培养学生大数据思维和讣算思维的能力。
二、课程教学内容1.大数据基础。
着重介绍大数据基本概念，大数据的4V特征及在其应用，大数据框架体系，大数据采集与预处理技术、数据存储和管理技术、数据分析与挖掘技术、数据可视化等技术；大数据并行计算框架Hadoop平台及其核心组件。
2.大数据存储与管理。
着重介绍大数据存储与管理的基本概念和技术，大数据数据类型, 大数分布式系统基础理论，NoSQL数据库，分布式存储技术、虚拟化技术和云存储技术；大数据分布式文件系统HDFS,包括HDFS的设计特点，体系结构和工作组件；大数据分布式数据库系统HBase,包括HBase列式数据库的逻辑模型和物理模型，HBase体系结构及其工作原理；大数据分布式数据仓库系统Hive,包括Hive的工作原理和执行流程、Hive的数据类型与数据模型，以及Hive 主要访问接口等。
3.大数据釆集与预处理。
着重介绍大数据采集与预处理相关技术，包括数据抽取、转换和加载技术，数据爬虫技术、数据清理、数据集成、数据变换和数据归约的方法和技术；大数据采集工具，包括Sqoop关系型大数据采集工具，Flume日志大数据采集工具和分布式大数据Nutch爬虫系统。
4.大数据分析与挖掘。
着重介绍大数据计算模式，包括大数据批处理、大数据查询分析计算、大数据流计算、大数据迭代计算、大数据图讣算；大数据MapReduce计算模型、模型框架和数据处理过程，以及MapReduce主要编程接口；大数据Spark II'算模型，包括Spark 的工作流程与运行模式；大数据MapReduce基础算法和挖掘算法（这部分内容可选讲）。
大数据采集与预处理介绍课件
商业智能的价值：帮助企业提高运营效率，降低成本，提高客户满意度和盈利能力
03
商业智能的应用领域：包括市场营销、销售、客户服务、供应链管理等
02
商业智能的定义：利用大数据分析技术，帮助企业做出更明智的商业决策
01
预测分析
利用历史数据，建立预测模型
预测未来趋势，辅助决策
应用领域：金融、医疗、交通等
演讲人
大数据采集与预处理介绍课件
01.
02.
03.
04.
目录
大数据采集
大数据预处理
大数据分析
大数据应用
1
大数据采集
数据来源
互联网：网页、社交媒体、电子邮件等
01
物联网：传感器、设备、系统等
02
企业内部数据：业务数据、财务数据、人力资源数据等
03
政府和公共数据：统计数据、政策文件、研究报告等
04
应用：包括市场营销、金融、医疗、教育等多个领域
挑战：数据量大、数据质量差、数据安全等问题
数据可视化
数据可视化是将数据转化为图表、图形等形式，以便于理解和分析
数据可视化可以帮助人们更好地理解数据，发现数据中的模式和趋势
数据可视化可以应用于各种领域，如商业、科学、教育等
数据可视化可以提高数据分析的效率和准确性，帮助人们更好地决策
结果评估
准确性：分析结果的准确性是评估分析质量的重要指标
完整性：分析结果是否完整，是否涵盖了所有相关因素
效率：分析过程是否高效，能否在短时间内得出结果
可解释性：分析结果是否易于理解和解释，是否符合业务逻辑
4
大数据应用
商业智能
商业智能的发展趋势：随着大数据技术的不断发展，商业智能的应用将更加广泛和深入
数据采集与预处理(共9章)-第1章-概述
1.1.4数据的价值
在过去，一旦数据的基本用途实现了，往往就会 被删除，一方面是由于过去的存储技术落后，人 们需要删除旧数据来存储新数据，另一方面则是 人们没有认识到数据的潜在价值。
数据的价值不会因为不断被使用而削减，反而会 因为不断重组而产生更大的价值
各类收集来的数据都应当被尽可能长时间地保存 下来，同时也应当在一定条件下与全社会分享， 并产生价值
数据预处理
原
处
始Байду номын сангаас
数据
数据
数据
数据
理
数
清洗
集成
转换
脱敏
结
据
果
图1-3 数据预处理的主要任务
1.4数据采集
1.4.1数据采集概念 1.4.2数据采集的三大要点 1.4.3数据采集的数据源
1.4.1数据采集概念
数据采集，又称“数据获取”，是数据分析的入口，也是数 据分析过程中相当重要的一个环节，它通过各种技术手段把 外部各种数据源产生的数据实时或非实时地采集并加以利用。
1.1.5数据爆炸
人类进入信息社会以后，数据以自然方式增长，其 产生不以人的意志为转移 从1986年开始到2010年的20年时间里，全球数据 的数量增长了100倍，今后的数据量增长速度将更 快，我们正生活在一个“数据爆炸”的时代
1.2 数据分析过程
典型的数据分析过程包括（如图1-2所示）：数据采集与预处理、数据存储与 管理、数据处理与分析、数据可视化等，具体如下： （1）数据采集与预处理：采用各种技术手段把外部各种数据源产生的数据实 时或非实时地采集、预处理并加以利用。 （2）数据存储与管理：利用计算机硬件和软件技术对数据进行有效的存储和 应用的过程，其目的在于充分有效地发挥数据的作用。 （3）数据处理与分析：数据分析是指用适当的分析方法（来自统计学、机器 学习和数据挖掘等领域），对收集来的数据进行分析，提取有用信息和形成 结论的过程。 （4）数据可视化：将数据集中的数据以图形图像形式表示，并利用数据分析 和开发工具发现其中未知信息的处理过程。
大数据基础-数据采集与预处理
大数据基础-数据采集与预处理大数据基础数据采集与预处理在当今数字化的时代，数据已成为企业和组织决策的重要依据。
大数据的价值日益凸显，而数据采集与预处理作为大数据处理的基础环节，其重要性不言而喻。
本文将详细探讨数据采集与预处理的相关知识，帮助您更好地理解这一关键领域。
一、数据采集数据采集是获取原始数据的过程，它就像是为大数据这座大厦收集原材料。
常见的数据采集方法包括以下几种：（一）系统日志采集许多系统和应用程序会自动生成日志，记录其运行过程中的各种信息，如用户操作、错误信息等。
通过对这些日志的收集和分析，可以了解系统的运行状况和用户行为。
（二）网络爬虫当我们需要从互联网上获取大量数据时，网络爬虫是一个常用的工具。
它可以按照一定的规则自动访问网页，并提取所需的信息。
（三）传感器数据采集随着物联网的发展，各种传感器被广泛应用于收集物理世界的数据，如温度、湿度、位置等。
（四）数据库导入企业内部通常会有各种数据库存储业务数据，通过特定的接口和工具，可以将这些数据导入到大数据处理系统中。
在进行数据采集时，需要考虑数据的来源、质量和合法性。
数据来源的多样性可以保证数据的丰富性，但也可能带来数据格式不一致、数据重复等问题。
同时，要确保采集的数据合法合规，遵循相关的法律法规和隐私政策。
二、数据预处理采集到的原始数据往往存在各种问题，如缺失值、噪声、异常值等，这就需要进行数据预处理，将数据“清洗”和“整理”，为后续的分析和处理做好准备。
（一）数据清洗1、处理缺失值缺失值是数据中常见的问题。
可以通过删除包含缺失值的记录、填充缺失值（如使用平均值、中位数或其他合理的方法）等方式来处理。
2、去除噪声噪声数据会干扰分析结果，需要通过平滑技术或聚类等方法来去除。
3、识别和处理异常值异常值可能是由于数据录入错误或真实的异常情况导致的。
需要通过统计方法或业务知识来判断并处理。
（二）数据集成当数据来自多个数据源时，需要进行数据集成。
01第一章 大数据概述-大数据基础教程-王成良-清华大学出版社
1.1 大数据发展背景概述
1.1.1 引言 1.1.2 发展历程
1.1.1 引言
大数据指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要采用新的处理模式才能具有更强的决策力、洞察发 现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据还代表 着处理这些数据集合或信息资产的技术手段，也代表了信息技术的新时代。
速度 速度一方面指的数据增长迅速，另一方面也表示了大数据的时效性。
（Velocity）
1.2 大数据相关概念及特点
1.2.1 大数据特点 1.2.2 相关概念介绍
1.2.2 相关概念介绍
1.云计算（Cloud computing） NIST定义：云计算是一种按使用量付费的模式。中国云计算专家刘鹏 教授定义：“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”
大数据基础教程
Fundamentals of Big Data
重庆大学大数据与软件学院 Chongqing University School of Big Data& Software Engineering
教材及参考书
教材
王成良，廖军：大数据基础教程 清华大学出版社，2020年
参考书
宋旭东：大数据技术基础 清华大学出版社，2020年 林子雨：大数据技术原理与应用 人民邮电出版社.2017.1
1.3 大数据应用过程
1.3.1 数据采集 1.3.2 预处理 1.3.3 数据存储管理 1.3.4 数据挖掘分析
1.3.2 预处理
数据预处理是对采集到的原始数据进行清洗、填补、平滑、合并、规格 化以及检查一致性等操作的过程。
数据预处理通常包含以下三个部分： 1.数据清理：对源数据进行过滤、去噪，从中提取出有效的数据，主要的 处理内容包含：遗漏值处理、噪音数据处理、不一致数据处理。 2.数据集成与变换：将多个数据源中的数据整合到一个数据库的过程。集 成数据需要重点解决模式匹配、数据冗余、数据值冲突检测与处理三个问题。 3.数据规约：数据规约主要包括：数据聚集、维规约、数据压缩、数值规 约和概念分层等。使用数据规约技术可以将数据集进行规约表示，在减小数 据集规模的同时能保持原数据的完整性。
大数据采集与预处理技术研究
大数据采集与预处理技术研究随着互联网的不断发展，人们日常生活中产生的数据量也越来越大。
而这些数据本身具备着极高的价值，可以为各行各业带来不同的发展机遇。
因此，如何高效地采集和预处理数据已成为当前大数据研究的热点之一。
一、大数据采集技术大数据采集是指从不同数据源中收集数据，旨在获得可用于分析的有价值的信息。
目前，大数据采集技术主要通过网络爬虫来实现。
其核心是通过一定的算法和技术，自动地从互联网上的不同网站，甚至是社交媒体和邮件中提取有价值的数据。
网络爬虫技术是一种基于网络协议以及数据传输和解析算法，从指定的数据源中快速抓取大量数据的技术。
其中主要包括四个步骤：1）确定采集的目标网站；2）确定采集的网页链接；3）爬取网页，并从中提取有价值的信息；4）存储数据为结构化数据。
网络爬虫技术的特点是能够自动化地完成大量数据的采集和处理，但也存在一些挑战。
例如，一些网站对爬虫进行了访问限制，需要采用一些技术手段绕过限制。
而一些网站则采取了人工反爬虫策略，需要通过技术手段准确模拟用户行为进行访问。
二、大数据预处理技术在大数据采集的过程中，数据通常具有不确定性、冗余性和噪音问题，需要经过预处理才能用于后续的分析和应用。
数据预处理的目标是提高数据质量、减少数据量，以及把数据转化为可分析的形式。
1. 数据清洗数据清洗是指通过一系列技术手段处理数据中的错误、不完整、不一致以及多余的信息，以便使其更具有参考和研究价值。
通过数据清洗技术，可以实现数据的去重、缺失值填充、异常值检测和处理以及格式转换等操作。
例如，对于销售记录数据里出现重复的记录，可以通过去重操作把重复记录合并成一条记录。
对于缺失或错误的数据，可以采取插值或替换等技术手段，补全或修正数据；对于噪音数据，可以采用平滑处理、滤波处理等手段进行有效处理。
2. 数据转换数据转换指将数据从原始状态转换为适用于特定数据结构或模型的状态，包括数据标准化、数据规范化、数据集成等技术。
第4章 大数据分布式文件系统HDFS-大数据技术基础-宋旭东-清华大学出版社
各种操作的交互反馈。
4.1.1HDFS简介
存储镜像文件(Namespace image)和操作日志文
大数据技术基础
04 大数据分布式文件系统HDFS
目录 CONTENT
4.1.HDFS文件系统概述 4.2.HDFS文件系统工作原理 4.3.HDFS文件系统工作流程 4.4.HDFS文件系统基本操作 4.5.HDFS编程接口
4.1 HDFS文件系统 概述
目录 CONTENT
4.1.1HDFS简介
4.1.2HDFS设计特点
2.心跳检测 心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证 数据的安全性。 心跳机制最简单的由来就是为了证明数据节点还活着，如果一段时间内 DataNode没有向NameNode发送心跳包信息，DataNode就会被认为是Dead 状态。并且DataNode从心跳包回复中获取命令信息，然后进行下一步操作，所以 从这里可以看出，心跳机制在整个HDFS系统中都有很重要的作用。
定时报告修改信息。 DataNode之间会进行通信，复制数据块，默认3份，保证数据的冗余性。
4.1.1HDFS简介
5）NodeManager 对它所在的节点上的资源进行管理（CPU、内存、磁盘的利用情况）。 定期向ResourceManager进行汇报该节点上的资源利用信息。 监督Container(容器)的生命周期。 监控每个Container的资源使用情况。 追踪节点健康状况，管理日志和不同应用程序用到的附属服务（Auxiliary
4.1.2HDFS设计特点
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7.1 数据抽取转换加载技术
3）对于文件类型数据源(.txt,.xls)，可以培训业务人员利用数据库 工具将这些数据导入到指定的数据库，然后从指定的数据库中抽取。 或者还可以借助工具实现。
4）增量更新的问题 对于数据量大的系统，必须考虑增量抽取。一般情况下，业务系
统会记录业务发生的时间，我们可以用来做增量的标志,每次抽取之前 首先判断ODS中记录最大的时间，然后根据这个时间去业务系统取大 于这个时间所有的记录。
数据抽工抽取还是给予工具抽取)
表示抽取过程 进程的时间窗 口
决定如何处理 无法抽取的输 入记录
确认数据的源 系统及结构
确定数据抽 取的频率
决定抽取任务 的顺序
7.1 数据抽取转换加载技术
源系统的数据是以两种方式来存放的：当前值和周期性的状态
1）源系统中的大多数数据都是当前值类型，这里存储的属性值代表的 是当前时刻的属性值，但这个值是暂时的，当事物发生时，这个值就会发 生变化。
数据的转换。数据转换（数据的合并、汇总、过滤、转换等）、重新格 式化和计算数据、重新构建关键数据以及总结与定位数据。
数据的装载。将数据跨网络、操作平台装载到目标数据库中。
7.1 数据抽取转换加载技术
ETL的实现有多种方法，常用的有三种。
一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、 SQL Server2005的SSIS服务、Informatic等)实现，一种是SQL方式实现 ，另外一种是ETL工具和SQL相结合。
2）周期性的状态指的是属性值存储的是每次发生变化时的状态。对于 这个类型的操作型数据，进行数据抽取工作会相对容易很多，因为其变化 的历史存储在源系统本身当中。
7.1 数据抽取转换加载技术
从源操作系统中抽取的数据主要有两种类型：静态数据和周期性数据。
1）静态数据是在一个给定时刻捕获的数据，就像是相关源数据在某个 特定时刻的快照。对于当前数据或者暂时的数据来说，这个捕获过程包括 所有需要的暂时数据。
2）对于周期性数据来说，这一数据捕获包括每一个源操作型系统中可 以获得的每个时间点的每一个状态或者事件。修正数据也称为追加的数据 捕获，是最后一次捕获数据后的修正。修正数据可以是立刻进行的，也可 以是延缓的。在立即型的数据捕获中，有三种数据抽取的方法：通过交易 日志捕获、从数据库触发器中捕获或者从源应用程序中捕获。延缓的数据 抽取有两种方法：基于日期和时间标记的捕获和通过文件的比较来捕获。
7.1.2 数据抽取
数据抽取就是一个从数据源中抽取数据的过程。具体来说，就是搜索整 个数据源，使用某些标准选择合乎要求的数据，并把这些数据传送到目标 文件中。
对于数据仓库来说，必须根据增量装载工作和初始完成装载的变化来抽取数据。对于 操作型系统来说，则需要一次性抽取和数据转换，这两个因素增加了数据抽取工作的复 杂性。我们在内部编写代码和脚本的基础上，使用第三方数据抽取工具。使用第三方工 具往往会比内部编程更快实现需求，但是它们记录了自己的元数据，另一方面，内部编 程增加了维护的成本，当源系统变化时，也很难维护。而第三方的工具则提供内在的灵 活性，只需要改变它的输入参数就可以了。
2020
大数据技术基础
07 大数据采集与预处理
目录 CONTENT
7.1 数据抽取转换加载技术 7.2数据爬虫技术 7.3 数据预处理技术
7.1 数据抽取转换加载技术
数据抽取转换加载（ETL），是英 文 Extract-Transform-Load的缩写，用 来描述将数据从来源端经过抽取 （extract）、转换（transform）、加 载（load）至目的端的过程。
ETL是构建数据仓库的重要一环，用 户从数据源抽取出所需的数据，经过数 据清洗，最终按照预先定义好的数据模 型，将数据加载。
7.1 数据抽取转换加载技术
7.1.1 ETL概述
ETL是用来实现异构多数据源的数据集成的工具
其主要的功能包括：
数据的抽取。将数据从不同的网络、不同的操作平台、不同的数据库及 数据格式、不同的应用中抽取出来。
7.1 数据抽取转换加载技术
具体实现方法：
1）处理相同的数据源处理方法。 这一类数据源在设计上比较容易。一般情况下，DBMS(SQLServer、 Oracle)都会提供数据库链接功能，在DW数据库服务器和原业务系统之间 建立直接的链接关系就可以写Select 语句直接访问。
2）处理不同的数据源的处理方法。 对于这一类数据源，一般情况下也可以通过ODBC（Open Database
7.1 数据抽取转换加载技术
7.1.3 数据转换
数据转换的一个重要任务就是提高数据质量，包括补充已抽取数据中的 缺失值，去除脏数据，修正错误格式等。
1. 数据清洗 数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业
务主管部门，确认是否过滤掉，还是由业务单位修正之后再进行抽取。
不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三 大类。
7.1 数据抽取转换加载技术
2. 数据转换 数据转换的功能包含一些基本的任务：选择、分离/合并、转化、汇总
和丰富。转换功能要完成格式修正、字段的解码、计算值和导出值、单个 字段的分离、信息的合并、特征集合转化、度量单位的转化、日期/时间转 化、汇总、键的重新构造等工作。
优缺点比较：
前两种方法各有各的优缺点，借助工具可以快速的建立起ETL工程，屏 蔽了复杂的编码任务，提高了速度，降低了难度，但是缺少灵活性。SQL 的方法优点是灵活，提高ETL运行效率，但是编码复杂，对技术要求比较 高。第三种是综合了前面二种的优点，会极大地提高ETL的开发速度和效 率。
7.1 数据抽取转换加载技术