大数据存储与处理-第三讲
第3章 大数据存储技术 大数据基础
第3章大数据存储技术大数据基础在当今数字化时代，数据正以前所未有的速度增长和积累。
大数据已经成为了企业决策、科学研究、社会治理等各个领域的重要资产。
而要有效地管理和利用这些海量的数据，高效可靠的大数据存储技术是关键的基础。
大数据的特点首先在于其规模巨大。
我们日常接触的数据量可能以兆字节（MB）或吉字节（GB）为单位，但大数据往往是以太字节（TB）、拍字节（PB）甚至艾字节（EB）来衡量。
这种规模的海量数据给存储带来了巨大的挑战。
不仅需要大量的存储空间，还需要能够快速地写入和读取数据，以满足实时处理和分析的需求。
为了应对大数据的存储需求，分布式存储技术应运而生。
分布式存储将数据分散存储在多个节点上，通过网络连接在一起协同工作。
这种方式不仅增加了存储的容量，还提高了系统的可靠性和性能。
当一个节点出现故障时，其他节点可以继续提供服务，保证数据的可用性。
其中，Hadoop 分布式文件系统（HDFS）是一种广泛应用的大数据存储解决方案。
HDFS 采用了主从架构，由一个名称节点（NameNode）和多个数据节点（DataNode）组成。
名称节点负责管理文件系统的元数据，如文件名、文件目录结构、文件块的位置等。
而数据节点则负责实际存储数据块。
用户在向 HDFS 写入数据时，数据会被分成多个块，并分布存储在不同的数据节点上。
读取数据时，根据名称节点提供的元数据信息，从相应的数据节点获取数据块并组合成完整的数据。
另一个重要的大数据存储技术是 NoSQL 数据库。
传统的关系型数据库在处理大规模数据时，可能会面临性能瓶颈和扩展性的问题。
NoSQL 数据库则摒弃了关系模型的严格约束，采用更加灵活的数据模型，如键值对、文档、列族和图等。
这使得 NoSQL 数据库能够更好地适应大数据环境下的高并发读写和海量数据存储。
例如，MongoDB 是一种常见的文档型 NoSQL 数据库。
它将数据以文档的形式存储，每个文档可以有不同的字段和结构，非常适合存储半结构化和非结构化的数据。
大数据存储与处理概述(PPT 45张)
应用
• 寻找和赵老师兴趣相同的人 • 他们虽然看的是不同的片，但发现了他们的 兴趣相同 • 通过UI矩阵发现的
SVDห้องสมุดไป่ตู้问题
• 结果难以解释
• 为什么这么多维？
• U和V很Dense！
• 占空间多
CUR
CUR
• 正确地选择行/列 • 构造中间矩阵 • 消除冗余的行/列
缘起
• 克服SVD的问题 • M = CUR • 随机找c行，组成C
大数据存储与应用 降维
课程主页： /?page_id=397 陈一帅 chenyishuai@
介绍
• 为什么要降维？
• 找出规律，压缩数据量
几维？
降维
看起来2维，其实1维
看起来3维，其实2维
内容
• 特征值与特征向量 • PCA（主元素分析）Principal-Component Analysis • SVD（奇异值分解）Singular-Value Decomposition • CUR分解
应用
• 已知：赵老师喜欢Matrix，给它评分为5， • 问：赵老师喜欢什么类型的片? • qV计算，把赵老师投影到概念空间上
应用
•给赵老师推荐什么片？ •把赵老师的概念向量qV，乘视频的概念向量VT， 得到推荐的视频向量
= [1.64 1.64 1.64 -0.16 -0.16]
•给他推荐《异形》
• U：左奇异向量 Left singular vectors 单位正交矩阵 • ：奇异值 Singular values对角阵， • V：右奇异向量 Right singular vectors 单位正交矩阵
例
• 二维 • M的秩 r = 2
科幻 浪漫
大数据的存储与处理
大数据的存储与处理随着信息技术的发展，大数据已经成为了当前社会和经济中的热门话题。
大数据的存储与处理技术变得愈发重要，因为大数据的有效存储和高效处理对于信息的挖掘和运用至关重要。
本文将重点探讨大数据的存储与处理技术，并分析其应用及发展前景。
一、大数据存储技术大数据的存储技术是指将海量数据保存在可靠、高效的存储系统中的方法和手段。
传统的存储方式已经无法满足大数据存储的需求，因此需要采用特殊的存储技术。
目前，常见的大数据存储技术包括分布式文件系统、列式数据库和NoSQL数据库。
1. 分布式文件系统分布式文件系统是一种将文件分布存储在多台机器上的系统，能够实现数据的高可靠性和高可扩展性。
典型的分布式文件系统有Hadoop 分布式文件系统（HDFS）和谷歌文件系统（GFS）。
这些系统通过将文件切分成多个块并分布存储在不同的节点上，提高了数据的读写速度和容错能力。
2. 列式数据库列式数据库是一种将数据按列存储的数据库系统，相比传统的行式数据库，列式数据库在数据读取和查询方面更加高效。
列式数据库将每一列的数据连续存储，减少了不必要的IO操作，提高了查询性能。
著名的列式数据库包括Google的Bigtable和Apache的HBase。
3. NoSQL数据库NoSQL（Not Only SQL）数据库是一种非关系型数据库，主要应用于大规模分布式数据的存储和处理。
NoSQL数据库放弃了传统关系型数据库的ACID特性，以牺牲一部分数据一致性为代价，实现了更高的性能和可扩展性。
常见的NoSQL数据库有MongoDB、Cassandra和Redis等。
二、大数据处理技术大数据的处理技术是指对大规模数据进行分析和计算的方法和工具。
大数据处理的关键是高效的分布式计算和并行处理能力。
目前，常用的大数据处理技术包括MapReduce、Spark和Storm等。
1. MapReduceMapReduce是一种分布式计算模型，由Google提出并应用于大规模数据处理。
大数据的存贮和处理课件
利用机器学习技术对大数据进行分析和发掘，发现数据背后的规律和趋势。
智能化决策
基于大数据和人工智能的决策支持系统，提高决策的科学性和准确性，推动智 能化的发展。
THANK YOU
感谢各位观看
可扩大性。
散布式存储系统通常采用可扩大的架构 ，可以根据数据量和业务需求进行灵活 的扩大，同时支持多种数据类型和数据
访问模式。
散布式存储系统具有高可用性和高可靠 性，可以保证数据的持久性和一致性，
同时支持数据备份和恢复功能。
NoSQL数据库
NoSQL数据库是一种非关系型数据库，它采用键值对、文档、列族或图形等数据结构来存储数据，并 支持灵活的数据模型和水平可扩大性。
数据仓库适用于对大量数据进行查询和分析的 应用场景，如商业智能、决策支持和数据分析 等。
数据仓库具有高性能、高可用性和可扩大性等 特点，可以支持复杂的查询和报表生成，同时 保证数据的安全性和完整性。
数据湖
数据湖是一种集中式的数据存储和处理平台，它可以 存储和管理大量结构化和非结构化数据，包括音频、
大数据的存贮和处理课件
目录
• 大数据概述 • 大数据存储技术 • 大数据处理技术 • 大数据安全与隐私保护 • 大数据挑战与未来发展
01
大数据概述
大数据的定义与特点
定义：大数据是指数据量巨大、类型多样、处 理复杂的数据集合。
01
数据量大：数据量通常在TB级别甚至PB 级别，需要大规模存储和处理。
Streaming 和 MLlib 等组件，分别用于结 构化数据处理、实时数据处理和机器学习。
Flink
一个流处理和批处理的开源框架，具有高性能和可扩大性。
Flink 提供了一个统一的 API，用于处理无界和有界数据流。它支持高吞吐、低延迟的流处理，以及大 规模批处理。Flink 的核心是一个流执行引擎，它能够高效地处理数据流并支持状态计算。此外， Flink 还提供了丰富的窗口函数和连接器，以支持各种数据处理场景。
第3章 大数据存储技术 大数据基础ppt课件
HDFS集群
对于副本距离的计算公式，HDFS采用如下约定： （1）Distance（Rack 1/D1 Rack1/D1）= 0 # 同一台服务器的距离为0 （2）Distance（Rack 1/D1 Rack1/D3）= 2 # 同机架不同服务器距离为2 （3）Distance（Rack 1/D1 Rack2/D1）= 4 # 不同机架服务器距离为4
或存储从GB到TB级的超大文件。 2.支持流式数据访问：HDFS放宽了可移植操作系统接口（POSIX）的
要求，可以以流的形式访问文件系统中的数据。
3.支持多硬件平台：Hadoop可以运行在廉价、异构的商用硬件集群上， 并且在HDFS设计时充分考虑了数据的可靠性、安全性及高可用性， 以应对高发的节点故障问题。
HDFS集群
HDFS作为一个分布式文件系统，使用抽象的数据块具有以下优势： （1）通过集群扩展能力可以存储大于网络中任意一个磁盘容量的任意大小文件； （2）使用抽象块而非整个文件作为存储单元，可简化存储子系统，固定的块大小 可方便元数据和文件数据块内容的分开存储； （3）便于数据备份和数据容错提高系统可用性。HDFS默认将文件块副本数设定 为3份，分别存储在集群不同的节点上。当一个块损坏时，系统会通过NameNode 获取元数据信息，在其他机器上读取一个副本并自动进行备份，以保证副本的数量 维持在正常水平
6.元数据持久化
HDFS集群
HDFS元数据（描述文件）持 久化由FSimage和Editlog两 个文件组成，随着HDFS运行 进行持续更新，元数据持久 化的过程如左图所示。
如何进行大数据存储与处理
如何进行大数据存储与处理大数据存储与处理是指对海量数据进行有效存储和高效处理的技术和方法。
随着信息时代的到来，各个行业都面临着大量数据的处理和分析需求，因此大数据存储与处理成为了当今信息技术发展的热点之一。
本文将从大数据存储和大数据处理两个方面进行论述，介绍如何进行大数据存储与处理。
一、大数据存储大数据存储是指对海量数据进行可靠、高效的存储。
在存储大数据时，常用的方法有分布式存储系统和云存储系统。
1. 分布式存储系统分布式存储系统是指将大数据分散存储在多台服务器上，实现数据的分布式管理和存储。
常用的分布式存储系统有Hadoop分布式文件系统（HDFS）和Google文件系统（GFS）等。
HDFS是由Apache基金会开发的一种可靠、可扩展的分布式文件系统。
它将大文件切分为多个块并存储在多个服务器上，保证了数据的可靠性和高效性。
HDFS适合存储大规模的非结构化数据，如日志文件、图片、视频等。
GFS是由Google开发的一种针对大规模数据存储的分布式文件系统。
它采用了主从结构，将数据分片存储在多台服务器上，实现了数据的备份和冗余。
GFS适合存储大规模的结构化数据，如网页索引、用户信息等。
2. 云存储系统云存储系统是指将大数据存储在云平台上，通过云服务提供商提供的存储服务进行管理。
常用的云存储系统有Amazon S3、阿里云对象存储等。
Amazon S3是由亚马逊公司提供的一种高可用、高可靠的云存储服务。
它支持存储任意类型的数据，并通过简单的API进行管理和访问。
Amazon S3适合存储大规模的多媒体数据和应用程序数据。
阿里云对象存储是由阿里云提供的一种可扩展、安全的云存储服务。
它支持存储大规模的非结构化数据，并提供了多种数据管理和访问方式。
阿里云对象存储适合存储大规模的日志数据和传感器数据等。
二、大数据处理大数据处理是指对海量数据进行分析和提取有用信息的过程。
在处理大数据时，常用的方法有分布式计算和机器学习等。
大数据存储与处理-大规模机器学习PPT资料84页
奇瓦瓦狗（体小，毛平滑）
腊肠犬
文本分类
• 根据email的内容，判断是否垃圾邮件 • 根据新闻内容，判断新闻类型
• Sport • Politics • Feature vector
• 单词向量（1，0）
常用方法
• 无监督学习
• 聚类
• 有监督学习
• 决策树 • 感知机：Perceptrons • SVM 支持向量机 • 神经元网络
允许 对应的x为 -1，但调整方法反过来：
预测错：
y真值是1， y真值是-1，
，说明 太大，减半 ， 说明 太小，加倍
扩展
• 平衡Winnow （Balanced Winnow） • Thick Separator
• 界限（Margin） • 放松
非线性边界
• 变换到线性上
Map-Reduce的实现
大数据存储与应用
大规模机器学习
课程主页：/?page_id=397 陈一帅
chenyishuaigmail
介绍
• 机器学习定义 • Perceptron （ 感知机） • SVM（ suppo机 • 最近邻（ nearest neighbor） • 决策树
• 试来图把x1包进
收敛性
• 只要是线性可分割 的，就会收敛
• 如果不是，最后会 震荡，无限循环
震荡时的停止算法
• 震荡时，如何停止算法？ • 逐渐减小调整幅度
• 观察训练集上的误差 • 观察一个小测试集上的误差 • 限制最大迭代次数
非零判决
• 平移
多类感知
• 超过两类 • 分别训练三个分类器
• 第二行不满足
• 获得梯度
更新w
• 重复 • 扫描惩罚函数表， • 计算梯度 • 调整权重
三、大数据存储技术课件
接口语言
• SQL（Structured Query Language， 结构化查询语言），对数据库中的数据进 行查询、操作和管理
• 无统一标准
• 包括：各自定义的API、类SQL、 MR等
典型案例 • Oracel、DB2、Sybase、SQL Server、 • Hbase、MongoDB、Redis Mysql、Postgresql等
关系数据库
键值存储数据库
技术特点
互联网用户
互联网用户
KEY1 KEY2
VALUE1 VALUE2
WEB应用服务器
三、大数据存储技术
-1-
相关概念与相关技术概览
数据结构： 结构化数据与非结构化数据 数据库数据模型：关系型数据库与非关系型数据库 数据处理特性：OLTP与OLAP 数据一致性：强一致性与最终一致性 数据存储方式：行式存储与列式存储 数据库存储与处理架构：SMP与MPP 数据存储架构：传统分布式文件与新型分布式文件 数据处理架构：基于并行计算的分布式数据处理技术（MapReduce）
示例
• 各类表格
• 图形、图像、音频、 视频信息
• HTML文档，它一般是 自描述的，数据的结 构和内容混在一起
-3-
数据库数据模型—关系型数据库与非关系型数据库
在大数据技术中"非关系型"数据库技术是必不可少的，但关系数据库也是不可或缺的
对比项 定义
关系型数据库
非关系型数据库
• 创建在关系模型基础上，借助于集合代数 • 没有标准定义 等数学概念和方法来处理数据库中的数据 • 包括：表存储数据库、键值存储
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
Hadoop越来越火
据估计，到2015年，全
世界一半以上的数 据将涉及Hadoop
不是可以解决数据中
心和数据管理方面所有 难题的灵丹妙药
那我们就来看看一些成功的案例：
7
谁在用Hadoop？
雅虎北京全球软件研发中心 IBM Facebook Amazon Yahoo! 中国移动研究院 英特尔研究院 、腾讯、新浪、搜狐、淘宝12
中国移动
中国移动大云 在中国移动内部，Hadoop已经成为一个重要的数据挖掘工 具，中国移动已经把Hadoop的群用来进行闭环的数据挖掘， 和传统算法的数据挖掘性能相比，有很大的提升，而且成 本非常低。
13
Hadoop生态系统
Hive Pig Hbase Zookeeper
MapReduce
27
HDFS文件系统——系统架构
28
HDFS文件系统——保障可靠性的 措施
一个名字节点和多个数据节点 数据复制（冗余机制）
存放的位臵（机架感知策略）
故障检测
数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较） 名字节点（日志文件，镜像文件）
37
MapReduce示例ቤተ መጻሕፍቲ ባይዱ
The weather is good the weather is good 1 1 1 1 a1 good good good good good 1 1 1 1 1 a 1 good 5 guy 1
Today is good
today 1 is 1 good 1
this guy is a good man good man is good 1 1 1 1 1 1 1 1 1 1
空间回收机制
29
HDFS如何写文件？
Create file Close file Write packet Send ack
Send ack
Send ack
Write packet Write packet
客户端联系namenode，在namenode命名空间中创建一个新 文件，此时，namenode会检查文件是否存在和客户端是否 有权限创建新文件，检查通过，就会创建一条记录。 然后客户端写文件时，会取得合适的3个datanodes形成一 个管线DataStreamer将数据包流式的传输到管线中第一个 datanode，第一个datanode存储数据包并发送的第二个 datanode, 第二个datanode存储数据包并发送的第三个 datanode。 当收到管道中所有datanodes的确认信息后对应数据包才会 从确认队列中删除。 如此反复，直到所有的数据包，都写完，最后向namenode 报告写入完成。
商用硬件
HDFS不需要运行在昂贵并且高可靠的硬件上。
17
HDFS文件系统——设计基础与目标
• 硬件错误是常态，因此需要冗余。 • 程序采用“数据就近”原则分配节点执行。
18
HDFS文件系统——能做什么？
存储并管理PB级数据 处理非结构化数据 注重数据处理的吞吐量（延迟不敏感） 应用模式为：write-once-read-many存取模式（无 数据一致性问题）
21
HDFS文件系统——文件
22
HDFS文件系统——文件
23
HDFS文件系统——主要组件的功能
namenode • 存储元数据 •元数据保存在内存中
datanode • 存储文件内容 •文件内容保存在磁盘
• 保存文件,block ，datanode •维护了block id到datanode本 之间的映射关系 地文件的映射关系
8
Hadoop应用案例
Yahoo Hadoop应用揭秘 中国移动 联通海量上网日志数据
9
Yahoo Hadoop应用揭秘
2010年10月时：Yahoo目前有超过38000台服务器，有超过 4000个以上的服务器集群，数据总量达到了170PB，每日的 数据增量在10TB以上。
10
Yahoo Hadoop应用揭秘
Yahoo的Hadoop应用包含有搜索、日志处理 （Analytics, Reporting, Buzz）、用户建模、 内容优化，垃圾邮件过滤器以及广告计算等。 如何利用Hadoop对海量数据进行优化处理是Yahoo 正在致力于工作的内容。以网络分析为例，Yahoo 目前有超过100亿个网页，1PB的网页数据内容，2 万亿条链接，每日面临这300TB的数据输出。“在 应用Hadoop前，实施这一过程我们大概需要1个月 的时间，但应用后仅需要1周时间”
39
mapping任务平等， Mapper无特定标识，处理任意输入 每个mapper本地进行 中间值交换，同键值送到同一个reducer。唯一的结点通信 数据传送由平台处理
MapReduce数据流
40
从Map到Reducer数据整体传输过程
41
MapReduce数据流——输入
输入块InputSplit：文件拆分成块
HDFS
14
Hadoop基本架构——物理分布 的Hadoop集群
15
Hadoop基本架构——物理部署
16
HDFS文件系统——设计目标
为以流式数据访问模式存储超大文件而设计的文件系统
超大文件
指的是几百MB，几百GB，几百TB，甚至几百PB
流式数据访问
HDFS建立的思想是：一次写入、多次读取模式是最高效的。
26
HDFS文件系统—— DataNode
一个数据块在DataNode以文件存储在磁盘上，包括两个文 件，一个是数据本身，一个是元数据包括数据块的长度， 块数据的校验和，以及时间戳 DataNode启动后向NameNode注册，通过后，周期性（1小时） 的向NameNode上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有NameNode给该 DataNode的命令如复制块数据到另一台机器，或删除某个 数据块。如果超过10分钟没有收到某个DataNode 的心跳， 则认为该节点不可用。 集群运行中可以安全加入和退出一些机器
19
HDFS文件系统不适合做什么？
存储小文件 (不建议使用) 大量的随机读 (不建议使用) 需要对文件的修改 (不支持) 多用户写入(不支持)
20
HDFS文件系统——文件
文件切分成块（默认大小64M），以块为单位，每个块有 多个副本存储在不同的机器上，副本数可在文件生成时指 定（默认3） NameNode是主节点，存储文件的元数据如文件名，文件目 录结构，文件属性（生成时间,副本数,文件权限），以及 每个文件的块列表以及块所在的DataNode等等 DataNode在本地文件系统存储文件块数据，以及块数据的 校验和 可以创建、删除、移动或重命名文件，当文件创建、写入 和关闭之后不能修改文件内容。
2
我们只能采用并行计算
Hadoop就是 一个并行处理海量数据的工具。
而
Hadoop是什么？
一个分布式文件系统和并行执行环境（框架） 让用户便捷地处理海量数据 Apache软件基金会下面的一个开源项目 目前Yahoo!是最主要的贡献者
4
Hadoop起源
Apache Lucene
35
35
MapReduce设计目的——大规模 数据处理
处理海量数据（>1TB） 上百/上千CPU实现并行处理 简单地实现以上目的 移动计算比移动数据更划算
36
MapReduce——特性
自动实现分布式并行计算 容错 提供状态监控工具 模型抽象简洁，程序员易用 计算划到大量机器上 组件间不允许任意数据共享，避免保保持同步而 产生的通信开销，所有在MapReduce上的数据不 可变 节点间通信只在产生新输出
25
HDFS文件系统—— NameNode
副本存放在那些DataNode上由NameNode来控制，根据全局 情况做出块放臵决定，读取文件时NameNode尽量让用户先 读取最近的副本，降低带块消耗和读取时延 Namenode全权管理数据块的复制，它周期性地从集群中的 每个Datanode接收心跳信号和块状态报告(Blockreport)。 接收到心跳信号意味着该Datanode节点工作正常。块状态 报告包含了一个该Datanode上所有数据块的列表。
24
HDFS文件系统—— NameNode
Namenode是一个中心服务器，单一节点（简化系统的设计 和实现），负责管理文件系统的名字空间(namespace)以及 客户端对文件的访问。
文件操作，NameNode负责文件元数据的操作，DataNode负 责处理文件内容的读写请求，跟文件内容相关的数据流不 经过NameNode，只会询问它跟那个DataNode联系，否则 NameNode会成为系统的瓶颈
Mapred-default.xml设臵块大小 输入格式定义了组成mapping阶段的map任务列表，每个任务对应 一个输入块。 据InputSplit地址分配任务（最大任务数 mapred.tasktracker.map.tasks.maximum）
This guy is a good man
guy 1 is 1 is 1 is 1 is 1 man 1 man 1 the 1 this 1 today 1 weather 1
is 4
man 2
the 1
this 1
today 1
weather 1
Good man is good
38
MapReduce数据流
开源的高性能全文检索工具包
Apache Nutch
开源的 Web 搜索引擎