HDFS技术特点和应用分析vPPT课件
合集下载
教学课件 《Hadoop大数据原理与应用》(徐鲁辉)
Value
Velocity
1.2.1 Volume
• 大数据的体量非常大，PB级别将是常态，且增长速度较快。 • 据IDC于2018年11月发布的《数据时代2025》报告预测，全球数
据总量将从2018年的33ZB增至2025年的175ZB，相当于每天产生 491EB的数据。
1.2.2 Variety
• Hadoop旨在从单一服务器扩展到成千上万台机器，每台机器都提 供本地计算和存储，且将数据备份在多个节点上，由此来提升集 群的高可用性，而不是通过硬件提升，当一台机器宕机时，其它 节点依然可以提供数据和计算服务。
2.1.1 Hadoop简介
• 第一代Hadoop（即Hadoop 1.0）的核心由分布式文件系统HDFS和 分布式计算框架MapReduce组成，为了克服Hadoop1.0中HDFS和 MapReduce的架构设计和应用性能方面的各种问题，提出了第二 代Hadoop（即Hadoop 2.0），Hadoop 2.0的核心包括分布式文件 系统HDFS、统一资源管理和调度框架YARN和分布式计算框架 MapReduce。
数据库运维工 程师
系统运维工程 师
1.6 大数据岗位介绍
大数据人才所处主要行业 互联网/电子商务/网络游戏 电子信息及软件和信息服务业 通信/电信运营、网络设备 金融、基金、投资、证券 教育、培训、院校 专业服务（咨询、法律、财务、人力资源等）
大数据领域岗位需求排行 平台开发/大数据开发/数据分析//数据挖掘 智能硬件/硬件系统开发 图像/视觉 智能语音/NLP
1.6 大数据岗位介绍
大数据管理
大数据分析
大数据挖掘
首席数据官
数据管理员
数据安全工程 师
数据仓库工程 师
Hadoop分布式文件系统（HDFS）详解
Hadoop分布式⽂件系统（HDFS）详解HDFS简介：当数据集的⼤⼩超过⼀台独⽴物理计算机的存储能⼒时，就有必要对它进⾏分区 (partition)并存储到若⼲台单独的计算机上。
管理⽹络中跨多台计算机存储的⽂件系统成为分布式⽂件系统 (Distributed filesystem)。
该系统架构于⽹络之上，势必会引⼊⽹络编程的复杂性，因此分布式⽂件系统⽐普通磁盘⽂件系统更为复杂。
HDFS是基于流数据模式访问和处理超⼤⽂件的需求⽽开发的，它可以运⾏于廉价的商⽤服务器上。
总的来说，可以将 HDFS的主要特点概括为以下⼏点：（1 ）处理超⼤⽂件这⾥的超⼤⽂件通常是指数百 MB、甚⾄数百TB ⼤⼩的⽂件。
⽬前在实际应⽤中， HDFS已经能⽤来存储管理PB(PeteBytes)级的数据了。
在 Yahoo！，Hadoop 集群也已经扩展到了 4000个节点。
（2 ）流式地访问数据HDFS的设计建⽴在更多地响应“⼀次写⼊，多次读取”任务的基础之上。
这意味着⼀个数据集⼀旦由数据源⽣成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。
在多数情况下，分析任务都会涉及数据集中的⼤部分数据，也就是说，对HDFS 来说，请求读取整个数据集要⽐读取⼀条记录更加⾼效。
（3 ）运⾏于廉价的商⽤机器集群上Hadoop设计对硬件需求⽐较低，只须运⾏在廉价的商⽤硬件集群上，⽽⽆须昂贵的⾼可⽤性机器上。
廉价的商⽤机也就意味着⼤型集群中出现节点故障情况的概率⾮常⾼。
这就要求在设计 HDFS时要充分考虑数据的可靠性、安全性及⾼可⽤性。
正是由于以上的种种考虑，我们会发现现在的 HDFS在处理⼀些特定问题时不但没有优势，⽽且有⼀定的局限性，主要表现在以下⼏个⽅⾯。
（1 ）不适合低延迟数据访问如果要处理⼀些⽤户要求时间⽐较短的低延迟应⽤请求，则 HDFS不适合。
HDFS 是为了处理⼤型数据集分析任务的，主要是为达到⾼的数据吞吐量⽽设计的，这就可能要求以⾼延迟作为代价。
2024大数据ppt课件完整版
2024大数据ppt课件完整版
目录 CONTENTS
• 大数据概述与发展趋势 • 数据采集与预处理技术 • 数据存储与管理技术 • 数据分析与挖掘算法 • 数据可视化与报表呈现技巧 • 大数据安全与隐私保护策略
01
大数据概述与发展趋势
大数据定义及特点
01
数据量在TB、 PB甚至EB级别以上的数据。
，降低医疗成本。
金融科技
利用大数据技术进行风 险控制和客户管理，提 高金融业务的智能化水
平。
智能制造
通过大数据分析优化生 产流程，提高生产效率
和产品质量。
02
数据采集与预处理技术
数据来源及采集方法
互联网数据
社交媒体、新闻网站、论坛等。
企业内部数据
CRM、ERP、SCM等系统数据。
数据来源及采集方法
动态交互式报表设计思路
实时更新
通过数据接口实现报表数据的实时更 新，反映最新业务情况。
交互操作
提供筛选、排序、分组等交互功能， 方便用户按需查看和分析数据。
图表联动
实现不同图表之间的联动，当用户在 一个图表上操作时，其他相关图表也 能相应变化。
个性化定制
提供报表样式、布局等个性化定制功 能，满足不同用户的需求。
基于文本的特征提取
对文本数据进行分词、词频统计等操 作。
特征提取和降维技术
• 基于图像的特征提取：提取图像的形状、纹理等 特征。
特征提取和降维技术
主成分分析（PCA）
流形学习
通过线性变换将原始数据变换为一组 各维度线性无关的表示。
通过保持数据的局部结构来发现数据 的全局结构，如Isomap、LLE等。
• 重复值处理：删除或合并重复数据记录。
目录 CONTENTS
• 大数据概述与发展趋势 • 数据采集与预处理技术 • 数据存储与管理技术 • 数据分析与挖掘算法 • 数据可视化与报表呈现技巧 • 大数据安全与隐私保护策略
01
大数据概述与发展趋势
大数据定义及特点
01
数据量在TB、 PB甚至EB级别以上的数据。
，降低医疗成本。
金融科技
利用大数据技术进行风 险控制和客户管理，提 高金融业务的智能化水
平。
智能制造
通过大数据分析优化生 产流程，提高生产效率
和产品质量。
02
数据采集与预处理技术
数据来源及采集方法
互联网数据
社交媒体、新闻网站、论坛等。
企业内部数据
CRM、ERP、SCM等系统数据。
数据来源及采集方法
动态交互式报表设计思路
实时更新
通过数据接口实现报表数据的实时更 新，反映最新业务情况。
交互操作
提供筛选、排序、分组等交互功能， 方便用户按需查看和分析数据。
图表联动
实现不同图表之间的联动，当用户在 一个图表上操作时，其他相关图表也 能相应变化。
个性化定制
提供报表样式、布局等个性化定制功 能，满足不同用户的需求。
基于文本的特征提取
对文本数据进行分词、词频统计等操 作。
特征提取和降维技术
• 基于图像的特征提取：提取图像的形状、纹理等 特征。
特征提取和降维技术
主成分分析（PCA）
流形学习
通过线性变换将原始数据变换为一组 各维度线性无关的表示。
通过保持数据的局部结构来发现数据 的全局结构，如Isomap、LLE等。
• 重复值处理：删除或合并重复数据记录。
【图文详解】深入HDFS原理
【图⽂详解】深⼊HDFS原理本⽂主要详述了HDFS的组成结构，客户端上传下载的过程，以及HDFS的⾼可⽤和联邦HDFS等内容。
若有不当之处还请留⾔指出。
当数据集⼤⼩超过⼀台独⽴的物理计算机的存储能⼒时，就有必要对它进⾏分区，并存储到若⼲台独⽴的计算机上。
Hdfs是Hadoop中的⼤规模分布式⽂件存储系统。
HDFS的特点HDFS⽂件系统可存储超⼤⽂件1）HDFS是⼀种⽂件系统，⾃⾝也有块（block）的概念，其⽂件块要⽐普通单⼀磁盘上⽂件系统⼤的多，hadoop1.0上默认是 64MB，2.0默认是128MB。
与其他⽂件系统不同的是，HDFS中⼩于⼀个块⼤⼩的⽂件不会占据整个块的空间。
2）HDFS上的块之所以设计的如此之⼤，其⽬的是为了最⼩化寻址开销。
如果块设置得⾜够⼤，从磁盘传输数据的时间会明显⼤于定位这个块开始位置所需的时间。
3）HDFS⽂件的所有块并不需要存储在⼀个磁盘上，因此可以利⽤集群上任意⼀个磁盘进⾏存储，由于具备这种分布式存储的逻辑，所以可以存储超⼤的⽂件。
HDFS同⼀时刻只允许⼀个客户端对⽂件进⾏追加写操作（不⽀持多个写⼊者的操作，也不⽀持在⽂件的任意位置修改），这样避免了复杂的并发管理功能，但也限制了系统性能。
运⾏在普通廉价的机器上Hadoop 的设计对硬件要求低，⽆需昂贵的⾼可⽤性机器上，因为在 HDFS 设计中充分考虑到了数据的可靠性、安全性和⾼可⽤性。
HDFS适合存储⼤⽂件并为之提供⾼吞吐量的顺序读/写操作，不太适合⼤量随机读的应⽤场景，也不适合存⼤量⼩⽂件的应⽤场景。
HDFS是为⾼吞吐量应⽤优化的，会以提⾼时间延迟为代价，因此不适合处理低时延的数据访问的应⽤。
HDFS体系架构HDFS 是⼀个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。
NameNode（名称节点）：系统中通常只有⼀个，中⼼服务器的⾓⾊，管理存储和检索多个 DataNode 的实际数据所需的所有元数据，响应客户请求。
分布式文件系统HDFSPPT课件
《大数据技术及应用》
信息科学与技术学院
2
3.1 分布式文件系统
• 3.1.1 • 3.1.2
计算机集群结构 分布式文件系统的结构
《大数据技术及应用》
信息科学与技术学院
3
3.1.1计算机集群结构
•分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算 机节点构成计算机集群 •与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目 前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就 大大降低了硬件上的开销
客户端 文件名或数据块号 名称节点
(Client)
(NameNode)
数据块号、数据块位置
写数据 读数据
数据节点 (DataNode)
数据节点 （DataNode）
……
本地Linux文件系统
本地Linux文件系统
机架1
……
备份
数据节点
数据节点
（DataNode）
（DataNode）
……
本地Linux文件系统
Ø名称节点起来之后，HDFS中的更新操作会重新写到EditLog 文件中，因为FsImage文件一般都很大（GB级别的很常见）， 如果所有的更新操作都往FsImage文件中添加，这样会导致系 统运行的十分缓慢，但是，如果往EditLog文件里面写就不会这 样，因为EditLog 要小很多。每次执行写操作之后，且在向客户 端发送成功代码之前，edits文件都需要同步更新。
《大数据技术及应用》
信息科学与技术学院
17
3.4.3通信协议
• HDFS是一个部署在集群上的分布式文件系统，因此，很多 数据需要通过网络进行传输。 • 所有的HDFS通信协议都是构建在TCP/IP协议基础之上的。 • 客户端通过一个可配置的端口向名称节点主动发起TCP连 接，并使用客户端协议与名称节点进行交互。 • 名称节点和数据节点之间则使用数据节点协议进行交互。 • 客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的。在设计上，名称节点不会主动发起RPC， 而是响应来自客户端和数据节点的RPC请求。
2024版云计算简介PPT课件
3
通用电气 通过Azure的大数据和人工智能技术，优化供应 链管理，降低库存成本和运输费用。
THANKS
感谢观看
绿色计算和可持续性
随着环保意识的提高，云计算将更加 注重绿色计算和可持续性发展。
06
典型案例分析
AWS成功案例分享
Netflix
利用AWS的弹性伸缩和全球基 础设施，成功应对业务高峰期 的流量挑战，提升用户体验。
Airbnb
借助AWS的数据分析、机器学 习和存储服务，优化房源推荐 算法，提高用户满意度和预订
率。
Slack
依托AWS的安全合规、高性能 计算和实时通信服务，打造高 效的企业协作平台，降低IT成 本。
阿里云助力企业数字化转型案例
飞利浦
通过阿里云的云计算、大数据和 人工智能技术，构建智能医疗影 像平台，提高诊疗效率和准确性。
居然之家
利用阿里云的新零售解决方案， 实现线上线下融合、全渠道营销 和智能供应链管理，提升销售额 和客户满意度。
将物理服务器划分为多个 虚拟服务器，提高服务器 利用率。
存储虚拟化
将分散的存储资源整合为 统一的虚拟存储资源，提 供灵活的存储服务。
网络虚拟化
构建虚拟网络，实现网络 资源的动态分配和灵活配 置。
分布式计算技术
MapReduce编程模型
01
处理大规模数据集的编程模型，实现数据的并行处理和分布式
计算。
降低成本
通过共享资源、按需付费等方式，云计算可以降低用户的IT成本。
易于管理和维护
云计算提供了统一的管理界面和工具，简化了IT管理任务。
挑战与问题
安全性问题
数据安全和隐私保护是云计算面临的重要挑 战之一。
大数据技术特点 ppt课件
Variety 多样性
•企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互 信息,位置信息等是大数据的主要来源.
•能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义 分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得 应用.
• 1s 是临界点.
Hadoop：大数据分析的利器
Hive
▪ Apache Hadoop 是一个用java语言实现的软件框架， 在由大量计算机组成的集群中运行海量数据的分布式计 算，它可以让应用程序支持上千个节点和PB级别的数据。
▪ 设计理念：可靠、高效、扩展 可靠：假设计算元素和存储会失败，因此它维护多个
工作数据副本，确保能够针对失败的节点重新分布处理。 高效：因为它以并行的方式工作，通过并行处理加快
技术描述
针对大量数据进行分布 式处理的系统框架 文本内容分词与分析； 图像、音视频分析
流计算引擎
通过交互式可视化界面 辅助用户进行分析 计算机模拟人类学习行 为，包括特征提取、图 形生成等 保护隐私数据与信息个 体的对应关系等安全技 术 存储、放置、调度大规 模的数据
大 数
可视化交互界面
据
分
智能数据分析
析
存储、 组织、 管理
数据隐私保护 高效存储和管理大规 模数据
关键技术
Hadoop 生态系统
文本处理技术；自然 语言理解； 多媒体处 理技术… Streaming Data 交互式可视化探 索分析技术 大规模机器学习 技术
数Hale Waihona Puke 隐私防范保 护措施与数据安 全技术 数据存储备份技术、 数据放置和调度技术、 数据溯源
处 理速度。 扩展：容易扩展，能够处理 PB 级数据。
大数据分析概述PPT课件
比；文本情感分析 • 数据挖掘：关联规则分析；分类；聚类 • 模型预测：预测模型；机器学习；建模仿真
➢ 大数据技术：
• 结构化数据： 海量数据的查询、统计、更新等操作效率低 • 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 • 半结构化数据 转换为结构化存储 按照非结构化存储
网络架构、数据中心、运维的挑战：
人们每天创建的数据量正呈爆炸式增长，但就数据 保存来说，我们的技术改进不大，而数据丢失的可 能性却不断增加。
如此庞大的数据量首先在存储上就会是一个非常严 重的问题，硬件的更新速度将是大数据发展的基石。
一些相关技术
➢ 分析技术：
➢ 存储
• 数据处理：自然语言处理技术 • 统计和分析：A/B test; top N排行榜；地域占
• 数据众包
和半结构化数据
（CrowdSouring） • 分布式文件系统
• 关系数据库
• 非关系数据库
（NoSQL）
• 数据仓库
• 云计算和云存储
• 实时流处理
计算结果展示
分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理 的物理存储资源不一定直接连接在本地节点上，而是通过计算机 网络与节点相连。
非结构化数据
相对于结构化数据而言,不方便用数据库二维逻辑表来表现 的数据即称为非结构化数据,包括所有格式的办公文档、文 本、图片、XML、HTML、各类报表、图像和音频/视频信息等
等。
Velocity 速度
• 1s 是临界点.
• 对于大数据应用而言,必须要在1秒钟内形成答案,否则处 理结果就是过时和无效的.
• 实时处理的要求,是区别大数据引用和传统数据仓库技术, BI技术的关键差别之一.
➢ 大数据技术：
• 结构化数据： 海量数据的查询、统计、更新等操作效率低 • 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 • 半结构化数据 转换为结构化存储 按照非结构化存储
网络架构、数据中心、运维的挑战：
人们每天创建的数据量正呈爆炸式增长，但就数据 保存来说，我们的技术改进不大，而数据丢失的可 能性却不断增加。
如此庞大的数据量首先在存储上就会是一个非常严 重的问题，硬件的更新速度将是大数据发展的基石。
一些相关技术
➢ 分析技术：
➢ 存储
• 数据处理：自然语言处理技术 • 统计和分析：A/B test; top N排行榜；地域占
• 数据众包
和半结构化数据
（CrowdSouring） • 分布式文件系统
• 关系数据库
• 非关系数据库
（NoSQL）
• 数据仓库
• 云计算和云存储
• 实时流处理
计算结果展示
分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理 的物理存储资源不一定直接连接在本地节点上，而是通过计算机 网络与节点相连。
非结构化数据
相对于结构化数据而言,不方便用数据库二维逻辑表来表现 的数据即称为非结构化数据,包括所有格式的办公文档、文 本、图片、XML、HTML、各类报表、图像和音频/视频信息等
等。
Velocity 速度
• 1s 是临界点.
• 对于大数据应用而言,必须要在1秒钟内形成答案,否则处 理结果就是过时和无效的.
• 实时处理的要求,是区别大数据引用和传统数据仓库技术, BI技术的关键差别之一.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
DFSAdmin
管理HDFS集群的命令集
fsck
Hadoop命令集的子集，可用此命令集检查数据不一致性，
例如数据块丢失等
Name nodes 内置Web管理界面，可供管理员查看集群状态 and data nodes
2020年11月18日 星期三
架构设计的问题：数据块构成
数据块规模：大还是小？ 如何保证数据完整性？
• Hadoop是用来处理并保存海量数据的云计算平台 • Apache顶级项目 • Hadoop构成：
− 分布式文件系统(HDFS) − MapReduce框架 − 其他 • 使用Java开发 • 运行于 − Linux、Mac OS/X、Windows和Solaris − 主流商用服务器
2020年11月18日 星期三
P2P or Master&Slaves？ 统一目录空间？
HDFS架构解决方案
1 Master + n Slave
2020年11月18日
12
星期三
HDFS架构解决方案
目录节点 • 目录节点负责维护HDFS的文件目录空间 • 目录节点在本地文件系统保存
− 操作日志（Editlog） − 目录镜像（FsImage）
背景介绍
数据趋势
Gartner – 2009 ▪ 下一个五年企业数据将增长650% ▪ 其中80%是非结构化复杂数据
2020年11月18日
4
星期三
内容摘要
• 背景介绍 • Hadoop和HDFS简介 • 架构设计面临的问题和解决方案
− 设计理念 − 问题 − 解决方案
• 应用场景和成功案例
Hadoop和HDFS简介
系
2020年11月18日 星期三
HDFS架构解决方案
数据完整性： 安全模式 • 目录节点启动时进入安全模式，不发生数据块备份 • 数据节点向目录节点发送心跳（Heartbeat）和块
信息报告（Blockreport） • 块信息报告包含数据节点上的所有数据块 • 目录节点综合评定数据块的备份数是否满足安全性
HDFS技术特点 和应用分析
HDFS OVERVIEW BY MAOYI
内容摘要
• 背景介绍 • Hadoop和HDFS简介 • 架构设计面临的问题和方案
− 设计理念 − 问题 −Hale Waihona Puke 解决方案• 应用场景和成功案例
背景介绍
数据规模剧增，期望降低IT成本
Network
Virtualized Network
• 可能造成数据块损坏的原因：存储设备故障、网络 故障或者软件缺陷
• 使用校验码（Checksum）来验证数据块是否正确 • 文件建立时
−客户端计算校验码保存在独立文件中 −数据节点储存该文件 • 文件读取时 −客户端同时读取文件和校验码 −如验证失败，客户端尝试其他备份
2020年11月18日
27
星期三
−在同一机架的同一节点上放置第一备份 −在同一机架的不同节点上放置第二备份 −在远端机架上放置第三备份 −随机放置其他备份
2020年11月18日
22
星期三
HDFS架构解决方案
数据完整性：块信息报告 • 数据节点启动时，扫描本地文件系统，生成块信息
报告发给目录节点 • 块信息报告包含HDFS数据块和本地文件的对应关
Hadoop家族简介
2020年11月18日 星期三
内容摘要
• 背景介绍 • Hadoop和HDFS简介 • 架构设计面临的问题和解决方案
− 设计理念 − 问题 − 解决方案
• 应用场景和成功案例
设计理念
• 无为而治 • 抓大放小 • 性能至上 • 高容错性
2020年11月18日 星期三
架构设计的问题：节点关系
HDFS架构解决方案
健壮性: 数据节点宕机
2020年11月18日
28
星期三
HDFS架构解决方案
健壮性: 目录节点宕机
• 目录镜像和操作日志文件是支持HDFS工作的重要数据，一旦数 据丢失可能造成HDFS无法工作
• 目录节点可能成为单点故障: 一旦目录节点崩溃，HDFS不支持自 动重启故障修复，必须人工干预
• 管理
− Hadoop集群管理 − 数据块备份管理
2020年11月18日 星期三
HDFS架构解决方案
元数据 • 元数据包含的信息
−文件名称 −文件与数据块的对应关系 −数据块和数据节点信息 −文件属性：如建立时间，备份数量
• 关于目录空间的元数据会加载到目录节点的 内存中
2020年11月18日 星期三
Servers Storage
Virtualized Servers
Virtualized Storage
Client/Server
应用程序构建于 几台服务器和客户机之上
Web Architectures
1000+ 服务器和设备 TB+数据
3
Virtualized Web
10,000+ 服务器和设备 大规模集群 PB+数据
要求，判断是否退出安全模式 • 退出安全模式后进行数据块备份
2020年11月18日 星期三
架构设计的问题：健壮性
如何应对数据块损坏，数据节点宕机， 目录节点宕机？ 如何从检查点（Checkpoint）恢复？ 如何负载均衡？ 什么是快照？
2020年11月18日
2 星期三
HDFS架构解决方案
健壮性: 数据块损坏
HDFS提供何种使用接 口？管理接口？
2020年11月18日
1 星期三
HDFS架构解决方案
读文件流程
17
HDFS架构解决方案
写文件流程
2020年11月18日 星期三
HDFS架构解决方案
HDFS提供的接口
接口
描述
FileSystem（FS） 一个类Shell的命令行接口，可与HDFS进行数据交互 Shell
HDFS架构解决方案
数据节点 • 数据节点是实际储存文件数据块的服务器 • 在本地端的文件系统（例如ext3）中储存真正的文
件资料 • 记录关于数据块的元数据
−例如：CRC校验码、数据块和本地文件系统位置 的对应关系等
2020年11月18日 星期三
架构设计的问题
如何实现文件系统的 基本功能（读写等）？
2020年11月18日
2 星期三
HDFS架构解决方案
大数据块+多个备份
2020年11月18日
21
星期三
HDFS架构解决方案
数据完整性： 备份机制
• 默认配置为三份备份 • 可针对每个文件设定数据块大小和复制因子
(replication factor) • 参考机架信息（rack-aware）进行放置最优化