Hadoop的HDFS大数据存储技术

ＮａｍｅＮｅｄｅ
图 ３ ＨＤＦＳ文 件 写 入 流 程
３．１ 读 取 文件 过 程 （１）客户端用 ＦＩＬｅＳｙｓｔｅｍ的 ＡＰＩ中 Ｏｐｅｎ（） 数打开义件 一 （２） ＨＤＦＳ客 户 端 ＡＰ１的 Ｉ）ｉｓｔｒ．ｈｕｔｅ（１ ｋｓｖｓｔｅｍ Ｊ＿｝Ｊ ＲＰＣ蒯
用元数据结点并获取文件数据块信息 ，同时记录其地址。 （３）客户 端获 得 Ｄｉｓｔｒ ｕｔｅｄＦｉｌｅｓｖｓｔｅｍ返 Ｉ ＦＳＤａｔBaidu Nhomakorabeaｌｎｐｕｔ—
’
一
…
…
实用第一 －－‘智慧 密集
…
…
…
Ｈａｄｏｏｐ的 ＨＤＦＳ大数 据存储 技术
常 广炎
（辽宁行政学院信息技术系 ，沈阳 ｌ１０１６１）
摘 要 ：Ｈａｄｏｏｐ的 ＨＤＦＳ是 一 个 部 署 在 廉 价 硬 件 设 备 上 使 用 的 分 布 式 文 件 系统 ， 具 有 高 容 错 性 ， 适 合 海 量 数 据 集的应 用程序 ，可 用来存储 海量数据 ，为应 用程序提 供 高吞 吐量 。ＨＤＦＳ开放 了一 些可移植操 作 系统接 口，文件 系 统 中数 据 的访 问 采 用 流 的 方 式 ，在 时 下 企 业 数 据 急 剧 膨 胀 ，海 量 存 储 挑 战 严 峻 的 情 况 下 ，提 供 了一 个 好 的技 术 方 法 ，海 量 数 据 的存 储 需 求 就 是 时 下 流 行 的 云 存 储 的概 念 ，以 存 储 海 量 视 频 数 据 为 实例 ，介 绍 ＨＤＦＳ存 储 海 量 的 过 程 。 关 键 词 ：云 存储 ；ＨＤＦＳ模 型 ；分 布 式 文件 系统
７０ 毛电：■ 壤程技巧与雏罐 护 曩
… … 叫ｍ 队 ＳＥ＆ｌ＿ｆ０Ｒ啊盯 ＩＯＮ ＭＡＮ柏 …………………… …………………………… ……………………
（４）文件第 一个 数据块的最近数据节点 由 ＤＦＳＩｎｐｕｔＳｔｒｅａｍ 连接保存 ，当数 据块 读取完毕时 ，ＤＦＳＩｎｐｕｔＳｔｒｅａｍ关 闭和此数
据结点的连接 ．连接下一个数据块最近 的数据结点。 （５） 当 客 户 端 数 据 读 取 结 束 ，调 用 ＤＦＳＩｎｐｕｔＳｔｒｅａｍ 的
ｃｌｏｓｅ０ 函数关闭数据流。 ３．２ 写入 文 件 过 程
（１）客户端用 ｃｒｅａｔｅ０ 函数创建文件 。 （２）ＨＤＦＳ客户端 ＡＰＩ的 Ｄｉｓｔ ｕｔｅｄＦｉｌｅＳｙｓｔｅｍ用 ＲＰＣ调 用元数据结点 ，在文件系统命 名空间创建一个新文件 。 （３） 户 端 获 得 ＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ 返 回 ＦＳＤａｔａＯｕｔｐｕｔ－ Ｓｔｒｅａｍ的信息 ，调用 ｓｔｒｅａｍ 的 ｗｒｉｔｅ（）来写入 数据 ，写入 数据 时 Ｄａｔａ０ｕｔｐｕｔＳｔｒｅａｍ 将 数 据 分 成 块 ，写 入 数 据 队 列 ｄａｔａ
Ｓｔｒｅａｍ的信息 ，调用 ｓｔｒｅａｍ的 ｒｅａｄ（）来读取数据 。
图 １ ＨＤＦＳ体 系 结构
基 金项 目 ：２０１４年辽宁 省丰．卜会科学 规划基金项 目 （Ｌ１４ＢＴＱ００５） 作者简 介 ：常广 炎 （１９６４一），男 ，硕 十 ，教授 ，研究 方 向 电子政 务与计算机 网络 。 收稿 日期 ：２０１５—１２－０３
１ ＨＤＦＳ的 特点 ＨＤＦＳ的设 汁 目标是 为存储超 大数据 丈件 ，与其他分布式
文件 系统最 大的区别是 “一次写 入 ，多 次读取 ”模 型 ，该模 型的优点是降低并 发控 制要 求 ，简化数据 聚合…，支持高吞吐 量的访问 ，具体如下 ：
（１）硬件错误检测并 自动恢 复 ＨＤＦＳ部 署 在 大 量 的廉 价 的机 器组 成 的 集 群 中 ，结 点 故 障 是不可避免 的，ＨＤＦＳ能够保 证某 些结点发生故障时 ，整个集 群 的 正 常 Ｔ 作 。 （２）ＨＤＦＳ支 持 大 规模 数 据 集 ＨＤＦＳ上 的文件大小从 几十 ＧＢ到几 ＴＢ，适用 于大文件 ， 可 持几千个结点组成的集群 。 （３）流 式 数 据 访 问 ＨＤＦＳ考虑到 了数据 的批量处 理 ，各结 点将数据以较小 的 数据 包形式进行 传输 ，从 而提 高了数据访 问吞 吐量 ，有 效地 避 免 了南于大 量数 据 同时 出现在信 道 卜所造 成 的网络 阻 塞 。 同时也便于本地文件系统处 理数 据ｌ 。 （４）简 单 一 致 性 模 型 ＨＤＦＳ对 文件实行一 次写 、多次读 的访问模式 。文件一旦 建立 、写入 和关闭之后 ，就不 能再更改 ｒ，这 一特性 简化 了 数 据 的一 致 性 并 提 高 了数 据 吞 吐 量Ｉ，Ｉ。 （５）跨 硬 件 和 软 件 平 台 的 移 动 ＨＤＦＳ存储 的数据 能够方便地 从一个平台移动到另外 一个 平 台．这有助于 ＨＤＦＳ被作为一个大程序集合的应用平 台。 ２ ＨＤＦＳ的体 系架构
ＨＤＦＳ的 系统 架 构 采 ．｝｝ｊ主 从 结 构 ． 由 一 个 ＮａｍｅＮｏｄｅ、 个 ｓｅｃｔｍｄａｒｙＮａｍｅＮｏｄｅ和若 十 个 ＤａｔａＮｏｄｅ组 成 整个 ＨＤＦＳ集 群 。ＮａｍｅＮｏｄｅ负责整个文件 系统 的命名 空间元数据和客 户端 对 文 件 的 访 问 ，是 一 个 中心 服 务 器 。 ＳｅｃｍｎｄａｒｖＮａｍｅＮｏｄｅ定 期 对 ＮａｍｅＮｏｄｅ系统信息 文件进行备 份 ，是 ＮａｍｅＮｏｄｅ的备份结 点 。一般 情况 下 ，一个物理 结点上运行一 个数据结 点 ＤａｔａＮｏ ｄｅ，ＤａｔａＮｏｄｅ将数据作 为块存储在 义件 中ｌ４Ｉ。ＨＤＦＳ体系结构 如 图 １所 示
３ ＨＤＦＳ的读／写数 据流 ＨＤＦＳ的数据 流主要分成 文件读取 和文件写入 过程 Ｉ．．其
文件读取和文件 写入流程 图如 图 ２和图 ３所示。
网
Ｌ
“。 ｛０ｕｔ ｐ ｕＩｓｍ Ⅱ Ｉ
南 ·碰 蛆 信 扈 Ｉ 由 橱 ｒ臼稚／
Ｎａｍ ｅＮｏｄｅ
图 ２ ＨＤＦＳ文 件读 取 流 程