实验室环境下Hadoop和HAMR的性能比较

－ ０ 饕 ０ ． ＿ ０ Ｉ ０ ０ ＿ 誊 堂 ｛ ． 黑 １
曩 啊 ＿ 啊 － ｛ 一 － 一 譬 囊 ＿ ｌ ｜ ｌ ｌ ０ ｌ ≯ 曩 ； ｊ ≯ ＿ 誓 蠢
■ ・ ｉ ｌ ｌ ≯ｌ 譬 － １ ＿ ≤ 鼍 毒 ≯ ｊ ０ ０ ０ 薹 曩０Ｉ ≮ 鬈 ０ ？
ＨＡ ＭＲ 是 一 个 流 式 引 擎 ， 通 过 Ｆ ｌ ｏ ｗ ｌ ｅ ｔ 技 术 驱 动 数 据 的 流 式
统 ，从 无 线 传 感 器 监 控 系 统 ，从 工 业 生 产 领 域 以 及 从 科 学 和 工 程 计 算 领 域 。 在 每 一 分 钟 ：Ｆ ａ ｃ ｅ ｂ ｏ ｏ ｋ用 户 点 赞 ４ ， １ ６ ６ ， ６ ６ ７
在 通 信 基 础 设 施 建 设 过 程 中存 在 的 问 题 ， 应 当加大 管理力 度 ， 这里 指 的管理通 常是 闭环管 理 。 在 实 际 开 展 管 理 工 作 过 程 中 ，要 对 节 能 减 排 、信 息 消 费 和 投 资 管 控 等 方 面 进 行 评 估 ，进 而 减 轻 这 些 方 面 对 通 信 基 础 设 施 建 设 效 果 的 影 响 ， 在 政 府 的 指 导 下 开 展 管 理 工 作 ，对 有 关 建 设 规 划 进 行 严 格 的 审 批 ，保 证 所 管 理 的 内 容 能 够 符 合 相
． ｊ ｜ Ｉ
≯ 薯 ≮謦 ４ ０ ∥ 。 毒 雾 。 鬻 ＿ ｜ 影
Ｉ ｌ ０ ◆
｜ 一一 ＿ １ ｌ ０
Ｉ 孽 纛 ≯ ｜ 势 》 蛩 ｇ 辫 ｜ 鸯 》 蠕 旗 ｇ 笺 罄 § 聋 爱 爱 蕊 獭 霉 警
关规 范 ，避 免在 通信基 础设施 建设 过程 中存在 问题 。
参 考 文 献
【 １ 】 刘 富章 ． 关 于通信 基础设施 有关问题的探讨 ｌ Ｊ ｌ ＿ 机械管理开发 ， ２ ０ １ ０ ， ２ ５ （ ２ ） ： １ ６ ３ — １ ６ ４ ． 【 ２ 】 肖清华 ． 通信基础设施 建设 过程中的问题分析及解决建议 『 Ｊ １ ． 移动通信 ， ２ ０ １ ６ ， ４ ０ （ ７ ） ： ９ — １ １ ， １ ６ ．
萎 曩 Ｉ Ｅ ＿ ≮一
一
ｊHale Waihona Puke 警 熬■ 师 ｍ 一 麓曩
誊 鐾 ≤ ｌ ｌ ｌ
瑶＿
丽豳
一
一
毒 。 ｔ 囊 蕊
｜一 ｜０ ＿ 薯 囊 囊 赣 蛰 ｍ
ｉ ｉ
翳 ｔ
ｌ
／ ∥
一
瞄 譬盔
辩 薄 ｊ
謦
一
业 之 间 的 合 作 共 赢 ，而 且 为 通 信 基 础 设 施 的 建 设 创 造 了 良好 的 条 件 ，也 促 进 解 决 建 设 期 间 存 在 的 问 题 。
３ ． ３加 大 管 理 力 度
漏 洞 ，为 通 信 基 础 设 施 的 有 序 建 设 营 造 较 好 的 环 境 。总 之 ， 为 了提 高 通 信 基 础 设 施 建 设 的 质 量 和 效 果 ， 必 须 加 大 管 理 力 度 ，使 得 建 设 期 间 存 在 的 问 题 得 以 解 决 ，继 而 为 通 信 行 业 的
Ｔ
互联 网 ＋通信
工 ｎｔ ｅ ｒ ｎ ｅ ｔ Ｃｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ
实验室环境 下 Ｈ ａ ｄ ｏ ｏ ｐ和 Ｈ ＡＭ Ｒ的性能 比较
口赵 迪 生 同济 大 学 电子 信 息 工 程 学 院
【 摘要 】 随着互联 网技术 的发展 ，数据爆 炸即将发生。为了处理海量数据 ，包括 存储 ， 组织和分析 ， 单个机器的能力是远远不够 的。
个 ； Ｉ ｎ ｓ ｔ ａ ｇ ｒ ａ ｍ 的用户赞 了 １ ， ７ ３ ６ ， １ １ １ 张 照片 ； Ｔ ｗ ｉ ｔ ｔ ｅ ｒ 用 户 发 送
了３ ４ ７ ２ ２ ２条 ｔ ｗ ｅ ｅ ｔ ｓ ； Ｓ ｋ ｙ ｐ ｅ 用户拨打 １ １ ０ ， ０ ４ ０个 电 话 ： 苹 果 用 户下 载了 ５ １ ， ０ ０ ０个 应 用 程 序 。 所 有 这 些 大 数 字 都 将 人 们 引 向
【 关键词 １ 分布式计算平 台
Ｈ ａ ｄ ｏ ｏ ｐ Ｈ Ａ ＭＲ Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ
一
、
弓Ｉ 言
它，Ａ ｐ ａ ｃ ｈ ｅ Ｈ ａ ｄ ｏ ｏ ｐ得 以 发 布 。 以 四 个 最 初 的 组 件 （ Ｇ Ｆ Ｓ，
Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ，Ｂ ｉ ｇ ｔ ａ ｂ ｌ ｅ和 Ｃ ｈ ｕ ｂ ｂ ｙ）为 基 础 ，Ｈ ａ ｄ ｏ ｏ ｐ现 在 已 发
了 今 天 的 热 门 话 题 一大 数 据 。 为 了 以 可 扩 展 ， 可 靠 和 容 错 的 方 式 处 理 如 此 大 规 模 的
数 据 ，Ｇ ｏ ｏ ｇ ｌ ｅ推 出 了 著 名 的 数 据 处 理 框 架 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ，基于
传 输 和 实 时 分 析 。 这 不 仅 减 少 了 每 个 任 务 的 内存 使 用 ， 而 且 降低 了 Ｃ Ｐ Ｕ利 用 率 。
管 理 力 度 ，通 过 实 施 闭 环 管 理 ， 对 各 个 环 节 进 行 细 致 和 全 面 的 评 估 ，并 且 实 施 局 部 优 化 ，防 止 问 题 的 出 现 ，合 理 的 控 制
运用 效率 ，促 进通信 基 础设施 的有 序建设 。同时 ，实 时对通 信基 础设 施规 划建设 的实施标 准予 以同步更 新 ，使 得 三 网融 合 、 数 据 中 心 等 建 设 的 范 畴 得 到 不 断 的 拓 宽 ，不 但 有 利 于 企
可持续 发展 奠定坚 实的基础 。
四、结束语
在 通 信 基 础 设 施 建 设 期 间 ，为 了 保 证 存 在 的 问 题 能 够 被
有 效 的 解 决 ，必 须 充 分 发 挥 管 理 的作 用 ，通 过 加 大 管 理 力 度 ，
减少 各种 因素 对通 信基 础设施 建设 的影 响 ，从而 为增 强通信 基础 设施 建设 的整 体效 果发 挥一定 的作 用 。为 了有效 的降低
警
■
阿２ ． ２ 计 算 节 点 ，Ｆ ｌ ｏ ｗ ｌ ｅ ！ 和 分 区 在 本 文 中，我 们 进 行 实 验来 评 估 和 比较 Ｈ ａ ｄ ｏ ｏ ｐ和 Ｈ ＡＭＲ在 实 验 事 条 件 下 的 系 统 性 能 。 我 们 选 择 一 个 典 型 的 基 准 Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ来 运 行 数 据 集 、实 验 结 果 表 明 ，Ｈ ＡＭＲ 运 行 速 度远远 超过 Ｈ ａ ｄ ｏ ｏ ｐ ，并 且 内 俘 使 用 量 更 少 。 本文组 织 如下 。第二部 分提 供 了相关 Ｉ ： 作 的系统 概述 。 第 ｉ 郎 分 描 述 我 们 的 实 验 没 置 。第 四 介 绍 了 我 们 的 实 验 结 果 、我 们 在 第 五 节 中 给 出我 们 的 结 论 和 未 来 的 ］ ＿ ＝ 作。
ｆ ３ 】 张海涛 ， 汪颖 ， 周双 波等 ． 我 国移 动通信 基础设施 共建共享问题分析 【 Ｊ Ｊ ． 现代 电信科技 ， ２ ０ １ ０ ， ４ ｏ （ １ １ ） ： ２ １ — ２ ４
２ ２
Ｉ ｎ ｔ ｅ ｒ
ｒ 。 ． １ ∥ 毫 。
｜
。 ｎ
二 、相 关 研 究 介 绍
２． １ ｈａｄｏｏｐ
Ｈ ＡＭＲ作 为 另 外 一 种 用 于 处 理 大 规 模 数 据 的 分 布 式 软 件 系 统 ，与 其 他 系 统 最 大 的 区 别 在 于 它 以 流 式 数 据 引 擎 作 为
核 心 。最 终 日标 是 最 小 化 数 据 的 内 存 占 用 这 使 得 在 运 行 过 程 中 ， 中 问 运 算 结 果 会 占用 更 少 的 内 存 空 问 ，使 得 更 多 的 系
因此 ，构建一个 分布 式计 算平 台不仅对学术 目的 ，而且对工业使用是 有重 要意义的。现如今 ，Ｈ ａ ｄ ｏ ｏ ｐ是 大数据 最受欢以及开发最 为 完善的解决 方案之一 它 为基于 ＨＤＦ Ｓ和 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ的大规模数据处理 提供 可靠 ，可扩展 ，容错和 高效的服务。Ｈ ＡＭＲ是另一种 新 出现 的大数据 处理技 术，据 说运 行速度 比 Ｈ ａ ｄ ｏ ｏ ｐ更快 ，内存和 ＣＰ Ｕ消耗更 少。 本 文通过测量运行 时间，最 大和平均 内存和 ＣＰ Ｕ 使用率 ，基于运行 Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ来进行 Ｈ ａ ｄ ｏ ｏ ｐ和 Ｈ ＡＭＲ之间的性能 比较。 结果有助于 构建分布 式计 算机平 台。
ｉ
● ■■ 【 ｊ‘ ］ ： 研 ｉ ： —■■■
。 蔓 一 ｉ 曼 ● ＿ 口
一
１ ■■ ■
■■■■辱 墨 ■■＿
誓誊 《
毫 ｔ ｉ
¨
Ｉ
．
曩
＿
。 ■＾ ¨
０ ０｜ ００
尊 嚣
。 Ｉ ｌ ｌ ＿ ｌ ｌ ｌ ｊ
。
。
的资本 得 到最大程 度 的利用 ， 当 获 取 资 本 的 途 径 具 有 多 样 性 ，才 能 有 利 于 提 高 资 源 的
总 之 ，在 通 信 基 础 设 施 建 设 期 间 ，为 了 确 保 所 存 在 的 各 种 问 题 能 够 得 到 有 效 的 解 决 ，进 而 提 高 整 体 建 设 质 量 ， 为 社 会 的 可 持 续 发 展 发 挥 关 键 的 作 用 ，那 么 ，在 建 设 时 ，要 加 大
我 国 社 会 在 发 展 期 间 ，为 了 促 进 经 济 的 逐 步 增 强 ，应 当
对 通 信 基 础 设 施 的 作 用 予 以 高 度 重 视 ， 由于 通 信 基 础 设 施 不 仅是 推动 国家工 业化 和信息 化有 机融合 的主要纽 带 ，而且其 也 是 信 息 化 国 家 战 略 的 组 成 部 分 ，所 以 加 大 通 信 基 础 设 施 建 设 对 社 会 的 全 面 发 展 具 有 重 要 意 义 。 在 通 信 业 迅 猛 发 展 的 年 代 ，人 们 对 通 信 基 础 设 施 方 面 提 出 了 更 高 的 要 求 ， 因 而 必 须 加 强 通 信 基 础 设 施 建 设 ，满 足 人 们 的 基 本 需 求 。 然 而 ，在 建 设 通 信 基 础 设 施 过 程 中 却 存 在 一 些 问题 ，必 须 采 取 合 理 的 措 施 解 决 问 题 ，从 而 完 善 通 信 基 础 设 施 。