基于大数据的智慧城市技术体系架构研究_朱亚杰

１ 引言
近年来， 随 着 全 球 智 慧 城 市 建 设 的 热 潮 与 探 索，引发 了 社 会 经 济、 生 活、 商 业 模 式 等 的 迅 速 变革，智慧 城 市 本 身 的 内 容 和 含 义 也 在 不 断 地 演 变。早在１９９９ 年， 李 琦 等 在 “数 字 地 球： 人 类 认 识世界 的 第 三 次 飞 跃 ” 一 书 中 就 提 出 了 “空 间 智 能体” 和 “数 字 生 态 系 统 ”， 探 讨 通 过 “数 字 地 球”来推动生态文 明建设，实 现人类社会的可持 续发展 。 ［１］ 在未来一段时间内，智慧城市建设的 突 破无疑将引领产业升级、社 会 转 型、惠 及 民 生、 生态 文 明 的 演 进。然 而，机 遇 总 是 伴 随 着 挑 战， 我国在智 慧 城 市 的 建 设 过 程 中 遇 到 了 很 多 困 难 和 问题，多数智慧城市建设项目存在建设目标不明， 建设内容不 实， 建 设 效 果 难 以 考 察 等 问 题， 这 一 方面是由于我国智慧城市的建设还处于探索期和 初步实施期， 尚 缺 乏 完 善、 合 理 的 智 慧 城 市 顶 层 设计；另一方 面 则 是 由 于 缺 乏 技 术 体 系 框 架， 无 法系统、合理 地 开 展 智 慧 城 市 建 设， 各 个 建 设 项 目之间资源 整 合 困 难， 从 而 造 成 重 复 建 设、 建 设 效果不明显 等 问 题。 因 此， 智 慧 城 市 的 建 设 除 了 设计科学合理的顶层设计以外，亟需一套可实施 的技术体系框架来助力智慧城市的建设。为了更 好地开展智慧城市建设，需要解决技术上的问题
７２
测绘科学
第 ３９ 卷
４ 应用实例验证
基于上 述 的 智 慧 城 市 技 术 体 系 框 架， 对 空 气 质量监测、建 模 与 模 拟 进 行 了 系 统 分 析 和 设 计， 并将关键部分进行了原型实现，以验证该技术体 系框架的可行性。
该系统总体设计如图２所示，其系统设计思想 与图１所示的技术体系框架相同：天空地一体化对 地监测网络对应于数据获取层；云数据平台对应 于数据存储层；地球系统建模环境对应于数据分 析层；业务应用平台则对应于应用层。
网络数 据 一 般 采 用 爬 虫 的 形 式 获 取， 爬 虫 是 一种计算机程序，可以在网络上通过一定的规则 不断地获取网络上的数据。实现一个简单的爬虫 程序可分 为 ３ 个 步 骤： ① 根 据 ＵＲＬ 获 取 数 据 流； ②对数据流进行解析，获得有用的数据；③将有用 的数据进行 合 理 的 储 存。 第 ① 步 中 需 要 考 虑 的 问 题是如何高效 地 遍 历 需 要 访 问 的 ＵＲＬ， 目 前 比 较
主要 包 括 两 部 分 内 容：模 型 实 现 和 分 布 式 处理。
模型实现 在 实 际 系 统 中 一 般 采 用 模 型 服 务 器 的形式进 行 实 现， 以 服 务 的 形 式 提 供 模 型 计 算 能 力，模型服务器一般包括很多分析模块，其中空间 分析模块主要用来为各种应用提供利用空间信息的 能力；统计分析模块用来实现简单的统计分析功能； 机器学习模块用来实现复杂的机器学习算法。
２ 大数据助力智慧城市建设
２．１ 大 数 据 与 智 慧 城 市 在智慧城市领域，数据具有非常重要的地位，
包括地 理 空 间 数 据、 行 业 数 据、 普 查 数 据、 传 感 器监测数据 等， 这 些 是 智 慧 城 市 建 设 的 基 础。 如 何对这些 海 量 多 源 异 构 数 据 进 行 有 效 的 存 储 和 管 理是智慧 城 市 建 设 中 面 临 的 重 要 问 题。 在 此 基 础 之上，利用计 算 机 技 术、 信 息 技 术、 机 器 学 习［１３］ 技术使得 计 算 机 系 统 能 够 基 于 海 量 数 据 进 行 自 主 分析和学 习， 从 而 为 城 市 管 理 者 提 供 决 策 支 持 也 是智慧城 市 区 别 于 数 字 城 市 的 一 个 重 要 特 征。 因 此，海量多源 异 构 数 据 的 存 储、 管 理 和 分 析 是 智 慧城市建 设 中 需 要 解 决 的 根 本 技 术 问 题， 而 这 些 技术问题 也 正 是 大 数 据 所 关 注 的 问 题， 因 此 智 慧 城市建设 的 技 术 体 系 框 架 可 以 在 一 定 程 度 上 认 为 是大数据系统的技术体系框架。 ２．２ 技 术 体 系 框 架
２）基于 ＭｏｎｇｏＤＢ 搭建了分 布 式 数 据 库， 用 来 存储和管理实时气象数据和实时空气质量 数据， 由于数据 经 常 会 有 缺 失 项，且 缺 失 项 变 动 频 繁， 利用 ＭｏｎｇｏＤＢ 可以仅存储有数据 的 部 分， 非 常 灵 活高效，关于其更多优势请参考文献 ［１２］。Ｍｏｎ－ ｇｏＤＢ 可用来支持对数 据 进 行 统 计 分 析 以 及 复 杂 模 型的计算。
好的做法 是 采 用 深 度 优 先 和 广 度 优 先 相 结 合 的 方 式；第②步中根据具体的问题有不同的解决方案， 可以使用正则匹 配，ＤＯＭ 解 析 等 方 式 处 理； 第 ③ 步中根据储存的数据形式可 分为 格 式 化 的数 据、 半格式化数 据、 文 本 数 据， 格 式 化 数 据 采 用 成 熟 的关系型 数 据 库 作 为 存 储 解 决 方 案， 半 格 式 化 数 据采用 ＮｏＳＱＬ 数据库 来 ［６］ 进 行 存 储 和 管 理， 文 本 数据采 用 ＨＤＦＳ［７］来 进 行 存 储， 利 用 ＹＲＡＮ［８］实 现资源的调 度 和 管 理， 根 据 数 据 使 用 场 景， 可 分 为实时数 据 和 非 实 时 数 据， 对 于 实 时 数 据 首 先 采 用内存数 据 库 进 行 存 储 和 管 理， 经 处 理 后 再 进 行 持久化存储。 ３．２ 海 量 数 据 分 析
第 ３９ 卷 第 ８ 期 ２０１４ 年 ０８ 月
测绘科学 Ｓｃｉｅｎｃｅ ｏｆ Ｓｕｒｖｅｙｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ
Ｖｏｌ．３９Ｎｏ．８ Ａｕｇ．
基于大数据的智慧城市技术体系架构研究
朱亚杰，李 琦，冯 逍
（北 京 大 学 遥 感 与 地 理 信 息 系 统 研 究 所 ， 北 京 １００８７１）
为了实 现 对 海 量 数 据 进 行 分 析， 需 要 进 行 分 布式处理，这 一 方 面 是 由 于 数 据 量 太 大， 无 法 使 用单机进行 处 理， 或 者 即 使 能 够 处 理， 由 于 单 机 的计算能力 有 限， 导 致 模 型 运 算 时 间 过 长； 另 一 方面是为 了 提 高 模 型 服 务 器 的 可 用 性， 当 部 分 服 务器出现 问 题 时， 模 型 计 算 能 够 不 受 影 响 地 继 续 进行。针 对 这 种 需 求， 本 文 设 计 了 两 种 方 案： 对 于实时 性 要 求 不 高 的 分 析 任 务， 采 用 ＭａｐＲｅｄｕｃｅ 计算框架 和 ［９］ Ｍａｈｏｕｔ［１０］相结合 的 方 案 进 行 分 析 计 算；对于实时性要求很高的任务，采用 Ｓｐａｒｋ［１１］生 态系统作为解决方案。 ３．３ 云 ——— 端 应 用 模 式
摘 要：智慧城市是我国城市化进程中的重要机遇和挑战，云计算与大数据技术的应用为构建智慧城市带来了 可能。本文分析了智慧城市建设中存在的问题以及大数据与智慧城市之间的关系，探讨建立基于大数据技术的 智慧城市技术体系框架，对其进行了较为详细的阐述，并通过实际应用案例验证了该技术体系框架的可行性。 关键词：智慧城市；大数据；技术架构；空气质量模拟 【中图分类号】Ｐ２０８ 【文献标识码】Ａ 【文章编号】１００９－２３０７（２０１４）０８－００７０－０４
为了验 证 该 系 统 设 计 的 可 行 性， 开 发 实 现 了 原型系统，其关键部分阐述如下：
１）利用 爬 虫 技 术 通 过 网 络 获 取 了 实 时 空 气 质 量数据和实时气象数据，并编写了下载脚本用来自 动下载所需的遥感影像数据。目前已存储 ３９０多万 条实时空气质量数据和１８００多万条实时气象数据。
在对国内 外 多 个 具 有 代 表 性 的 智 慧 城 市 建 设 项目进行调研分析之后，基于北京大学数字地球工 作室在数字城市云计算框架和关键技术方面的研究 成果［３］，并结 合 目 前 大 数 据 技 术 领 域 的 相 关 进 展， 本文提出了如图１所示的智慧城市技术体系框架。
第８期
朱亚杰等 基于大数据的智慧城市技术体系架构研究
３ 关键技术
３．１ 网 络 数 据 获 取 数据是 智 慧 城 市 建 设 的 基 石， 可 分 为 空 间 数
据和非空间 数 据。 对 于 空 间 数 据， 我 国 已 经 启 动 了国家空间信息基础设施建设 ， ［４］ 由国家测绘地 理 信息局主导建设的天地图也日趋完善 。 ［５］ 对于非 空 间数据来说，其数据来源主要是国家统计部门的 统计数据，企 事 业 数 据 等。 随 着 近 年 来 互 联 网 的 不断发展，网络数据逐渐成为了重要的信息来源， 如搜索引擎 搜 集 的 网 页 数 据， 微 博、 人 人 等 社 交 网络数据等，这部 分 数据 来 源 多 样、格 式 杂 乱， 较难进行存储、管理和分析利用，但是其包含重要 的、实时的信息，具有很高的利用价值，因此需要 设计合理的方案以获取、存储和分析网络数据。
作者 简 介： 朱 亚 杰 （１９９０）， 男， 河 南 禹州人，博 士 在 读，研 究 方 向 为 智 慧 城市与海量数据处理分析。 Ｅ－ｍａｉｌ：ｙａｊｉｅｚ０１２２＠ｇｍａｉｌ．ｃｏｍ
收 稿 日 期 ：２０１４－０５－１９
体制上的 问 题 以 及 实 施 机 制 上 的 问 题。 体 制 上 的 问题和实 施 机 制 上 的 问 题 将 会 随 着 智 慧 城 市 的 建 设进程由 政 府 和 企 业 来 进 行 解 决， 本 文 主 要 关 注 技术上的 问 题， 即 探 讨 智 慧 城 市 的 建 设 需 要 哪 些 核心技术，如 何 对 这 些 技 术 进 行 有 机 的 整 合， 以 及如何构 建 智 慧 城 市 的 技 术 体 系 框 架， 并 基 于 本 文提出的 技 术 体 系 框 架 对 空 气 质 量 监 测、 建 模 与 模拟进行了 系 统 分 析、 设 计 和 原 型 实 现， 以 验 证 所提技术体系框架的可行性。