基于NoSQL数据库的大数据查询技术的研究与应用_朱建生

，２ Ｊ ａ ｎ ｕ ａ ｒ ０ １ ４ ｙ
ｏ ｌ ． ３ ５ Ｎ ｏ ． １ Ｖ
基于 Ｎ ｏ Ｓ Ｌ 数据库的大数据查询技术的研究与应用 Ｑ
朱 建 生 ， 汪健雄 ， 张 军锋
） （ 中国铁道科学研究院 电子计算技术研究所 ， 北京 １ ０ ０ ０ ８ １ ｏ Ｓ Ｑ Ｌ 数据库理论 ， 根据应用场景 的 不 同 ， 将 Ｎ ｏ Ｓ Ｑ Ｌ 数据库分为面向高性能读写、面向文 摘 要 ： 基于 Ｎ 档和面向分布式计算的 ３ 种类型 。 对比分析这 ３ 种 类 型 数 据 库 的 ６ 种 代 表 产 品 的 优 缺 点 ， 结 合 铁 路 客 票 实 名 制 售票信息综合分析系统中的大 数 据 操 作 的 需 求 ， 选 用 Ｎ ｏ Ｓ Ｑ Ｌ数据库中的面向分布式计算的 Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ数 据 库 。 基于 Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ数据库 ， 提出铁路客票实名制信息综合分析系统的技术架构 ， 并设计反向索引以构建 客 票 实 名 制 乘车信息的查询策略和查询流程 。 通过性能测试 ， 验证了 Ｎ ｏ Ｓ Ｑ Ｌ 数据库技术在处理大数据查询 和 分 析 中 的 高 可 用性 ， 可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能 、 扩展性以及投资成本的瓶颈 。 ｏ Ｓ Ｑ Ｌ 数据库 ；Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ数据库 ； 大数据处理 ； 反向索引 ； 数据查询 关键词 ：Ｎ ２ ９ ３ ． ２ ２ １：Ｔ Ｐ ３ ９ １ 文献标识码 ：Ａ 中图分类号 ：Ｕ ：１ ／ ｏ ｉ ０ ． ３ ９ ６ ９ ｉ ｓ ｓ ｎ ． １ ０ ０ １ ６ ３ ２ ． ２ ０ １ ４ ． ０ １ ． ２ １ ｄ ． ４ － ｊ
需要满 足 最 终 一 致 性 （ ｖ ｅ ｎ ｔ ｕ ａ ｌ Ｃ ｏ ｎ ｓ ｉ ｓ ｔ ｅ ｎ ｃ Ｅ ｙ） 即 可 ， 而且 可 以 是 异 步 的 ， 即 柔 性 状 态 （Ｓ ｏ ｆ ｔ－
［］ ） 。而 足了 ｓ ｔ ａ ｔ ｅ 可用性和分区 容 错 性 ， 近 年 来 得 到 了 广 泛 的 关 注 ，
； 修订日期 ：２ ０ １ ０ ０ ０ １ ２ ７ ０ ０ １ ３ ８ ６ 收稿日期 ：２ － － － －
（ ｅ ｌ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｄ ａ ｔ ａ ｂ ａ ｓ ｅ Ｍ ａ ｎ ａ ｅ ｍ ｅ ｎ ｔ Ｓ ｓ ｔ ｅ ｍ， Ｒ Ｄ Ｒ － ｇ ｙ ） ， ＢＭＳ 可满足一致性和可用性 但无法很好地 支 持 分布式应用 ， 因此在小规模数据量时可达到很好的 效应 ，但随着数据量和应用范围的增长 ， 性能大 幅 度下降 。 对于许多大数据应用而言 ， 侧重于系统的 可用性 ， 而对于一致性的要求可以降低 ， 从而产生 ，Ａ ， 了弱 一 致 性 理 论 Ｂ Ａ Ｓ Ｅ （ Ｂ ａ ｓ ｉ ｃ ａ ｌ ｌ ｖ ａ ｉ ｌ ａ ｂ ｌ ｅ ｙ ，Ｅ ，即 反 Ａ ｓ Ｓ ｏ ｆ ｔ ｔ ａ ｔ ｅ ｖ ｅ ｎ ｔ ｕ ａ ｌ ｏ ｎ ｓ ｉ ｓ ｔ ｅ ｎ ｃ Ｃ Ｉ Ｄ － ｃ ｙ） ，Ｉ ，Ｄ （ ，Ｃ Ａ ｔ ｏ ｍ ｉ ｃ ｉ ｔ ｏ ｎ ｓ ｉ ｓ ｔ ｅ ｎ ｃ ｓ ｏ ｌ ａ ｔ ｉ ｏ ｎ ｕ ｒ ａ ｂ ｉ ｌ ｉ ｔ ｙ） ｙ ｙ 模型 。Ｂ Ａ Ｓ Ｅ 理论的思想是 ， 对于分布式系统 ， 只
节点 ， 并将数据保 存 到 找 到 的 第 １ 个 服 务 节 点 上 。
３ ２ 个 节 点 仍 然 没 有 找 到 服 务 节 点，则 如果查找了 ２
将该数据保存到第 １ 个服务节点上 。 （ ） 假设在原有集群的基础上新增加 １ 个服务 ３ ， 且访问策略不变 ， 则将该服务节 ） 见图 １ 节点 ６ （ 点逆时针方向相邻节点的 ｋ ｅ ｙ 对应的数据迁移到新 增服务节点上 ， 使得仅在新增服务节点 ６ 与服务节 点 ２ 之间 的 区 间 上 存 在 数 据 找 不 到 服 务 节 点 的 可 能 ， 从而提高了缓存的命中率 。
０ １ １ 年 底，中 国 铁 路 客 票 预 订 与 发 售 系 截 至 ２ 统 （ ｈ ｉ ｎ ａ Ｒ ａ ｉ ｌ ｗ ａ Ｔ ｉ ｃ ｋ ｅ ｔ ｉ ｎ ａ ｎ ｄ Ｒ ｅ ｓ ｅ ｒ ｖ ａ ｔ ｉ ｏ ｎ Ｓ ｓ Ｃ － ｙ ｇ ｙ
［ １］ ） 除 少 量 普 通 列 车 的 中 间 站 外， 对 于 ｔ ｅ ｍ，Ｔ Ｒ Ｓ 全路旅客列 车 均 实 现 了 实 名 制 售 票 。Ｔ Ｒ Ｓ在售票
］ ７ ８ － ，为大数据查 库管理系统 的 进 一 步 发 展 和 补 充 ［
询 、 分析和挖掘提供了有效的途径 。
ｏ Ｓ Ｑ Ｌ 数据库分类及选型 ２ Ｎ
ｏ Ｓ Ｑ Ｌ 是多 种 非 关 系 型 数 据 库 的 集 合 ， 根 据 Ｎ 应用场景的不同可将这些非关系数据库概括为以下 ３ 种类型 。 ） 面向高性能读写的 Ｎ ｏ Ｓ Ｑ Ｌ 数据库 １ 面向高性能读写的 Ｎ ｏ Ｓ Ｑ Ｌ 数据库具有较为出 色的读写性能 。 在一般大型网站平台的构建中 ， 通 常使用面向高性能读 写 的 Ｎ ｏ Ｓ Ｑ Ｌ 数 据 库，代 表 产 品主要有 Ｍ ｅ ｍ ｃ ａ ｃ ｈ ｅ ｄ和 Ｒ ｅ ｄ ｉ ｓ数据库 。 ） 面向文档的 Ｎ ｏ Ｓ Ｑ Ｌ 数据库 ２ 面向文档的 Ｎ ｏ Ｓ Ｑ Ｌ 数 据 库， 在 保 证 大 数 据 存 储的基础上具有良好的查询性能 。 其数据一般采用 ｏ ｎ 格式的文 档 存 储 。 灵 活 的 ｊ ｏ ｎ 格式使得可以 ｓ ｓ ｊ 对特定字段建立索引 ， 为实现关系型数据库的部分 功能提 供 了 可 能 。 代 表 产 品 主 要 有 Ｍ ｏ ｎ ｏ Ｄ Ｂ和 ｇ Ｃ ｏ ｕ ｃ ｈ Ｄ Ｂ 数据库 。
…， （ ） Ｃｍ ｜ｍ ＝ １， Ｍ｝ ２， ３ Ｓ → ｛ 其中符号 → 表示映射关系 ， 式 （ ２） 表 示 Ｓ 和 Ｃ 可 属于同一层次 ，Ｆ 也可以映射至Ｃ。 主流 的 Ｎ ｏ Ｓ Ｑ Ｌ 数 据 库 如 ＨＢ ａ ｓ ｅ和 Ｃ ａ ｓ ｓ ａ ｎ ｄ ｒ ａ 数据库等都是采用了扩展的 Ｂ ｉ ｔ ａ ｂ ｌ ｅ存储模型 。 ｇ ． ３ 一致性哈希算法 １ 为实 现 在 集 群 中 对 服 务 器 节 点 的 数 据 访 问 ， ｏ Ｓ Ｑ Ｌ 数据库通常 使 用 哈 希 取 模 的 方 式 将 数 据 存 Ｎ 储在服务节点中 。 如 集 群 中 可 用 服 务 节 点 数 为 Ｎ ， 那么 ｋ ｅ ｙ 值为 Ｋ 的 数 据 请 求 可 以 使 用 简 单 的 哈 希 函数 ｈ Ｋ）ｍ Ｎ 找 到 对 应 的 服 务 节 点， 该 ａ ｓ ｈ（ ｏ ｄ 方法具有 简 单 易 用 的 特 点 。 但 随 着 服 务 节 点 的 扩 充 ， 可能会使得缓存无法命中 ， 导致服务节点需要 重新建立缓存并出现大量的缓存数据迁移 ， 从而引 起系统负荷剧 增 而 宕 机 的 可 能 。 为 了 解 决 该 问 题 ， ９ ９ ７年 Ｄ ａ ｖ ｉ ｄ 等学者提出了一致性哈希算法 （ ｏ ｎ １ ｃ － ［ ６］ ） 。Ｎ ｓ ｉ ｓ ｔ ｅ ｎ ｔ ｈ ａ ｓ ｈ ｉ ｎ ｏ Ｓ Ｑ Ｌ 数据库中的一致性哈 ｇ 希算法步骤如下 。 （ ） 将多个 服 务 节 点 看 作 圆 环 上 的 多 个 节 点 １ ２ ３ ， （ 个 服 务 节 点， 顺 时 针 分 布 ） 理论 上 最 多 支 持 ２ 计算出集群中每个服务节点的哈希值 ， 并将其分配 到圆环中的节点上 ， 如图 １ 所示 （ 以 ５ 个服务节点 ； 然后 使 用 同 样 的 方 法 求 出 所 需 存 储 的 ｋ 为例 ） ｅ ｙ 的哈 希 值 ， 也 将 其 分 配 到 该 环 形 区 间 的 服 务 节 点上 。 （ ） 从数据映射到的位置开始顺时针查找服务 ２
图 １ 一致性哈希算法示意图
对于分布式大数据系统而言 ， 多数情况下只需 要基于 Ｂ Ａ Ｓ Ｅ 理论寻 求 Ｃ Ａ Ｐ平衡中的可用性和分 区容错性 ， 并达到满足高并发的需求 ， 对一致性的 要求只需 要 满 足 Ｂ Ａ Ｓ Ｅ 最 终 一 致 性 即 可 。Ｎ ｏ Ｓ Ｑ Ｌ 由于具有最终一致性特性 ， 其作为传统关系型数据
足系统的功能和性能需求 。
１ Ｎ ｏ Ｓ Ｑ Ｌ 数据库理论基础
ｏ Ｓ Ｑ Ｌ 数据库是由许多理论支撑作为前提 的 ， Ｎ 其中与建立铁路客票实名制查询分析系统相关的理 论包括 Ｃ Ａ Ｐ 理 论、扩 展 Ｂ ｉ ｔ ａ ｂ ｌ ｅ存 储 模 型 和 一 致 ｇ 性哈希算法 。 ． １ Ｃ Ａ Ｐ 理论 １ Ａ Ｐ 定理 ： 对 于 分 布 式 系 统 的 要 求 体 现 在 一 Ｃ 致性 、 可用性和分区容错性 ； 对于任一事实存在的 分布式系统 ， 只可同时满足上述 ３ 个方面中的任意
［］ ２ 点 ， 而无法三者兼顾 ２ 。 根据 Ｃ Ａ Ｐ 理 论， 关 系 型 数 据 库 管 理 系 统
时记录每个乘车人的乘车信息和实名身份信息 ， 随 着实名制售票数据的长期积累和不断完善 ， 急需研 究铁路客票实名制信息查询技术 ， 并建立铁路客票 实名制信息查询分析系统 ， 用于统计 、 分析和查询 售检票过程中产生的实名制售票信息 ， 以丰富铁路 客运业务分析数据类型 ， 全面挖掘旅客购票和乘车 的规律 ， 为铁路客运客户关系管理奠定基础 。 由此对铁路客票实名制查询分析系统提出如下 需求 ： 具有较高横向扩展能力的数据存储机制 ； 针 对大数据进行查询策略专项优化 ； 具有较高级的数 据挖掘分析和研判应用 。 而建立该系统仅依靠关系 型数据库已经无法满足需求 ， 必须借助数据仓库存 储策略和数据挖掘技术 。 近年来 ， 随着高性能计算 技术的高速发展 ，带动了分布式计算 、 并行计算和 虚拟化技术的不断进步 ，为寻求低成本 、 高性能的 数据挖掘 计 算 带 来 了 机 遇 。 因 此 ， 本 文 基 于 Ｎ ｏ － ， 不 Ｓ Ｑ Ｌ（ Ｎ ｏ ｔ Ｏ ｎ ｌ Ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ｄ Ｑ ｕ ｅ ｒ Ｌ ａ ｎ ｕ ａ ｅ ｙ ｙ ｇ ｇ 仅限于结构化查询语言 ） 数据库技术 ， 提出铁路客 票实名制信息综合分析系统技术架构 ， 设计反向索 引以构建高性能的数据查询策略及处理流程 ， 以满