基于Storm的云计算在自动清分系统中的实时数据处理应用

一一收稿日期:2013-11-13;修回日期:201４-01-26三

一一作者简介:胡宇舟（1963－),男,湖南郴州人,高级工程师,博士,主要研究方向：云计算二信息管理系统;一范滨（19８2－),男,山西太原人,工程师,主要研究方向：云计算二大数据处理;一顾学道（1939－),男,上海人,教授,博士,主要研究方向：云计算二通信系统;一缪力（1972－),男,湖南长沙人,副教授,博士,主要研究方向：云计算二程序分析三

文章编号：1001-90８1（201４)S1-0096-0４

基于Storm 的云计算在自动清分系统中的实时数据处理应用

胡宇舟1,范一滨1,顾学道2*

,缪一力2

（1．高新现代智能系统股份有限公司产品研发部,广东深圳５1８0５7;一2．高新现代智能系统有限股份公司博士后科研工作站,广东深圳５1８0５7)

(*通信作者电子邮箱guxuedao@126．com）

摘一要:针对轨道交通行业客流量逐年增大而带来的大数据问题,提出了采用Strom 云计算技术解决该问题的方法,并证明了云计算技术完全适用于轨道自动交通售检票(AFC )清分系统(ACC ),探讨了基于Storm 云计算在处理清分系统处理实时数据业务中的应用三实践表明,基于Storm 的云计算完全适用于轨道交通售检票清分系统的处理实时数据业务,成本低,容错好,运行稳定,效率高,硬件投资仅占单台服务器的十分之一,其扩展性与容错性均优于单台服务器三

关键词:Storm ;云计算;自动清分系统;大数据;轨道交通中图分类号:TP1８3一一文献标志码:A

Ａｐｐｌｉｃａｔｉｏｎｏｆｒｅａｌ-ｔｉｍｅｄａｔａｐｒｏｃｅｓｓｉｎｇｓｅｒｖｉｃｅｓｉｎ

ａｕｔｏｍａｔｉｃｃｌｅａｒｉｎｇｃｏｌｌｅｃｔｉｏｎｓｙｓｔｅｍbａｓｅｄｏｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇｆｏｒＳｔｏｒｍ

ＨU Yuzhou 1,FAN Bin 1,GU Ｘuedao 2*

,ＭＩAO Ｌi 2

(1.Product Development Department，ＧaoXin Modern Intelligent System Corporation Limited，Shenzhen Ｇuangdong ５1８0５7，China ；

2.Postal Doctor Program，ＧaoXin Modern Intelligent System Corporation Limited，Shenzhen Ｇuangdong ５1８0５7，China ）

Ａbｓｔｒａｃｔ：According to big data problem caused by yearly increased rail transit passenger flow,the paper presented a

method adopting Storm cloud computing technology to solve this problem,verified that cloud computing technology is suitable for rail transit Automatic Fare Collection (AFC）system and Automatic Clearing Collection (ACC）system,and discussed cloud computing application in processing real-time data of ACC．Practice indicates that cloud computing based on Storm is totally suitable for real-time data processing in rail transit ACC system with lower cost,better fault tolerant capability,stable

operation as well as higher efficiency．Ｉts hardware investment covers only a tenth of single server,but its expansibility and

fault tolerance are both superior to single server．

Kｅｙｗｏｒｄｓ：Storm；cloud computing；Automatic Clearing Collection (ACC）system；big data；rail traffic

0一引言

用云计算处理大数据被公认为是最有效的方式三目前大

数据量处理平台有Twitter 的Storm,Yahoo!的S４,Apache 的Storm,UC Berkeley AＭPＬab 的Spark,NokiaDisco,ＬexisNexis

的ＨPCC 等三其中Storm 和S４采用流处理,适用实时业务;其余的均为批处理,适用非实时业务三

为了解决交通拥堵,实现绿色出行,各城市都在建设包括地铁在内的轨道交通,轨道交通网络覆盖面越来越广,乘坐轨道交通的客流量也逐年增大,大数据处理问题日趋明显三其中轨道交通行业的自动清分（Automatic Clearing Collection,ACC)系统承担着线网化运营的管理工作,是线网化的数据中心,并承担着多运营商和多线路的清分功能,是轨道交通的行业核心系统;ACC 系统的数据可分为实时数据和非实时数据,其中实时数据处理选用了Storm三本文阐述在ACC 系统中采用基于Storm 云计算处理实时数据的系统设计和测试结果三

1一适用于ACC 系统数据处理的云计算

1．1一清分系统受单台服务器的限制

清分系统的主要特征是数据量大二持续计算与实时反馈

等三现在的清分系统都运行在单台服务器上,主要受到以下的一些限制：

1)存储量大小的限制：单台服务器的存储量是有限的,

随着时间的推移,清分系统的数据量会不断地增长三虽然可以通过删掉历史数据来减少数据的存储,但是只是折中方案,

毕竟每份数据都有它的价值三

2)异常中断的限制：虽然清分系统有容错备份,但也会遇到系统宕机三系统一旦出现异常,就会停止,这对于要求实时反馈的清分系统是不能容忍的三

3)服务器性能的利用限制：清分系统虽然要求持续计算

和实时反馈,但是极大多数是数据去重二分拆二组合等操作,计算工作量不大三清分系统运行在大型服务器上,没有充分发挥大型服务器的性能三

高性能二高可用二可扩展的云计算正是解决以上问题的最好的解决方案三

1．2一清分系统云计算平台的构建

云计算一直致力于利用廉价的机器构建能与大型服务器

媲美的系统三作者使用了如表1所示的22台普通的个人计算机搭建一个清分系统的云计算平台,如图1所示,其硬件成本投入仅占单台服务器的十分之一三

Journal of Computer Applications 计算机应用,201４,3４(S1）：96－99一

ＩSSN 1001-90８1

CODEN JYＩＩDU 一

201４-06-30

http：//www．joca．cn