证券交易实时监控系统的研究与设计

第一章绪论 (1)

1.1论文背景 (1)

1.2研究目标 (1)

1.3论文结构 (2)

第二章系统需求分析与总体设计 (4)

2.1系统需求 (4)

2.1.1系统功能性需求 (4)

2.1.1.1 实时行情 (4)

2.1.1.2 指标计算 (5)

2.1.1.3 违规监察 (5)

2.1.1.4 压力测试 (6)

2.1.1.5 查询统计 (6)

2.1.2系统非功能性需求 (7)

2.1.2.1 性能需求 (7)

2.1.2.2可用性需求 (7)

2.1.2.3安全性需求 (8)

2.2系统总体设计 (8)

2.2.1 数据访问层 (8)

2.2.2 业务逻辑层 (9)

2.2.3 前端展现层 (9)

2.3小结 (9)

第三章系统核心模块设计与技术难点 (10)

3.1系统逻辑结构 (10)

3.2系统核心模块 (11)

3.2.1数据采集器 (11)

3.2.1.1一级缓存 (11)

3.2.1.2二级缓存 (12)

3.2.2排队机 (15)

3.2.3计算引擎 (16)

3.2.4客户端前置 (16)

3.2.4.1链路管理 (17)

3.2.4.2数据路由 (17)

3.2.5消息总线 (17)

3.2.5.1 AMQP协议 (18)

3.2.5.2 ZeroMQ (19)

3.2.6数据库 (20)

3.2.7客户端 (21)

3.2.7.1 B/S结构 (21)

3.2.7.2 C/S结构 (22)

3.3系统技术难点 (25)

3.3.1 系统高可用性 (25)

3.3.2 流数据实时处理 (25)

3.4小结 (25)

第四章系统关键技术与解决方案 (26)

4.1高可用性设计：多机冗余热备 (26)

4.1.1 排队机冗余设计 (26)

4.1.1.1文件复制 (27)

4.1.1.2网络复制 (29)

4.1.1.3优势比较 (31)

4.1.1.4扩展思考 – Paxos算法 (31)

4.1.2 计算引擎冗余设计 (33)

4.2事件流设计：CEP (34)

4.2.1 CEP概述 (34)

4.2.2 CEP使用现状 (34)

4.2.3 CEP技术研究 (35)

4.2.3.1 CEP与BRE比较 (35)

4.2.3.2 CEP关键技术 (36)

4.2.3.3 Esper (37)

4.2.4 CEP系统设计 (42)

4.2.5 扩展思考 – Storm框架 (42)

4.3 小结 (44)

第五章总结与展望 (45)

5.1总结 (45)

5.2展望 (46)

参考文献 (47)

附录 (49)

致谢 (50)

攻读学位期间发表的学术论文 (51)

第一章绪论

1.1论文背景

随着近代社会的飞速发展，全球范围内发生了多起金融危机，甚至愈演愈烈，甚至对整个国家和地区的安全性造成重大影响。证券市场作为金融市场的重要组成部分，其中蕴含着巨大的风险。证券市场具有“三高”的特点, 即资本高度密集、风险高度集中和监管高度重视[1]。为此行业内提出了各种预警指标和测算模型，然而这些监控需求都需要借助现代计算机技术才能实现。

同时，随着国内外资本市场的竞争越来越激烈，证券交易的品种、方式在不断发展，比如各种衍生品的推出、自动化程序化交易的盛行，同时市场参与者也越来越复杂，比如做市商、特殊机构等。这些变化对计算机系统提出了更高的要求，需要更好的IT系统去辅助完成此项工作。

证券交易实时监控系统是为了满足各市场主体（交易所、证券公司等）对证券交易的实时监控需求而设计实现的IT系统，用以及时发现风险并辅助决策。传统的监控系统存在着各种问题，尤其是可用性不强、实时性不够。证券市场的快速发展给监控系统提出了更高的要求，研究高效、可靠且易扩展的实时监控系统显得格外重要。

CEP(Complex Event Processing，复杂事件处理)是近年来不断升温一个词汇。流式数据处理是CEP的一个核心技术，在理论情况下最好当数据出现时就第一时间无延迟地就对其进行处理，按照事件发生的顺序逐个处理，而非传统的缓存成一批再处理。CEP的这种技术特性为我们提供了新的金融市场风险预警问题的解决方案，尤其结合大数据能发挥更大的作用。随着未来对CEP研究与应用的进一步深入，相信它将成为风险监控领域的热点[2]。

1.2研究目标

本论文着眼于新型证券交易实时监控系统的研究与设计，围绕如何设计一个