证券行业投资者服务数据集市-建设方案

证券行业投资者服务数据集市建设方案目录1.背景介绍 (3)2.项目需求 (4)1.功能性需求 (4)2.非功能性需求 (5)3.安全性需求 (5)3.技术架构 (5)3.1.逻辑架构 (5)1.数据采集途径一：批量数据ETL (6)2.数据采集途径二：准实时数据同步 (6)3.数据存储 (7)4.数据服务 (7)3.2.数据架构 (7)3.3.物理架构 (9)1.批量数据ETL 服务器 (10)2.数据缓存队列服务器集群 (11)3.集市数据库及并行计算服务器集群 (11)4.应用服务器集群 (11)4.关键技术 (12)4.1.NoSQL 数据库：SequoiaDB (12)4.2.批量数据加工：Spark SQL (15)4.3.实时数据流处理：Kafka + Spark streaming (16)5.总结和展望 (17)5.1.项目成果 (17)5.2.未来规划 (18)1.批量数据ETL 流程优化 (18)2.数据生命周期管理 (18)3.元数据管理 (19)1.背景介绍我国股市约有 1.2 亿散户，直接关乎上亿家庭、数亿人切身利益，保护好投资者尤其是中小投资者的合法权益，是资本市场工作人民性的具体体现，也是服务实体经济的应有之义。

党的十九大明确提出“必须坚持以人民为中心的发展思想”。

中国证监会有关负责人表示，要认真贯彻落实十九大精神和党中央、国务院关于资本市场建设的一系列决策部署，加快推动形成融资功能完备、基础制度扎实、市场监管有效、投资者合法权益得到有效保护的多层次资本市场体系，切实做好投资者保护工作。

证监会主席刘士余先后多次强调“投资者保护重如泰山”、“保护投资者合法权益是证监会职责和使命所在”、“保护中小投资者合法权益是天大的事”。

目前，公司对投资者服务主要依赖人工柜台，柜员手工进行业务操作和数据查询，受限于服务网点数量和人工办理效率，不能很好满足投资者服务需求。

为更好地服务广大中小投资者，保护其合法权益，根据公司战略布局和技术规划，决定建设多渠道的投资者综合服务专区系统及相配套的面向投资者服务的数据集市，为其提供用户体验好、快速便捷、智能化的账户查询和证券质押等服务。

在数据集市建设之前，数据查询主要依赖于数据仓库。

数据仓库是一个集成的、面向主题的数据集合，设计的目的是支持决策支持系统的功能。

在数据仓库里，每个数据单元都与特定的时间相关。

数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。

数据仓库是一个典型的OLAP 系统，在高并发、快速响应的场景下具有很大的局限性，无法满足海量投资者数据查询服务需求。

目前数据仓库使用TD 一体机设备，成本十分高昂。

数据集市(Data Mart) ，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特定的主题，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。

为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。

数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。

数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

为了保证投资者服务系统在低延时和高并发查询的情况下具备足够的支撑能力，可以7×24 对外提供数据服务，且不影响原有数据仓库统计分析应用的正常运行，最终决定建设面向投资者服务的专业数据集市。

2.项目需求投资者服务数据集市主要目标是以面向用户体验为基础，具有业务敏捷、分布式服务、高伸缩、高可用、易管理维护等特点，为多渠道的投资者综合服务专区服务。

先期开始建设的数据集市主要包括有新三板市场投资者服务数据集市、基金市场投资者投票服务数据集市、全市场在线业务查询数据集市。

其建设原则应包括：●抓住主线功能需求；●采用主流技术；●满足未来发展需求；●充分验证测试。

基于上述目标和原则，我们总结了如下需求。

1.功能性需求●存储现有数仓中沪深市场、新三板市场、基金市场等各类投资者数据；●支持结构化和非结构化数据；●数据库和其他服务组件具备动态扩容能力，以支撑数据集市阶段性发展的容量和计算能力需要；●支持T+1 批量数据的ETL 功能，能够从TeraData 数据仓库及其他数据库采集数据；●支持实时数据流处理能力，实现准实时数据同步；●支持数据加工，主要是多表关联和聚合运算；●数据库支持SQL 和API 访问接口，方便应用开发；●支持数据备份恢复；●具备完善的管理功能，例如监控、配置和任务调度等；2.非功能性需求●海量数据存储。

初期至少支撑100TB 存储容量，远期支撑PB 级；●高并发访问。

初期至少支撑1 万并发查询，远期支撑10 万并发查询；●低延时。

在高并发情况下，查询响应时间不超过100 毫秒；●7x24 持续稳定运行。

在高可用集群技术支撑下能够实现集群级别的不间断持续稳定运行，并能够在绝大部分场景下进行不停止集群的数据库维护工作。

3.安全性需求●数据高可用。

需要支持多副本冗余。

在部分副本数据损毁情况下，保障数据不丢失；●用户身份验证和权限管理。

用户不可越权访问数据；●完善的审计功能。

能够完全记录所有数据访问和数据操作。

3.技术架构3.1. 逻辑架构截止目前，三个数据集市的数据分别来源于数据仓库和基金投票系统。

所有数据需经过ETL 处理后存储到数据集市中，部分数据还需经过批量加工处理后，供下游数据使用者查询。

数据集市的逻辑架构如图一所示。

图一：逻辑架构如图一所示，从上游数据源到下游使用者，中间提供服务的数据集市内部包含数据采集、数据传输、数据处理、数据存储和平台服务这五大功能模块。

其中，数据采集、数据传输、数据处理可以类比为传统的ETL 功能模块。

但是，这个数据集市的ETL 功能模块包含了两种ETL 方式：批量数据ETL 和准实时数据同步。

1.数据采集途径一：批量数据ETL新三板市场和全市场在线业务数据集市要求数据每日更新。

因此这两个数据集市均采用传统的ETL 方式，即每日定时导出批量数据到文件（Extract），然后经过文件传输、数据转换（Transform）和数据加载（Load），最终将数据放入数据集市的数据库中存储，以供下游使用者查询。

我们称这个流程为批量数据ETL。

主要包含以下步骤：1）定时抽取：每天夜间，数据仓库里边的数据加工处理完毕之后，数据集市的抽取任务定时启动，将约定数据接口的新增数据或者全量数据抽取到数据文件中。

2）文件缓存：抽取环节生成的数据文件需要存放到文件系统中，以备后续数据处理之用。

另外，数据文件需要压缩缓存多天，作为数据备份使用。

3）批量处理：两个数据集市的大部分接口数据只需要数据转换和加载入库。

少量接口数据需要在数据入库之后进行加工处理。

加工的主要需求是预关联，即将两表或者多表数据关联形成更多字段的新表，以满足两个数据集市的数据查询需求。

2.数据采集途径二：准实时数据同步基金市场投资者投票服务数据集市对数据时效要求较高，要求数据准实时同步，以数据准实时查询。

具体而言，即要求上游系统（基金市场投资者投票服务系统）的数据发生变化（包含增删改）之后，数据集市内的数据也需在短时间之内（5 秒之内）实现相同的变化。

我们称这种ETL 方式为数据准实时同步，也可称为实时数据流处理。

主要包含以下步骤：1）实时采集：该步骤要求最短时间内发现源数据库的数据变化，包含对应库表的数据的增删改，并且不对源数据库产生明显的性能影响。

2）缓存队列：为了增加稳定性和吞吐量，在实时采集和实时数据加工处理环节中间使用数据缓存。

该缓存以队列的方式，保障数据先进先出的顺序关系。

该缓存队列要求具备优秀的响应性能、并发能力、高吞吐量、稳定性和高可用能力，以保障数据同步流程安全可用。

3）实时处理：该环节包括数据加载和实时统计两方面作业内容。

每条投票数据顺序进入缓存队列之后，由实时处理程序顺序的读出并加载入库，同时实时统计投票数等重要数据，用于基金投票状态的实时展示。

3.数据存储数据经过ETL 过程之后，被存入数据库，主要包括账户数据和交易明细数据。

4.数据服务数据查询是数据集市最核心的服务。

新三板市场投资者服务数据集市和全市场在线业务数据集市这两个数据集市主要提供账户数据、证券交易流水查询服务。

基金市场投资者投票服务数据集市主要提供投票详情及实时统计结果查询。

归结起来，这些主要是高并发的精准查询。

3.2. 数据架构数据进入数据仓库之后，将根据分析或者查询的需求，加工和汇总成相应主题。

因此，数据集市的数据也将按照查询主题进行组织和管理。

根据数据主题及数据处理加工流程，我们规划设计了数据架构如图二所示。

图二：数据架构图目前已经实施了如下三个数据集市：●新三板市场投资者服务数据集市；●全市场在线业务查询数据集市；基金市场投资者投票服务数据集市。

上述三个数据集市之间不共享数据、不需要关联查询、不存在交叉访问权限，是可以完全独立运行的。

但是，在数据库中不是分库管理的，而是通过权限控制形成逻辑层面的独立数据集市，这样可以共享软硬件资源。

新三板市场投资者服务数据集市和全市场在线业务查询数据集市的数据来源均为数据仓库。

数据接口形式为T+1 的批量数据文件，即每日证券市场收市清算交收批量处理产生的数据。

两个数据集市由不同的逻辑数据域存储，管理隔离。

同时，由于这两个数据集市的数据查询需求中存在表关联情况，而频繁的并发关联查询需要消耗大量磁盘I/O、内存和CPU 计算时间，所以要对多表关联进行预加工处理，即将多表关联到一张表中，以便于将多表关联查询转变为单表查询，从而提升查询效率。

基金市场投资者投票服务数据集市的数据来源于上游交易系统数据库的数据实时采集，即数据变化实时同步到数据集市中。

同时，由于基金投票场景中存在实时显示投票进展的需求，所以需要实时统计各投票选项的票数，对每条投票数据进行实时累加统计，并将结果更新入数据集市的统计表中。

下游各业务系统通过查询服务接口可以随时查询对应数据集市的数据。

查询服务提供身份验证、权限管理和查询接口，不允许修改数据。

3.3. 物理架构根据数据集市功能需求、逻辑架构和数据架构，我们规划的物理架构可以用图三来表述。

图三：物理架构图包括以下四个部分：1.批量数据ETL 服务器该服务器用于批量数据ETL 流程。

服务器中运转ETL 主控程序、数据转码程序和数据批量加载程序。

这些应用均为Java 语言开发。

ETL 主控程序使用统一调度监控系统（外部系统）的定时作业调起，完成指定数据接口的指定ETL 过程，例如检查数据文件到达情况，调用数据转码或者数据装载等动作。