适用于证券行业的数据集市设计思路与探索
证券行业大数据交易系统构建方案

证券行业大数据交易系统构建方案第1章项目背景与需求分析 (4)1.1 行业现状分析 (4)1.2 市场需求调研 (4)1.3 项目目标与范围 (5)第2章大数据技术概述 (5)2.1 大数据概念与特性 (5)2.1.1 概念 (5)2.1.2 特性 (5)2.2 大数据技术在证券行业的应用 (6)2.2.1 数据采集与存储 (6)2.2.2 数据处理与分析 (6)2.2.3 个性化推荐与精准营销 (6)2.2.4 风险管理与监管 (6)2.3 大数据技术发展趋势 (6)2.3.1 人工智能与大数据融合 (6)2.3.2 区块链技术在大数据领域的应用 (6)2.3.3 边缘计算与大数据 (6)2.3.4 大数据安全与隐私保护 (7)第3章系统架构设计 (7)3.1 总体架构 (7)3.1.1 数据源层 (7)3.1.2 数据存储层 (7)3.1.3 数据处理与分析层 (7)3.1.4 应用层 (7)3.2 数据架构 (7)3.2.1 数据流向 (8)3.2.2 数据格式 (8)3.2.3 数据存储 (8)3.2.4 数据处理与分析 (8)3.3 技术架构 (8)3.3.1 分布式技术 (8)3.3.2 大数据处理技术 (8)3.3.3 数据挖掘与机器学习技术 (8)3.3.4 云计算技术 (9)3.3.5 安全技术 (9)第4章数据采集与预处理 (9)4.1 数据源分析 (9)4.1.1 交易数据:包括股票、债券、基金等证券产品的交易行情、交易量、交易价格等数据。
(9)4.1.2 财务数据:涵盖上市公司的财务报告、财务指标、盈利预测等数据。
(9)4.1.3 市场数据:包括宏观经济数据、行业数据、政策法规等影响证券市场的数据。
94.1.4 新闻与公告:涉及上市公司的新闻报道、公告信息等。
(9)4.1.5 社交媒体数据:包括微博、论坛、博客等平台上的投资者言论及观点。
(9)4.2 数据采集技术 (9)4.2.1 交易数据采集:通过证券公司、交易所等机构提供的API接口,实时获取交易数据。
证券市场的信息收集与分析技巧

证券市场的信息收集与分析技巧证券市场作为金融市场的重要组成部分,一直以来都是投资者关注的焦点。
随着信息的爆炸式增长和市场的快速变化,如何准确、高效地收集和分析证券市场的信息成为了投资者们面临的挑战。
本文将介绍一些证券市场的信息收集与分析技巧,帮助投资者们更好地把握市场动态,做出明智的投资决策。
一、信息收集技巧1. 多渠道信息收集:投资者可以通过多个渠道获取信息,包括但不限于财经媒体、金融网站、分析师报告、行业研究以及官方发布的数据等等。
这些信息来源各有侧重,综合参考可以提高信息的准确性和全面性。
2. 关注财报公告:财报公告是上市公司披露财务状况和运营情况的重要途径,投资者可以通过关注财报公告来了解公司的盈利能力、负债情况、现金流等重要财务指标,为后续的投资决策提供依据。
3. 分析市场热点:热点是市场关注度较高的投资标的或行业,投资者可以通过分析市场热点来了解市场的情绪和趋势,及时跟进并作出相应的投资决策。
4. 关注权威机构:监管机构、投行和证券交易所等权威机构发布的信息对市场影响较大,投资者可以关注这些机构发布的政策、报告、公告等,从中获取市场的重要动态。
二、信息分析技巧1. 基本面分析:基本面分析是通过对公司的财务状况、行业地位、竞争优势等进行深入研究和分析,以确定公司的估值和投资潜力。
投资者可以通过财务报表、行业研究报告、公司公告等来进行分析。
2. 技术分析:技术分析是通过研究市场的历史价格和交易量等信息,通过图表与指标,来预测市场未来的走势。
投资者可以通过K线图、均线、MACD等技术指标来进行分析。
3. 宏观经济分析:宏观经济分析是以国家经济政策、宏观经济指标等为基础,通过对整体经济环境、利率、通胀等因素的分析,来预测证券市场的发展趋势。
投资者可以关注官方发布的经济数据,如GDP、CPI、PMI等。
4. 市场情绪分析:市场情绪分析是通过对市场参与者的情绪和心理状态进行分析,以判断市场的买卖氛围和方向。
面向证券行业数据的聚类分析及其应用研究

面向证券行业数据的聚类分析及其应用研究聚类分析根据数据内在几何结构和数据间的相似性,发掘出数据中隐藏的结构特征,并可通过可视化的形式进行展现。
在证券市场上,对数据的获取、利用和分析程度,直接关系到证券投资者是否可以获得满意的收益。
但是证券数据具有种类繁多、结构复杂等特性,因此如何高效进行数据的表示和分析是一个具有挑战性的课题。
本项目主要采用聚类分析的方法对证券数据进行结构分析和可视化研究,具体包括:(1)在证券投资分析中,可以综合股票的各项基本因素进行聚类。
利用多种聚类分析技术,同时结合证券数据的特殊性,衡量证券样本的相似程度,实现上市公司股票分类。
通过聚类分析结果,找出不同公司股票之间的异同规律,探索不同股票的潜在特性,最终使投资者更好的确立投资范围和实现更高投资回报。
(2)本文采用了多种聚类分析技术对股票交易数据进行对比分析发现,通过研究发现几种聚类算法各有特点,但都得到相似的结果。
实验表明聚类分析可以很好的将不同行业的股票数据区分开来,并通过定量的方式给出不同股票交易数据之间的相似程度。
(3)在证券投资研究中,股票交易的行情数据是一种常见的时间序列数据,即是在顺序的时间节点采集得到的数据。
如果说财务数据反映的是上市公司的内在价值,那么行情数据则直接体现了股票交易的市场价格,更有实际意义,因此也具有更重要的研究价值,因此本文也尝试对上证50指数和创业板指数的成分股行情数据做聚类分析。
通过理论分析和实验证明,对证券行业数据进行聚类分析,可以准确了解和把握证券市场的整体结构,帮助投资者整体了解股票特性,有助于投资者在此基础上进一步做出投资决策。
证券行业投资者服务数据集市-建设方案

证券行业投资者服务数据集市建设方案目录1.背景介绍 (3)2.项目需求 (4)1.功能性需求 (4)2.非功能性需求 (5)3.安全性需求 (5)3.技术架构 (5)3.1.逻辑架构 (5)1.数据采集途径一:批量数据ETL (6)2.数据采集途径二:准实时数据同步 (6)3.数据存储 (7)4.数据服务 (7)3.2.数据架构 (7)3.3.物理架构 (9)1.批量数据ETL 服务器 (10)2.数据缓存队列服务器集群 (11)3.集市数据库及并行计算服务器集群 (11)4.应用服务器集群 (11)4.关键技术 (12)4.1.NoSQL 数据库:SequoiaDB (12)4.2.批量数据加工:Spark SQL (15)4.3.实时数据流处理:Kafka + Spark streaming (16)5.总结和展望 (17)5.1.项目成果 (17)5.2.未来规划 (18)1.批量数据ETL 流程优化 (18)2.数据生命周期管理 (18)3.元数据管理 (19)1.背景介绍我国股市约有 1.2 亿散户,直接关乎上亿家庭、数亿人切身利益,保护好投资者尤其是中小投资者的合法权益,是资本市场工作人民性的具体体现,也是服务实体经济的应有之义。
党的十九大明确提出“必须坚持以人民为中心的发展思想”。
中国证监会有关负责人表示,要认真贯彻落实十九大精神和党中央、国务院关于资本市场建设的一系列决策部署,加快推动形成融资功能完备、基础制度扎实、市场监管有效、投资者合法权益得到有效保护的多层次资本市场体系,切实做好投资者保护工作。
证监会主席刘士余先后多次强调“投资者保护重如泰山”、“保护投资者合法权益是证监会职责和使命所在”、“保护中小投资者合法权益是天大的事”。
目前,公司对投资者服务主要依赖人工柜台,柜员手工进行业务操作和数据查询,受限于服务网点数量和人工办理效率,不能很好满足投资者服务需求。
为更好地服务广大中小投资者,保护其合法权益,根据公司战略布局和技术规划,决定建设多渠道的投资者综合服务专区系统及相配套的面向投资者服务的数据集市,为其提供用户体验好、快速便捷、智能化的账户查询和证券质押等服务。
证券行业的市场调研与客户需求分析方法

证券行业的市场调研与客户需求分析方法引言:市场调研和客户需求分析是证券行业成功的关键因素之一。
通过深入了解市场状况和客户需求,证券公司可以提供更有效的服务,满足客户的投资需求。
本文将介绍证券行业常用的市场调研和客户需求分析方法,并探讨其应用。
一、市场调研方法市场调研是通过搜集、整理和分析相关数据,对市场状况、竞争对手和潜在客户进行评估的过程。
以下是证券行业常用的市场调研方法:1.问卷调查问卷调查是一种常用的市场调研方法,通过编制调查问卷并发送给目标受众,收集受众在某项问题上的意见和看法。
证券公司可以通过问卷调查了解客户对于投资产品、服务质量和交易平台的满意度,从而提升客户体验。
2.访谈调研访谈调研是一种通过与目标受众面对面进行交流的方法,可以深入了解受众的需求、态度和行为。
证券公司可以组织访谈调研,与投资者一对一沟通,了解他们的投资目标、风险偏好和投资偏好,从而为他们提供更准确的建议。
3.数据分析数据分析是一种通过对市场数据和交易数据进行统计和分析,了解市场趋势和客户行为的方法。
证券公司可以利用各种数据分析工具,如统计软件和数据挖掘技术,分析客户的交易行为和投资偏好,为客户提供个性化的投资建议。
二、客户需求分析方法客户需求分析是通过分析客户的需求、态度和行为,了解他们的投资目标和风险偏好,从而提供更符合客户需求的产品和服务。
以下是证券行业常用的客户需求分析方法:1.客户调研客户调研是一种通过搜集客户反馈和意见,了解客户对产品和服务的需求的方法。
证券公司可以通过定期组织客户满意度调研、投资者教育活动和投资者座谈会,了解客户的需求和意见,及时改进产品和服务。
2.市场细分市场细分是一种将市场细分为不同的细分市场,并对每个细分市场的客户需求进行分析的方法。
证券公司可以根据客户的投资目标、风险偏好、投资偏好和收入水平等因素,将市场细分为不同的投资者类别,并为每个类别提供相应的产品和服务。
3.竞争对手分析竞争对手分析是一种通过对竞争对手的产品、服务和市场策略进行分析,了解客户对竞争对手的需求和偏好的方法。
证券行业中的数据分析和统计方法

证券行业中的数据分析和统计方法数据分析和统计方法在证券行业中扮演着重要的角色。
通过运用这些方法,可以对市场趋势、公司财务状况和投资组合进行有效的分析和预测。
本文将介绍证券行业中常用的数据分析和统计方法,并探讨其在投资决策中的应用。
一、基础统计分析方法1.均值和标准差均值是数据的平均值,可以衡量投资组合的预期收益。
标准差衡量了数据的扩散程度,反映了风险的大小。
通过计算均值和标准差,投资者可以对不同证券进行比较,制定符合自身风险偏好的投资策略。
2.回归分析回归分析是一种用于研究变量之间关系的统计方法。
在证券行业中,投资者可以通过回归分析来探索股票价格与特定指标(如市盈率、市净率等)之间的关系,进而预测未来的股价走势。
3.相关性分析相关性分析用于衡量两个变量之间的线性关系。
在证券行业中,投资者可以通过相关性分析来确定不同证券之间的相关性,以构建一个多样化的投资组合,减少投资风险。
二、时间序列分析方法1.移动平均法移动平均法是一种常用的时间序列分析方法,用于平滑数据并揭示其趋势。
在证券行业中,投资者可以使用移动平均法来分析股票价格的长期趋势,从而作出更准确的买卖决策。
2.指数平滑法指数平滑法也是一种常用的时间序列分析方法,通过对数据进行加权平均来平滑数据。
在证券行业中,投资者可以使用指数平滑法来预测股票价格的未来走势,从而制定相应的投资策略。
三、数据挖掘方法1.聚类分析聚类分析用于将数据分为具有相似特征的群组。
在证券行业中,投资者可以使用聚类分析来识别具有相似特征的股票,以便构建更有效的投资组合。
2.决策树分析决策树分析通过构建一个决策树模型来进行数据分类和预测。
在证券行业中,投资者可以使用决策树分析来预测不同事件对股票价格的影响,并做出相应的投资决策。
四、机器学习方法1.支持向量机支持向量机是一种常用的机器学习方法,用于进行分类和回归分析。
在证券行业中,投资者可以使用支持向量机来分析股票价格的波动,以预测未来的走势。
证券交易的市场分析掌握市场分析在证券交易中的技巧和方法

证券交易的市场分析掌握市场分析在证券交易中的技巧和方法证券市场是一个动态的、波动频繁的金融市场,准确地进行市场分析对于投资者在证券交易中获取稳定回报至关重要。
市场分析是通过研究股票、债券、期货、外汇等证券交易品种的历史数据、趋势、市场因素等多方面信息,来预测市场未来走势的过程。
掌握市场分析的技巧和方法对于证券交易者来说至关重要。
本文将介绍证券交易的市场分析的技巧和方法,以帮助投资者更好地应对市场波动,增加投资回报。
一、基本面分析基本面分析是通过研究证券价格背后的基本经济指标和公司财务数据来评估证券的价值和潜力。
投资者在进行基本面分析时,通常会关注公司的盈利能力、营收增长、市场份额、管理层能力等因素。
通过对这些因素的分析,投资者可以判断一家公司的商业模式是否可持续、未来增长的潜力如何。
二、技术分析技术分析是根据价格历史数据和交易量等相关指标,预测证券未来价格走势的方法。
技术分析主要基于以下几个方面的理论:市场价格已经反映了所有可用信息、价格走势具有可辨识的模式以及历史会重演等。
投资者在进行技术分析时,会运用各种技术指标,如移动平均线、相对强弱指标、MACD等,来判断证券的买入和卖出时机。
三、资金流向分析资金流向分析是研究市场资金流入和流出情况,以及投资者对不同证券品种的偏好程度。
资金流向可以反映市场的热点和趋势,进而指导投资者的交易决策。
投资者可以通过观察主力资金的流入和主力资金的买卖方向来判断市场的机会和风险。
四、市场情绪分析市场情绪分析是研究投资者的情绪和心理状态对市场走势的影响。
情绪分析认为市场是由人的行为决定的,投资者的情绪会对市场产生重要影响。
投资者可以通过观察市场参与者的情绪变化、媒体报道和社交媒体等渠道的舆论来判断市场的短期走势。
五、外部因素分析外部因素分析是研究经济、政治、社会等各种外部因素对市场的影响。
外部因素可以包括经济数据、政策法规、国际形势等。
投资者需了解这些外部因素,并结合对市场的其他分析,以制定合理的投资策略。
金融行业证券行业大数据建设方案

01
数据来源多样化
从不同的数据源获取数据,包括内部数据、外部数据、公开数据等,
以满足不同业务需求。
02
数据清洗和整合
对数据进行清洗、整合和规范化,以消除数据冗余、错误和矛盾,提
高数据质量。
03
数据标准化
制定统一的数据标准,如数据格式、数据分类、数据编码等,以提高
数据可读性和可操作性。
数据存储
数据存储架构设计
大数据挖掘和分析技术
数据挖掘
利用数据挖掘技术,从海量数据中挖掘有价值的信息,为经营决策提供数据支持 。
数据分析
采用多种数据分析方法,如聚类分析、关联分析、趋势分析等,对数据进行深入 分析和挖掘。
大数据可视化技术
数据可视化
利用图表、图像等可视化手段,将数据以直观、易懂的方式 呈现出来,便于理解和分析。
业务价值
01
通过大数据分析,可以帮助证券公司深入了解客户需求,优化
产品设计和服务质量,提高市场竞争力。
风控价值
02
大数据技术可以帮助证券公司实现更精细化的风险控制,提高
风险管理水平和效率。
决策价值
03
基于大数据的决策支持系统可以提高决策的科学性和准确性,
帮助证券公司把握市场机遇,实现可持续发展。
对未来的展望和挑战
THANK YOU.
包括数据清洗、数据转 化、数据挖掘等方面, 采用MapReduce等大数 据处理技术,提高数据 处理能力。
采用可视化技术、统计 学方法等进行分析,提 供数据洞察和预测能力 。
通过数据挖掘、可视化 等手段将数据转化为业 务应用,包括客户画像 、风险控制、投资组合 等方面。
02
大数据基础设施建设
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
近年来,大数据、人工智能、云计算等技术加速创新,并不断应用于证券行业中,推动证券公司数字化转型,已经成为证券行业下一阶段发展的重要驱动力。
数据是证券公司的核心资产,如何最大程度地发挥数据价值,一直是整个行业不断探索的问题。
目前,证券行业机构多、类型广、交易方式多样,数据化程度较高,机构内及机构间数据交换频繁,因此提升对各类数据的快速处理能力迫在眉睫。
本文提出了一种适用于证券公司的数据集市设计思路,基于中信证券股份有限公司(以下简称“中信证券”)的资产管理业务数据仓库,对各类金融数据进行抽象建模,以满足各类数据需求,为证券公司内外部数据服务提供了一种新的思路。
一、数据系统架构中信证券自2002年开始经营资产管理业务,有着二十多年丰富的投资管理经验,与客户携手共同成长。
目前,中信证券是业内唯一一家同时具有企业年金和职业年金投资管理人、社保基金境内投资管理人和社保基金转持股份管理资格、保险资金受托投资管理资格、基本养老保险基金投资管理人资格的券商资管机构。
截至2022年底,中信证券资产管理业务受托管理资金总规模达1.42万亿元,连续14年稳居同业首位,业务范围不仅覆盖了定向资产管理,大集合、小集合资产管理计划以及专项资产管理计划,私募基金、公募基金等基金类净值产品,还包括了为银行或非银企业客户以及其他高净值客户定制的金融服务。
为满足上述业务发展需要,中信证券迫切需要建设一套完备的数据处理系统,用来支撑投资、交易、绩效分析、信息披露、监管报送等各类数据需求。
为此,中信证券资产管理IT团队开展了资产管理业务数据平台(以下简称“资管数据平台”)建设工作。
依托公司的投资交易、估值、公文等应用系统,资管数据平台实现了资产管理业务各类数据的统一存储、统一计算、统一服务,用于满足信息披露、绩效分析、内部运营、高净值客户服务、合规风控等各类业务需求。
随着公司业务的进一步发展,资管数据平台的横向扩展能力可为公司的数字化转型充分赋能。
中信证券资管数据平台整体架构分为源数据、数据仓库、数据应用三个部分(如图1所示)。
图1 中信证券资管数据平台整体架构源数据包含中信证券资管投资交易系统、基金登记结算系统、估值系统、资讯数据平台以及中信证券其他业务系统的源数据。
数据仓库具有资管数据的运算、存储和转换等功能。
首先对数据进行清洗转换等预处理操作,然后对其进行数据标准化、数据整合和数据计算,最终形成一整套标准的多维数据模型,供上层的数据服务应用。
通过一系列的数据处理,可以形成一整套格式化、规范化、标准化的资管业务数据资产。
数据应用提供各种类型的数据服务,其中包括报表展示、即席查询、数据分析等功能,为资产管理的各类业务开展和满足监管需求提供坚实的数据支撑。
在整个资产管理业务数据平台体系中,数据仓库是最重要的部分,数据仓库中的数据模型设计直接影响到最终数据服务的质量。
二、数据分层中信证券资管数据平台架构中的数据仓库采用数据分层的建设理念,其目的是为了应对雷同的数据口径被不同层次的计算逻辑调用,从而导致的依赖结构混乱,甚至出现循环依赖的情况,进而实现数据的有序流转。
数据分层具有如下优势:一是数据结构更为清晰。
在数据分层的体系中,每一个数据层级都有各自的作用和职责,在具体设计和开发时,设计者能快速地理解数据逻辑。
二是复杂问题简单化。
将原有的复杂任务拆分到多个步骤,每个层级只解决特定的问题,从而简化每一步的处理逻辑。
三是数据口径更为统一。
通过数据分层,每层提供统一的数据出口可以使运算结果更为统一。
四是减少重复开发。
通过数据分层,将不同层级的数据加工逻辑进行规范,开发通用的数据指标,可以显著减少重复性开发。
在数据分层体系中,按照业界比较成熟的分层方案,数据仓库分为数据运营层(ODS)、数据模型层(DWD)、数据集市层(MART)和数据服务层(ADS)。
中信证券资管数据平台分层架构如图2所示。
图2 中信证券资管数据平台分层架构1.数据运营层数据运营层是数据仓库分层模型的基础层,为DWD层准备了原始的业务数据。
公司投资交易系统、估值系统等业务系统的数据经过抽取、清洗转换及ETL(Extract-Transform-Load)过程之后,即存入该层。
因为有该层数据的缓冲,业务系统数据的变更对上层数据模型的影响得以减轻。
2.数据模型层数据模型层可进行数据建模操作,去除空数据、脏数据等,根据业务的需要,生成一些面向应用的基础明细表,并且相应地加工出一些面向分析的大宽表,真正实现数据的标准化。
数据模型层是数据仓库应用的基础。
根据业务使用的场景不同,中信证券在该层设计了事实表和维度表,形成了一整套规范的、高质量的、可信的基础模型数据。
3.数据集市层随着业务的快速发展以及对数据精细化要求的愈发严格,完全通用的数据模型难以满足特定数据应用的具体要求。
因此,在DWD层的基础上,资产管理IT团队设计了数据集市层。
该层对标准化的数据进行了业务主题划分,并在划分主题的基础上,衍生出各主题模型的数据整合方式以及相应主题的数据指标。
引入DWD层后,通过主题域的划分,资产管理IT团队将不同类别的数据进行类目划分,可以更便利地查找各类数据,并且在该层可以实现各种定制化数据指标的计算以及数据分类转换等操作。
4.数据服务层数据服务层是指提供最终数据产品的服务层,一般可以将数据分析结果存放在数据库中,供各类报表系统等在线系统使用;或是通过各种业务系统的查询页面供客户进行查看;也可以通过各种离线系统提供纯文本的数据产品服务。
三、数据集市设计建设数据集市是证券公司数据资产信息化的重要一步,其设计思路是:从MART 层抽取出数据,面向部门级业务或某一个特定的主题重新对数据进行加工汇总,可以更好地解决灵活性和性能之间的矛盾。
设计目标是给用户提供一个数据仓库的子集,而不是整个数据仓库,从而缩短处理基础数据的时间。
在实际应用中,数据集市不但可以提高工作效率,还可以通过采用其他技术手段提高数据质量、统一数据口径,使相关岗位员工能专注于更有价值的数据挖掘工作。
数据集市建设分为如下两个步骤:1.梳理抽象模型在设计时,需要根据实际的应用梳理出抽象的数据模型。
资产管理IT团队以监管和信息披露的数据为主线,通过对资本市场的各类业务行为进行梳理,对关键的流程以及数据要素进行识别,形成了特定整体数据架构。
2.设计逻辑模型根据上述设计思路,将数据集市分为如下八个主题域。
(1)产品域资管产品是资产管理业务重点关注的对象,也是资产管理业务开展投资行为的基础。
作为核心的主题域,产品域与资产域、财务域、交易域、指标域有着密切的联系。
产品域包括产品从推出到运行乃至清算的相关环节中的各类产品属性,并存储了产品每日各类明细和汇总类指标数据,以及产品运行中产生的各类费用数据,涵盖了公司公文、估值、交易等系统中关于资管产品的各类数据。
产品域中丰富的数据可以满足监管报送以及信息披露等数据应用需要。
(2)资产域资产域重点关注主体资产,包括资金余额、证券的持有、抵质押、负债等,以及一些业务场景下的修正数据。
资产域在具体设计时,涉及资管产品每日持仓的明细数据(如股票、债券、基金等资产)、资管产品每日持仓汇总数据等。
资产域数据以日为粒度按资产类别等类型对资产数据进行汇总,以便上层数据服务直接调用。
(3)行情域行情域中记录了资管产品运作中在一级市场、二级市场或海外市场中投资的各类证券的基础数据,涉及证券基本信息、证券每日信息等,其中,证券基本信息包括了万得、聚源、估值等系统中的个券基础属性;证券每日信息中记录了每日个券的开盘价、收盘价、个券涨跌幅等指标类行情数据。
行情域是后续进行资产类数据分析以及指标加工类数据分析的基础。
(4)交易域交易域记录了各种与资产管理业务相关的业务行为详细情况。
这些业务行为通常是指证券公司与客户等主体的交互活动,包括详细的交易和行为数据。
交易数据按照业务类型分为委托、成交、资金变动和其他交易流水等数据,按照类型存储在不同的数据表中,保证了各种业务类型数据的使用便利性。
(5)财务域财务域包含了资管产品在运作中生成的各类财务报表。
财务报表是进行监管报送以及信息披露的重要数据依据。
财务域的数据范围包含但不限于产品估值表、资产负债表、利润表和现金余额表。
(6)配置域配置域中存储了数据集市中的各类配置信息,例如,为便于数据处理建立的内外部资产类别转换配置文件,在监管报送中因特定业务种类数据要求而手动上传到数据集市中的资管产品或客户相关属性数据等。
(7)指标域指标域是为了上层的数据应用调用而设立的。
由于信息披露数据产品的差异,有时会需要进行资管产品或客户属性的描述性统计信息,此类统计信息由于数据口径的差异较大,不适合在数据模型层进行存储,因此需要在数据集市层设立专门的指标域。
此外,指标域还解决了由于部分数据逻辑过于复杂而无法在数据应用中直接计算的问题。
(8)客户域客户域描述了相关的业务主题在中信证券以及相关机构登记的各类账户信息,包含交易账户、资金账户、银行账户、各业务系统客户数据等内容,覆盖账户从申请、开立到销户过程中所需要的完整信息,与资产域、交易域、财务域有着密切的联系。
四、数据集市应用在中信证券资产管理业务运行中,信息披露和监管报送是两个重要的业务环节。
监管和披露需求的不断变化对底层数据的质量和数据计算效率要求越来越高。
在业务实践中,通常会选择直接从数据模型层加工的各类数据作为最终的数据结果,但这样会出现雷同的数据口径被重复计算的现象。
在数据集市中,由于面向业务主题域的设计以及指标域的存在,重复计算的问题可以得到解决。
在信息披露类应用中,数据集市实现了各类资管产品定期报告中的产品费用类数据静态存储,同时还实现了产品投资经理等产品属性类信息的存储。
此外,由于主题域的划分,信息披露类数据产品的新增数据需求开发周期也有所缩短。
在监管报送类数据应用中,数据集市实现了配置类数据的规范化存储,便于快速开发以及后续维护。
基于数据集市的统一命名规范,监管报送类数据产品的代码更为简洁,易于管理。
总体而言,数据集市具有六大特点:一是从数据仓库的基础数据模型层分离出特定域的数据,使得专业领域的数据集市更为高效,对业务的支持更充分;二是数据集市基于主题域设计,可缩短报表等查询类数据需要的响应时间,使用数据集市的开发效率更高;三是数据集市的存在使整体数据仓库的技术架构可以更为松耦合,整体技术架构可以采用多层次异构的技术模型;四是由于数据集市的数据已经进行了筛选,因此面向特定主题的数据处理时间大大缩短;五是由于整体数据的多层次处理架构,数据集市可以屏蔽底层数据变化对数据应用层服务的影响;六是基础设施依赖性非常低,数据集市可以与数据仓库分段后部署在不同的硬件平台上,系统灵活度较高。
中信证券从资产管理业务的数据处理需求出发,设计资管数据模型,并在此之上建设了资管数据集市。