银行业对象存储平台设计
银行业务库设计要求

银行业务库设计要求银行业务库是银行管理系统中的重要组成部分,它承载着各种银行业务数据的存储和管理功能。
设计一个高效、安全、可扩展的银行业务库是至关重要的。
下面是一份关于银行业务库设计的要求,涵盖了各个方面。
一、安全性要求:1. 访问控制:确保只有经过授权的用户可以访问银行业务库。
采用角色或权限管理机制,对用户进行身份验证和授权。
2. 数据加密:对敏感数据进行加密存储,确保数据在传输和存储过程中的安全性。
3. 审计跟踪:记录用户对银行业务库的操作,包括登录、查询、修改等,以便追踪和监控操作行为。
4. 异常检测:实施异常检测机制,及时发现并阻止非法操作和恶意攻击,保护银行业务库的安全。
二、性能要求:1. 响应时间:银行业务库需要能够快速响应用户的查询和交易请求,保证系统的高效性和用户体验。
2. 并发处理:支持多用户同时访问和操作,能够处理大量的并发请求,保证系统的可用性。
3. 数据存储和读取:采用高效的数据存储和读取方式,以提高系统的性能和响应速度。
4. 缓存机制:引入合适的缓存机制,减少数据库访问次数,提高系统的性能。
三、可扩展性要求:1. 数据容量:考虑银行业务数据的增长趋势,设计具有足够的存储容量,以支持未来的业务扩展。
2. 水平扩展:设计支持水平扩展的架构,能够根据需要增加更多的服务器节点,分散负载并提高系统的可扩展性和稳定性。
3. 接口扩展:提供灵活的接口和插件机制,以方便与其他系统进行集成和扩展,如第三方支付、风险管理等。
四、数据一致性要求:1. 事务处理:确保银行业务库的数据操作具有ACID特性(原子性、一致性、隔离性和持久性),保证数据的一致性和完整性。
2. 数据同步:设计合适的数据同步机制,确保分布式环境下的数据一致性,避免数据冲突和重复。
3. 数据备份和恢复:定期进行数据备份,并设计可靠的数据恢复机制,以应对系统故障或灾难事件。
五、管理和维护要求:1. 监控和警报:设计系统监控和警报机制,及时发现和处理系统的异常情况,保证系统的稳定性和可用性。
业务对象数字化 业务过程数字化,规则数字化 表结构设计

业务对象数字化业务过程数字化,规则数字化表结构设计随着信息技术的发展,越来越多的企业和组织开始重视业务数字化,将业务过程、业务对象和业务规则进行数字化,以提高工作效率、降低成本、提升用户体验等。
业务对象数字化是指将企业或组织中的各种业务对象以数字化的方式进行管理和处理。
业务对象可以是客户、产品、订单、合同、项目等。
通过将业务对象数字化,可以实现对各种业务对象进行记录、查询、修改、统计等操作,方便企业进行业务运营。
例如,一个电商平台可以将客户信息、产品信息、订单信息等进行数字化管理,方便用户购物、订单处理等。
业务过程数字化是指将企业或组织中的各种业务过程以数字化的方式进行管理和处理。
业务过程可以是销售流程、采购流程、生产流程、物流流程等。
通过将业务过程数字化,可以实现对各种业务过程进行记录、监控、优化等操作,提高工作效率和准确性。
例如,一个物流公司可以将订单处理、仓储管理、运输管理等进行数字化管理,提高物流效率和准确性。
规则数字化是指将企业或组织中的各种业务规则以数字化的方式进行管理和应用。
业务规则可以是价格计算规则、优惠政策规则、审批规则、权限规则等。
通过将业务规则数字化,可以方便企业进行规则的管理和应用,避免规则的传递和解释带来的错误和矛盾。
例如,一个银行可以将贷款审批规则、利率计算规则等进行数字化管理,提高贷款审批的效率和准确性。
表结构设计是指根据业务对象、业务过程和业务规则的需求,设计数据库中表的结构和关系。
表结构设计是业务数字化的关键环节之一,直接影响到后续的数据存储和处理效率。
在表结构设计中,需要考虑数据的类型、长度、关联关系等,以满足业务的需求。
同时,还需要考虑数据的完整性、一致性和安全性,以保护用户的数据。
在进行业务对象数字化、业务过程数字化和规则数字化时,还需要考虑以下几个方面:1.数据采集和处理:如何从现实世界中采集数据并进行处理,以满足业务需求。
可以利用传感器、扫码设备、手持终端等技术手段进行数据采集。
基于数据仓库的银行基础数据平台设计与实现的开题报告

基于数据仓库的银行基础数据平台设计与实现的开题报告一、选题背景随着银行信息化的深入发展,银行在业务操作中会产生大量的数据,这些数据包括客户信息、账户信息、交易记录、资金流向等等,这些数据对银行业务决策和管理具有重要意义。
但是,由于这些数据来自于不同的系统、不同的业务操作中心和部门,导致数据分散存储,不能快速准确地获取,给业务的决策和分析带来困难。
如何合理地集成这些数据,建立起一个完整的、可靠的数据平台,成为了银行需要解决的问题之一。
数据仓库作为一种面向主题、集成、稳定、可管理的数据集合和决策支持环境,受到了越来越多企业的青睐。
银行作为数据量大、数据种类多、数据来源广泛的特殊企业,相比其他行业采用数据仓库技术建立银行基础数据平台的优势更加明显。
因此,本文将从银行业务的角度出发,探讨如何基于数据仓库技术设计和实现银行基础数据平台,为银行业务决策和管理提供可靠的数据支持。
二、研究内容本文主要研究内容包括以下方面:1. 银行基础数据平台需求分析基于对银行业务的了解,分析银行对基础数据平台的需求,包括数据集成、数据管理、数据安全、数据质量、数据分析等方面的具体要求。
2. 银行基础数据模型设计基于需求分析,设计银行基础数据模型,包括数据仓库的体系结构、数据模型、元数据管理、数据集成、ETL流程等。
3. 银行基础数据平台开发实现基于设计的数据模型和架构,实现基础数据平台,包括数据集成、数据仓库搭建、ETL流程开发、报表开发等。
4. 银行基础数据平台应用与实践应用银行基础数据平台,对银行核心业务、客户分析、风险识别等方面进行深入探讨研究,实现数据化的业务决策。
三、研究意义银行基础数据平台采用数据仓库技术,有助于银行内部数据的集成和统一管理,解决了银行数据分散、流转不畅的问题,提高了银行数据的质量和安全性,同时为业务管理提供了更精准、更实时、更有效的数据支持。
本文研究的银行基础数据平台设计与实现,有助于银行业绩提升和业务管理的优化。
2023-银行数据仓库解决方案v1-1

银行数据仓库解决方案v1随着金融业的不断发展,银行作为金融服务的主要提供者已经与数据紧密相连。
银行数据的管理,处理和利用已成为银行业的核心竞争力之一。
因此,银行数据仓库的建设和使用也越来越受到银行业的重视和关注。
本文将围绕银行数据仓库解决方案v1,从几个步骤分别进行阐述。
第一步:需求分析在建设银行数据仓库前,需按照银行的实际需要进行需求分析。
数据的采集、处理、分析和利用都需要依据银行的特点与需要进行规划。
在需求分析过程中,需要对银行整体运营情况进行考察,确定关键数据指标并制定合理的数据采集计划,以确保数据的准确性和完整性。
第二步:设计数据仓库架构数据仓库的架构直接决定了数据处理和管理的效率。
合理的架构可以提高数据管理的效率,缩短数据处理和分析的时间。
在设计数据仓库架构时,需考虑银行的大小和业务类型,选择合适的数据仓库类型,拟定数据仓库结构。
同时,还需要确定数据流程,建立数据处理流程图及数据流向图,确保数据的及时快速地进行存储和检索。
第三步:选择数据仓库平台针对银行的数据大小、类型、需要支持的查询操作以及操作人员所需定制化程度的不同,选择合适的数据仓库平台非常关键。
需要选择与银行实际要求相匹配的数据仓库平台,可以考虑一些成熟的商业清单式系统,如Oracle、Microsoft SQL Server等,或者建立基于Hadoop 的大数据架构。
同时,还需要对所选平台进行测试和评估,以保证数据仓库在使用时的稳定性和安全性。
第四步:建立数据加工流程在建立数据仓库过程中,加工和管理数据也是必要的。
需要建立数据加工流程,完成数据的采集、清洗、转换和存储。
数据采集、清洗和转换的过程是数据仓库建设过程中最为繁琐的,需要专门的数据处理人员进行维护和操作。
总结:银行数据仓库解决方案v1是建造银行数据仓库的一个完整解决方案,其综合实用性和规范性可以为银行数据管理带来优异的表现。
需要注意的是,在建设银行数据仓库的过程中,需要根据实际需要进行需求分析、设计数据仓库架构、选择合适的数据仓库平台和建立数据加工流程,以确保数据仓库对于业务运营的支持和数据管理的完善。
工商银行数据仓库设计方案

数据
数据仓库
银行卡 数据集市
银行 卡部
Web
展现工具 用卡行为月报
筛选优质客户数据挖掘
直邮
优质客户
2024/2/10
1.10 PCRM应用主题——深层分析
ICBC PCRM 数据仓库管理界面
2024/2/10
1.10 PCRM应用主题——深层分析
数据仓库处理过程管理
2024/2/10
1.10 PCRM应用主题——深层分析
CB2000
数据 转送
抽取
关系型数据库、
多维数据存贮
转换
加载
备份与 老化处理
分类 统计 分析
多维 分析
图示 展现
报表制作
报告生成
数据端
ETL DW模型设计 DM模型设计
应用展现
展现端
2024/2/10
1.6 物理结构
2024/2/10
客户群分析:
优质客户排名分析、卡业务存款分析、 用卡行为分析、 贡献度分析、 卡申领情况分析、 卡业务风险分析。
2024/2/10
1.10 PCRM应用主题——深层分析
银行卡客户贡献度:初步结果
按照现有的贡献度指标体系, 什么样的客户对银行卡的贡献度最高
年龄在25-35,36-45的客户对银行卡的贡献度最高, 其中,36-45岁的客户的贡献度最高,因为这类人群 中稳定、高收入或高积蓄者较多。
2024/2/10
1.10 PCRM应用主题——深层分析
银行卡客户贡献度:初步结果
贡献度指标的具体分布怎样
年龄在25-35的客户的透支利润和消费回佣最高, 因为这类人群中,理财风格前卫,消费旺盛者居多。 消费回佣 在 年龄段 上的分布
基于大数据的智慧银行云平台建设方案

基于大数据的智慧银行云平台建设方案一、引言随着金融科技的不断发展,传统的银行业务已经无法满足用户的需求。
而大数据技术的兴起为银行业的转型带来了机遇,打造智慧银行云平台成为了银行业的重要战略选择。
本方案将介绍基于大数据的智慧银行云平台建设方案。
二、智慧银行云平台的架构设计智慧银行云平台的架构设计需要考虑以下几个方面的要求:1.数据存储与处理能力:通过搭建分布式存储和计算平台,实现海量数据的存储和处理,保证平台的高效性和稳定性。
2.数据安全性:通过数据加密、权限控制和安全监控等手段,实现对敏感数据和系统的全面保护,确保数据安全。
3.数据分析与挖掘能力:通过大数据分析和挖掘技术,实现对银行业务数据的深入挖掘,为业务决策提供支持。
4.数据可视化能力:通过数据可视化技术,将数据以直观、易懂的方式展现给用户,帮助用户理解和分析数据。
三、智慧银行云平台的功能设计智慧银行云平台的功能设计需要满足用户的需求,同时具备可扩展性和灵活性。
以下是智慧银行云平台的基本功能:1.个人金融服务:为用户提供个性化的金融服务,如贷款、理财、信用卡等。
2.企业金融服务:为企业提供金融服务,如融资、担保、结算等。
3.数据分析与挖掘:通过大数据分析和挖掘技术,帮助银行进行业务分析和风险管理。
4.安全监控与预警:通过安全监控和预警机制,实时监控平台的安全状态,及时发现和处理安全事件。
5.数据可视化分析:通过数据可视化技术,将数据以图表、报表等形式展示给用户,帮助用户进行数据分析和决策。
四、智慧银行云平台的建设策略智慧银行云平台的建设策略需要结合实际情况,考虑成本、效益和风险等因素。
以下是智慧银行云平台的建设策略:1. 技术选型:选择合适的大数据技术和云计算平台,如Hadoop、Spark、OpenStack等,满足平台的性能需求。
2.数据整合与清洗:将银行现有的数据进行整合和清洗,建立统一的数据模型和数据标准。
3.平台开发与集成:根据功能设计,进行平台的开发和集成,确保各个模块之间的协同工作。
面向对象分析与设计ATM系统分析与设计

面向对象分析与设计ATM系统分析与设计ATM系统是一种常见的自动银行服务设备,可以方便用户进行存款、取款、余额查询、转账等银行业务操作。
本文将对ATM系统进行面向对象分析与设计。
一、分析1.系统需求分析ATM系统的主要需求包括:用户认证、账户管理、取款、存款、查询、转账等功能。
用户通过银行卡和密码进行认证,认证后可以进行不同业务的操作。
2.系统角色分析在ATM系统中,主要涉及到三个角色:用户、ATM和银行。
用户通过ATM设备进行业务操作,ATM设备与银行之间通过网络进行信息传递和交互。
3.系统功能分析根据需求分析,ATM系统的主要功能包括:-用户认证:用户通过输入银行卡和密码进行认证。
-取款:用户可以选择取款金额,并从账户余额中扣除相应金额。
-存款:用户可以选择存款金额,并将金额存入账户余额中。
-查询:用户可以查询账户余额和交易记录等信息。
-转账:用户可以选择转账金额和收款方账户,并将金额从自己账户扣除,转入收款方账户。
二、设计1.类的设计根据分析,可以定义以下类:- User(用户):包括属性银行卡号和密码。
- Account(账户):包括属性账户余额和交易记录。
-ATM(自动柜员机):包括属性ATM编号和位置。
具有用户认证、取款、存款、查询、转账等方法。
2.类之间的关系- User与Account之间是一对一的关系,一个用户只能对应一个账户。
- ATM与User之间是一对一的关系,一个ATM设备只能为一个用户提供服务。
- ATM与Account之间是一对一的关系,一个ATM设备只能为一个账户提供操作。
3.系统流程设计ATM系统的流程设计如下:-用户插入银行卡,并输入密码。
-ATM设备进行用户认证,验证银行卡号和密码的正确性。
-用户选择需要进行的业务操作,如取款、存款、查询、转账等。
-ATM设备根据用户的选择进行相应的业务操作,并更新账户余额和交易记录。
-用户完成业务操作后,选择退出并取出银行卡。
银行数据中心自动化运维平台设计和 Ansible 应用

银行数据中心自动化运维平台设计和Ansible 应用一、银行数据中心自动化运维平台设计银行数据中心是银行业务运营的核心,为了提高数据中心的运维效率和可靠性,设计一个自动化运维平台是非常必要的。
本文将详细介绍银行数据中心自动化运维平台的设计方案。
1. 引言银行数据中心是存储和处理大量敏感信息的关键设施,它的运维工作对于银行业务的稳定性和安全性至关重要。
然而,传统的手动运维方式存在效率低下、容易出错等问题,因此需要设计一个自动化运维平台来提高运维效率和可靠性。
2. 功能需求银行数据中心自动化运维平台应具备以下功能:- 资源管理:对数据中心的服务器、存储设备、网络设备等进行统一管理,包括设备的添加、删除、状态监测等。
- 配置管理:对数据中心设备的配置进行统一管理,包括配置文件的下发、修改、备份等。
- 故障管理:对数据中心设备的故障进行实时监测和告警,及时处理故障并生成故障报告。
- 性能监测:对数据中心设备的性能进行实时监测和分析,提供性能报告和趋势分析。
- 自动化部署:支持自动化部署工具,如Ansible,实现快速、可靠的设备配置下发和应用部署。
- 安全管理:对数据中心设备进行安全管理,包括权限控制、漏洞扫描、安全审计等。
3. 系统架构银行数据中心自动化运维平台的系统架构如下:- 前端界面:提供用户友好的操作界面,包括设备管理、配置管理、故障管理、性能监测等模块。
- 后端服务:负责处理前端界面的请求,与设备进行通信,并提供相应的功能接口。
- 数据库:存储设备信息、配置信息、故障信息、性能信息等数据。
- 自动化部署工具:集成Ansible等自动化部署工具,实现快速、可靠的设备配置下发和应用部署。
- 告警系统:实时监测设备的故障情况,并发送告警信息给相关人员。
- 安全管理模块:负责权限控制、漏洞扫描、安全审计等安全管理功能。
4. 技术选型为了实现银行数据中心自动化运维平台的设计,我们可以选择以下技术:- 前端开发:使用HTML、CSS、JavaScript等前端开发技术,搭建用户友好的操作界面。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
银行业对象存储平台设计企业级对象存储助力银行企业精简存储架构、提升非结构化数据存储效率目录一、企业非结构化数据存储的现状及痛点 (3)(1)现状 (3)(2)痛点 (3)二、企业非结构化数据存储优化思路 (3)(1)采用对象存储方案思路 (4)(2)对象存储方案与传统分布式 NAS 方案的对比及总结 (5)三、平台测试与体验 (6)(1)测试内容 (6)(3)测试过程及结果 (6)1、功能性测试 (6)2、部署灵活性测试 (13)3、接口可用性测试 (14)4、系统可靠性测试 (17)5、系统管理性测试 (30)6、系统可维护性测试 (32)7、系统安全性测试 (36)一、企业非结构化数据存储的现状及痛点随着本行数字化业务的持续开展和监管要求的不断提高,其中影像系统、呼叫中心系统,以及已经上线的后督系统等各类应用系统产生的影像文件、音频、视频等非结构化数据急速增加,本行正面临现有的文件存储设施不能适应业务增长、系统管理复杂、扩展能力差、访问能力差等问题。
因此需要启动开放式海量非结构化数据的存储平台项目,满足本行海量的非结构化数据存储、读取、管理需求。
(1)现状目前我行的影像数据主要分两块,一块是地市影像数据,主要承载着事后督查业务,一块是总行影像数据,主要是柜面和信贷的影像数据。
11 个地市的影像数据目前分别存放于 11 个SAN 存储当中,根据地市的业务规模不一,存储容量也不一,平均每个 SAN 存储约 50TB。
总行影像数据通过存储分层架构实现在线、近线和离线数据的存储和隔离。
在线存储存放于闪存(FS900)当中,约 5T,保存了近 7 天的影像数据,并通过 IBM 的 ECM 客户端定期迁移至 ECM 系统所在的近线存储(DS8870)当中,约 20T,保存了近 30 天的影像数据,最后再通过 TSM 备份软件每日将近线存储中的影像数据备份至华为(5300V3)离线存储当中,约200TB,当信贷或者柜面业务需要调取 7 天的影像数据时,直接读取在线存储,调取 30 天的数据时,先通过 ECM 客户端将 ECM 中数据抽取至影像平台,再传给业务系统,调取 30 天以上的数据时,需先通过 TSM 备份软件抽取备份的影像数据至 ECM 系统,再传给影像平台,最终传给相关业务系统。
(2)痛点此架构通过存储的分层,不同性能的存储提供不同的 IO 服务,确实也在项目上线后的 3、4 年内,提供了比较高效非结构化数据存取能力。
然而随着近两年存储的影像数据量的暴增,新增了多类业务的影像业务和数据,像互联网影像数据、手机银行及人脸识别影像数据、银企业务影像数据等等,这样就导致影像系统尤其是 ECM 系统压力的陡增,目前遇到的痛点主要在于 ECM 系统,无论是近线数据还是离线数据,影像数据的位置与影像数据间的关系等信息均存放于 ECM 数据库当中,该数据库为联机型关系数据库,随着数据量的剧增,ECM 数据库的数据量已达到近 5TB,7 天以上的数据调阅均需要访问先 ECM 数据库,来获取数据位置,然而目前庞大 ECM 的数据库,并发读取性能已经越来越不满足业务的需求,因此数据调阅响应时间也越来越长。
因此迫切需要对现有影像以及 ECM 的数据存储架构进行转型,精简该存储架构,全面提升影像数据的存储效率。
二、企业非结构化数据存储优化思路鉴于我行目前非结构化数据主要存放在 SAN 集中式存储上,而传统存储采用集中式的元数据处理方式,因此,当我行影像系统在处理千万、亿级的文件量时就会出现陡峭的性能骤降拐点,直接表现就是前端影像平台处理效率降低,柜面、信贷、事后督查等涉及影像的业务效率的下降,最终导致客户满意度的下降,这显然不利于我行的健康持久发展。
因此我行需要对现有存储中的海量数据进行整合、精简存储架构,目前非结构化海量数据存储较好的方案主要有传统分布式 NAS 方案和对象存储方案。
传统 NAS 存储方案由于和现有 SAN存储方案类似,都是基于文件系统的方案,均为树形目录组织结构,随着数据量的增大,同样存在文件寻址越来越慢的瓶颈。
另外如果将现有 SAN 方案改为NAS 存储方案,IOPS 和IO 响应时间还有所降低,尤其是在线储存目前所用的为闪存阵列,近线存储为 DS8870,地市后督影像存储为华为 5300V3,NAS 方案显然不适合对现有架构进行改造,且存在越改越差的情况,并且对 NAS 存储的容灾备份方案,依旧是两套 NAS 镜像的方式,副本数较少,备份效率低,数据一致性校验困难。
因此我行在非结构化存储架构转型偏向于对象存储方案。
(1)采用对象存储方案思路我行期望通过使用分布式对象存储架构替换传统的 SAN 存储架构,能够解决海量非结构化数据的集中存储及访问问题,提升非结构化文件存取效率,解决地市影像和总行影像存储单点问题,并尽可能的精简现有非机构化数据的存储架构。
而分布式对象存储能够保证不丢失数据、不中断服务、提供良好的用户体验,解决存储扩容复杂问题。
由于分布式对象存储采用扁平化的数据组织方式,所以目录架构扩展性强,耦合性低,增删节点时所需迁移的数据少。
整体而言,在业务系统、IT 性能以及运维方面都带了本质的提升。
因此利用对象存储的方案,可以解决我行三个方面的问题:1、精简非结构化数据存储架构。
对总行而言,之前我行的存储架构为闪存-DS8870-华为 5300V3,三层存储架构,且存储和现有生产交易类存储闪存和DS8870 共用,一来非结构化数据不适合放于 IO 响应时间优异的存储当中,性能浪费严重,占用过多的存储空间,其他对 IO 响应时间要求较高的交易类系统,可能反而得不到高性能的存储。
二来该存储架构过于冗余,数据存储具有大量迁移过程,如 7 天以上的数据由闪存迁移至 DS8870,30 天以上的数据由 DS8870 迁移至5300V3,历史数据调阅的过程又反向,虽然均通过 ECM 系统和 TSM 软件实现该过程,但效率较低,相当于,存储性能比较优异,但整体数据存取效率不高,尤其是历史数据的存储方面。
对地市分行而言,11 个地市分别部署了一套华为存储,独立使用,数据来源于事后监督系统通过抽取总行 ECM 的历史数据而来,数据和总行数据重合,却并不是总行数据的副本。
而采用对象存储方案,可以通过总行和地市部署存储节点和访问节点的方式,将所有存储打通成一个大存储资源池,所有影像数据均放在该存储池,形成二层精简架构,所有数据的存取,包括柜面、信贷、后督系统对影像数据的存储,均通过本地的访问节点访问,大大提升了访问效率。
2、提升非结构化数据的副本数和冗余度。
相较于现有存储架构中的单副本数据,由于对象存储池中的数据可划分为多个副本,且每份影像数据也通过切片的方式分布于所有存储节点当中,因此数据的冗余度也大大提升,即使某一个或者多个存储节点发生故障,或者访问节点发生故障,均可以通过其他存储节点和访问节点获取数据。
3、提升非结构化数据的存取性能。
虽然目前的方案中闪存的引入,对于 7天的影像数据的存取效率大大提升,但历史影像数据的调阅性能较差,导致该问题的一个主要原因在于历史影像数据调阅需要通过 ECM 客户端访问 ECM 系统中的存储数据,而该访问的过程首先要读取 ECM 数据库,获取存储数据的位置和地址,才能获取存储当中的数据,这样的弊端在于随着 ECM 数据库中数据量的增大,数据库访问效率大大降低,30 天历史影像数据的调阅也就越来越慢,无法满足柜面及信贷对影像数据的需求,至于 30 天以上的历史数据就更加如此,除了需要访问 ECM 数据库之外,还需要访问 TSM 备份系统,通过 TSM 备份系统自动将要调阅的数据恢复至 ECM 系统中,再上传给影像平台,供其他系统调阅。
因此整个过程实际上耗费了大量时间在数据查找和数据传输上,即使底层存储采用了 SAN 存储,性能较对象存储强,但加上这些时间,总体调阅时间大大提高。
因此倘若采用了对象存储,访问时间就仅仅为对象存储的寻址时间,没有其他时间的消耗,这样性能也就大大提升。
因此,对本行的非结构化数据存储架构的改造而言,采用对象存储方案是最优的方案。
但同时,另一方面,采用对象存储,也将给我行带来两个方面的问题:1、传统的文件系统读取的方式将改为对象存储 API 的方式。
需要对应用进行改造,增加接口,修改程序代码。
2、原闪存、DS8870、5300V3 中的存储数据需要通过调阅的方式迁移至对象存储当中,涉及的数据量较多,耗时较长,且影像系统在数据迁移过程中,不能有中断现象,迁移时也要对其他业务系统提供影像服务,因此,整个平滑迁移与过渡的方案要理清。
(2)对象存储方案与传统分布式 NAS 方案的对比及总结我行在对非结构化数据改造过程中,也考虑过传统 NAS 方案,对经过对比,发现传统 NAS 方案并不能满足我们的实际需求,下面一张图为对象存储与分布式NAS 方案的对比:该图总结而言,相对于传统的 SAN 存和 NAS 存储,对象存储具有以下优点:1、降低数据存储成本对象存储可以使用低廉的 X86 服务器+对象存储软件实现,存储成本比较低。
2、数据可用性RAID,当一个 RAID 磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。
大多数对象存储使用纠删码技术存储数据,经过合理设施后,可以以较低的副标数量保证数据的可用性。
而数据恢复只需要数分钟便可以完成,而且数据可用性不会中断,性能也不会明显退化。
3、大容量和高扩展性对象存储系统中,没有目录层次结构(树),对象的存储位置可以存储在不同的目录路径中易变检索。
这就使得对象存储系统可以精准到每个字节,而且不受文件(对象)数量、文件大小和文件系统容量的限制。
对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。
他们还可以使用元数据应用服务水平协议(SLA),路由协议,备灾和灾难恢复,备份和数据删除删除以及自动存储管理。
这些是文件系统所不能解决的问题。
4、容灾备份优势对象存储系统如果设计合理,并不需要备份。
多个副本可以确保数据始终保持可用状态,而且异地灾难恢复备份也可以被自动创建。
、5、性能优势利用分布式实现大规模 I/O 并行读写。
每个节点都是独立的,提供了集群的切入点,并运行相同的代码。
这使得工作量可以平均分配到集群中的所有节点上,避免 NAS 和集群文件系统中常见的热节点问题的出现。
自动负载均衡可以让I/O 自动选择合理的节点,保证系统性能最大化。
因此,在现有 SAN 存储架构、传统 NAS 存储架构方案和对象存储方案中,我们最终决定选择采用对象存储方案来对现有 SAN 分层存储架构进行改造。
三、平台测试与体验为了充分了解对象存储方案的优势,帮助我们且为了将来更好的利用好对象存储,我们采用线上和线下两种方式对 IBM 的 Cleversafe 对象存储进行测试,经过充分的测试内容、方案的准备和测试中详尽的过程记录,发现这款对象存储软件十分优异,下面将整个测试内容和测试过程汇总如下:(1)测试内容通过对如下内容的测试来验证IBM Cleversafe 产品是否满足业务需求:1、产品基本功能,如对非结构化数据的上传、修改、删除2、产品的部署可行性和灵活性。