业务数据全生命周期管理工作思路

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
申请单位 申请人 申请人所在单位负责人 数据调用目的: □业务分析 □业务测试 □审计 □案件分析 □财务检查 □数据上报 □其他: 数据使用环境:□测试环境 □其他环境: 调用数据内容: 申请日期 联系方式 数据所在系统
申请书要点: 1.对数据调用目的进行细分; 2.区别数据使用环境:测试环境、 生产环境; 3.明确数据提交周期:一次性、每 月定期、其他;
可选一个月/一年/永久 可选虚拟带库或物理磁带库 可选一个月/一年/永久 可选虚拟带库或物理磁带库
其他数据文件备份 可选每天/每月/每年
3.4数据管理工作流程—数据备份流程
应用管理员 数据管理员 开发和建立备份任务
1. 备份任务建立:
签字确认《数据管理服务协 议》
制定数据备份策略;通过ITIL提出备份策略申请
目 录
1 2
数据管理背景及目标
数据全生命周期管理
3
数据管理工作流程
3.1数据管理工作流程—各阶段的主要管理内容 1
设计(开发)阶段:结构化数据支持读写分离,非结构化数据支持按时间 和业务部门进行分离;充分考虑数据清理机制。
2 3
投产变更阶段:评审《数据管理服务协议》,确认协议中的备份策 略、清理策略的合理性。
修改维护阶段:根据通过审批流程的《哈尔滨银行应用系统 生产数据维护申请书》进行数据维护,并记录相关信息。
数据 管理
4
5 6
数据调阅阶段:业务部门提交经主管业务部门审批通过的《哈 尔滨银行应用系统生产数据调用申请书》。经科技部审批通过 后,运维中心提取数据并漂白后反馈业务部门。
数据备份阶段:根据已签订的《数据管理服务协议》建立备份策略, 并制定恢复测试计划,验证备份数据的可用性。
数据生命周期管理流程
清理 归档 在线阶段 归档阶段 清理 销毁阶段
在线归档 系统 快照 用户 快照
转移
离线归档
历史数据 平台
结构化
影像平台 非结构化
老化表
磁带 光盘 低端磁盘
在线归档阶段(也被称为近线阶段):将访问频度较低且应用需求不高的数据从应用中分离出来,保存在另外的磁盘并提供相应的查 询; 离线归档阶段:将访问频度较低且应用需求不高的数据从应用 中分离出来,保存在磁带、光盘及低端磁盘上。离线归档后不提供信 息联机查询入口,如有相应的查询要求,需特定的查询工具或将归档数据导入相应系统。
数据销毁阶段:对超过保管期限的生产数据提交拟销毁数据清单和申请,经科技 发展部审批通过后,在办公室和安保部全程监督下实施销毁。
3.2数据管理工作流程—数据管理服务协议
• 数据管理服务协议是为保证各应用系统环境及业务数据的安全,确保在生产系统发生故障、事故或者灾难时能够快速和完整的恢复 生产环境数据,满足相关业务部门、稽核、审计以及监控部门对数据的调阅和检查要求而制定的协议文档。 • 数据管理服务协议是明确系统环境数据和业务数据的备份内容、备份方式(在线、近线、离线)、数据保存周期、数据清理规则等 内容。
保存与归档 安全与保护
访问与 查找
创建
回收
活跃 10%
半活跃 20%
静态 70%
大多数是非结构化
2.1数据的全生命周期管理—目标
• 数据是我行的重要资产之一,健立健全数据管理体制,满足监管要求,提升数据管理能力,充分发挥数据价值, 为经营决策提供有力支撑,已成为当前科技工作的主要任务。
规范管理
通过规范数据的生命周期管 理,提高数据的整体管理水 平,满足监管要求。
应建立数据安全管理制度,规范数据的产 • •
《金融行业信息系统信息安全等级保护实施指引》 JRT0071-2012
对重要信息资源设置敏感标记,依据安全策略严格控制用户 对有敏感标记重要信息资源的操作。 检测系统管理数据、鉴别信息和重要业务数据在采集、
生、获取、存储、传输、分发、备份 、恢复和清理的管理,以及存储介质的台
业务数据全生命周期管理工作思路
目 录
1 2 3
数据管理背景及目标
数据全生命周期管理
数据管理工作流程
1.1数据管理的外因--金融行业监管的相关要求
《银行业金融机构数据治理指引》 银保监发【2018 】22 号
银行业金融机构1应当制定全面科学有效的
《商业银行信息科技风险管理指引》 银监发[2009]19号
系统操作员
系统操作员 执行错误通数 据管理员
系统操作员 确认执行结 果(正常) 应用管理员
系统操作员 “永久保留” 数据
系统操作员
建立“永久保留数据备份工单”
2.备份任务执行:
调度指令执行/监控
数据管理员 开发和建立备份任务
3. 变更与撤销:
业务变更后的《数据管理服务 协议》
制定新的数据备份策略;通过ITIL提出备份策略 申请
实现历史数据的“管、控、查”
管理对 象 数据存放策略 在线
DB
数据 访问方式
平台 接口
生产数据库 归档/历史数据库
近线
离线
在线访问
结构化 数据
DB
来自百度文库
专门工具访问 专门工具访问 恢复后访问 在线访问
大数据平台
备份工具/磁带
生产存储
内容检索平台 备份工具/磁带
非结构 化 数据
专门工具访问 恢复后访问
2.1数据的全生命周期管理—理论与方法
4.执行结果确认:
每天备份任务的执行情况将通过邮件发送给备份策略提出申请人进行确认(目前系统组正在做此项工作) 介质管理员 系统运行负责人 登记检查结果
5.介质可用性检查:
专用介质柜和磁带库中的磁带介质》
每年检查一次
数据归档及管理的工作与目标
业务数据管理与归档相关工作、配套制度与细则
以应用系统为对象的业务数据管理协议
数据备份策略表
备份策略分类 系统环境备份策略 应用环境备份策略 数据库零级备份 业务数据 数据库正文备份 备份策略 数据备份周期 不超过1个月 1~3个月 每天 可选每天/每月/每年 数据保留时间 不小于3个月 1~3个月 不少于3天 数据备份介质的选择 数据保管地点及份数 核心及关键类系统数据备份介 两地机房各一份 质选择虚拟带库和物理磁带库 磁带库磁带 虚拟带库和物理磁带库 仅在应用所在机房保留一份 同城两地机房各一份 可选一份/两地机房各一份 可选一份/两地机房各一份
确保数据集至少有一个完整年度的数据周期,能够看到一个完整年度的数
据,这通常是数据保存周期的最低要求。
越来越多的需求要包括去年加上今年的数据,这样会要求设置25个月, 使得能够处理2年以上时间段的数据分析。 主要应用于内部管理的数据使用,受业务使用需求驱动。
此类规则主要是受税务及其它报告法规的需求驱动,在国际会计准则下, 一般都要求保留7年的可查询业务场景数据。 此规则也是为适应经济情况分析的需求,基本近似于一个完整的经济
帐、转储、抽检、报废和销毁的管理,保证 数据的保密、真实、完整和可用。
传输、使用和存储过程中完整性,并采取必要的恢复措
• 施。 应采用加密或其他有效措施实现系统管理数据、鉴别信息和 重要业务数据采集、传输、使用和存储过程的保密性。
1.1数据管理的外因--国际会计准则等业务管理需求
银行的数据保存周期策略,最常用的经验法则是13个月规则和7年规则。
6
目 录
1 2
数据管理背景及目标
数据全生命周期管理
3
数据管理工作流程
2.1数据的全生命周期管理—定义
• 数据全生命周期管理:是指根据数据价值随时间推移的演化关系,提供高效、低成本、安全、访问便捷的管理架 构。 • 数据全生命周期管理贯穿于数据产生(开发设计、投产变更)、数据使用(采集、修改、存储、调阅)、数据保 管(备份、恢复、测试)、数据销毁等各个环节。
数据备份 分类 确认人
系统环境备份 业务数据备份 操作系统 数据库软件 中间件系统 应用程序 应用 日志
业务经理 运维经理:主要负责操作系统、数据库软件、中间 件系统以及相应配置文件需备份内容的确认工作以 及根据已确定的数据管理协议内容提交备份申请。 备份内容 备份频率 保留周期 备份任务名称 备份内容 备份频率 保留周期 备份任务名称 备份内容 备份频率 保留周期 备份任务名称 研发经理:主要负责应用系统、应用 配置文件、应用日志等需要备份内容 的确认工作。 备份内容 备份频率 保留周期 备份任务名称 备份内容 备份频率 保留周期 备份任务名称 清理规则 清理周期
业务数据归档与全生命周期管理整体工作规划
• 在数据的整个生命周期中,不同阶段的数据其性能、可用性、保存等要求也不一样。 • 通常情况下,在其生命周期初期,数据的使用频率较高,需要使用高速存储,确保数据的高可用性。 • 随着时间的推移,数据重要性逐渐降低,使用频率会随之下降,应将数据进行不同级别的存储,为其提供适当的可用性、存储空间。 • 最终大部分数据将不再会被使用,可以将数据清理后归档保存,以备临时需要时使用。
数据提交时间 数据提交周期
数据使用截至日期 □一次性 □每月定期(需每年审批一次) □其他
4.明确要求描述数据屏蔽需求,为
数据屏蔽要求(如无特殊要求,缺省按照管理规范中数据屏蔽要求执行,如不 能执行缺省屏蔽,请详细说明原因)
数据脱敏处理提供依据。
数据保密声明: 本单位保证:将严格遵照以上声明的目的使用数据,保证不向声明使用范围之 外的任何人员扩散,否则,本部门自愿承担因数据非法扩散给银行造成的经济 损失。本次申请审批通过后保证自动生效。 业务主管部门意见 签章: 业务主管行长意见 签章:
备份内容
数据库零级 数据库正文 非结构化数据备份 数据备份模式及保留 周期
运维经理 研发经理 业务经理 签订《数据管理服 务协议 建立数据备份 及清理策略 按协议执行备 份及清理任务 检查数据备份情况并 测试数据有效性
3.3数据管理工作流程—数据调阅流程
3.3数据管理工作流程—数据调阅流程
银行计算机系统生产数据调用申请书
周期,对于制定合理的业务规划预算是非常重要的分析数据源。
1.2数据管理的内因—监管审计和经营分析和数据查询需求
1.2数据管理的内因—解决关键系统数据库容量管理问题
交易访问
明细查询
数据调用
在线 生产数据
归档瘦身
数据迁移
近线 生产数据
归档库
结构数据 非结构数据
归档瘦身
按需回退
降低成本:按业务与技术分析要求,控制生产在线数据容量,降低高端存储的容量成本 提升性能:通过迁移并清理历史数据,重新回收数据库的存储资源,提升应用系统交易与批量性能 有效处置:将生产数据库容量控制在较小的范围内,在发生数据库等故障的情况下,便于快速处置
• • • 建立实施信息分类保护体系,培训员工信息保护流程。 严格管理客户信息的采集、处理、存贮、传输、分发、
数据管理制度,包括但不限于组织管理、 部门职责、协调机制、安全管控、系 统保障、监督检查和数据质量控制等方
面。
备份、恢复、清理和销毁。 保存交易记录,确保完整性,安全保存和可恢复。
《商业银行数据中心监管指引》 银监办发[2010]114号
负责各类数据备份策 负责数据备份软硬件 略的审批,数据备份 负责提出和确认 负责对各类数 负责执行预先定义 的安装、卸载、变更 负责备份介质的 任务建立、变更和撤 负责提出业务数 数据备份需求, 据备份策略的 好的数据备份任务 和维护,数据备份策 工作职责 存放、保管、检 销过程的审批,以及 据备份的需求 并配合完成数据 制定和备份申 和数据备份检查任 略的制定,以及数据 查、转移和销毁 对系统管理员和数据 备份策略的制定 请的提出。 务 备份任务的建立、变 管理员在数据备份管 更和撤销 理方面工作的监督。
优化存储结构
Norm E
Optinize Support
优化数据存储结构,有效控制在 线数据规模,提高生产数据访问 效率。
全生命 周期管理
提高效率
提高系统资源使用效率,确保系 统安全、稳定、高效运行。
fficiency
数据支撑
做好历史数据管理,为客户服务
和经营分析提供数据支撑
2.1数据的全生命周期管理—方案
3.4数据管理工作流程—数据备份流程
岗位职责表
人员角色 业务管理人员 系统开发人员 应用管理员 系统操作人员 备份数据管理员 介质管理员 系统运行负责人 是指对各类生产 是指对各类生产 系统的业务功能 系统进行日常应 岗位描述 进行日常维护管 用开发管理的人 理的人员 员 是指对备份介质 是指对各类生 是指对各类生产系 是指对数据备份的主 进行日常维护管 产系统进行日 数据备份的审批人和 统进行日常操作的 要软硬件环境进行管 理、对备份有效 常维护管理的 监督人 人员 理的人员 性进行检查确认 人员 的人员
相关文档
最新文档