工商银行开放平台自动化运维架构

合集下载

国内领先水平!中国工商银行工银e生活项目通过DevOps持续交付标准评估

89业界观察Industry Observation2019 . 10 中国金融电脑在9月6日的GNSEC 高峰论坛上，中国工商银行（以下简称“工行”）重要项目工银e 生活顺利通过DevOps 标准持续交付部分3级评估，获得由中国信息通信研究院（以下简称“信通院”）颁发的《研发运营一体化（DevOps）能力成熟度模型》评估证书。

这代表着工行在该系统的持续交付能力达到国内领先水平。

全球首个DevOps 标准，即《研发运营一体化（DevOps）能力成熟度模型》，由信通院牵头，联合云计算开源产业联盟、高效运维社区、DevOps 时代社区、BATJ、清华大学、通信及金融等行业顶尖企事业单位专家共同制定。

DevOps 标准和CMMI 互为补充，侧重CMMI 体系中工程技术的实践方法与落地指导。

目前，由信通院主导的DevOps 标准已在联合国直属标准化组织ITU-T、中国通信标准化协会（CCSA）正式立项。

在此之前，通过DevOps 标准评估的企业包国内领先水平！中国工商银行工银e 生活项目通过DevOps 持续交付标准评估括浙江移动、中国银行、腾讯、招商银行、广东移动、北京移动和去哪儿网等（按参评顺序）。

工银e 生活是工行牡丹卡中心打造的一款集生活、消费和金融于一体的综合消费服务平台，是工行信用卡中心在互联网渠道面向客户的第一平台和重要对客App 渠道，用户规模已达千万级。

工银e 生活的业务需求种类丰富、变化迅速、对需求上线速度要求非常高，因此，集中力量快速提升相关项目的DevOps 能力是非常关键的。

据了解，工行准备在企业内部以DevOps 标准来重新审视和规划持续交付能力建设。

把评估中获得4级的优势能力项向其他项目推广，同时研究专家提出的改进建议，结合工行实际情况推进落实，进一步提升全中心的DevOps 能力，包括如继续打造高效的持续交付工具平台，提升各个阶段的标准化和自动化能力，实现端到端的价值交付。

银行数据中心自动化运维平台设计

银行数据中心自动化运维平台设计本文介绍银行数据中心自动化运维平台设计的背景和目的。

随着银行业务的扩张和数据量的增长，传统的手动运维方式已经无法满足业务运营的要求。

为了提高运维的效率和可靠性，银行决定设计一个自动化运维平台来管理数据中心的各项运维任务。

自动化运维平台设计的目的是实现对数据中心运维任务的全面自动化管理，减少人工干预，提高运维效率，降低运维成本，并确保数据中心的稳定性和安全性。

通过自动化运维平台，银行可以实现运维任务的快速响应、高效执行和实时监控。

本文将介绍自动化运维平台的设计原则、功能模块以及实施方案，以帮助银行了解和理解此平台的重要性和潜在好处。

本文旨在分析银行数据中心运维的需求，以及自动化运维的优势和目标。

银行数据中心运维需求分析银行作为金融行业的重要组成部分，数据中心扮演着关键的角色。

银行数据中心的运维需要满足以下需求：高可用性：银行数据中心需要保证24/7的稳定运行，以确保业务连续性和系统可用性。

高可用性：银行数据中心需要保证24/7的稳定运行，以确保业务连续性和系统可用性。

安全性：银行数据中心存储了大量的敏感客户信息和交易数据，因此必须具备严格的安全保护机制，包括访问权限控制、数据加密等。

灵活性：由于业务需求的不断变化，银行数据中心需要具备灵活的运维能力，能够快速部署和调整系统资源，以适应不同的业务场景。

银行智能运维(银行综合安防运维)管理平台

段文磊-186********1.应用场景2.功能作用3.产品特性4.部署环境运维机遇各行业安防业务差异显著上百种产品、品牌、型号多种供应商、工程商规模巨大的后端设备数量庞大的前端设备规模越来越庞大结构越来越复杂技术发展速度快多种网络结构和组网形式各类管理系统需要联动建设与运维并行推进多级多类型网络多种协议、通讯机制新技术层出不穷产品型号迭代频繁新产品新架构对维护带来挑战专业化需要日益增强在欧美，安防行业的建设投入和维护投入基本持平，而在中国，95%以上的经费用于新增建设，而对于已建成设施设备和系统则……1运行环境复杂、问题定位困难：业务系统日渐增多，对设备、运维资源依赖性高主动检测少。

对于不能主动上报工作状态的设备，难以及时发现问题对故障处理和维修过程缺少必要的跟踪运维工作繁重，缺乏自动化工具和手段：自动化、智能化程度较低，维护繁复机械，费时费力且容易出错运维工作缺乏规范化、流程化、电子化：无标准流程，工作效率依赖于人的经验；信息化建设成果缺乏统计考核：对设备厂商的服务质量、响应速度、产品故障率、返修率等缺少统计分析没有系统、全面的考核数据，难以客观评价工程商的优劣痛点分析2针对大型安防平台的运行维护管理系统，是促使大型安防平台健康运行的保障系统。

实现对系统的健康的体检，减少和杜绝风险隐患、降低故障的发生，从而提升整体系统的可用性和可靠性，保障投资有效性，节约运维成本，使原有（安防）系统能够更好的为业主及社会服务。

智能运维管理系统用于发现故障和处置故障，并通过数据分析和挖掘，进行状态展示、故障跟踪、质量评估，并提供运维考核和管理决策支持。

采用标准化、网络化的系统结构，具有高度的可靠性和安全性。

适应多级监控要求，具有多级组网能力。

具备良好的扩充能力，支持系统结构的扩展和功能升级。

人机界面友好，系统操作方便。

运维价值31.应用场景2.功能作用3.产品特性4.部署环境维保服务状态监控综合态势平台结构1整体概览：监控主机、报警主机、门禁主机、对讲、监控中心设备：视频通道、视频质量、录像状态：告警处置：可创建工单、添加标记其他设置：复核设备详情表格显示设置误报、漏报、忽略视频质量诊断能够对前端设备的图像质量进行智能分析，并对视频图像的清晰度（图像模糊）、噪声干扰（雪花点、条纹、滚屏）、亮度异常（过量、过暗）、偏色、画面冻结、视频丢失、云台失控、补光异常等常见摄像机故障进行检测。

工商银行数据中心

工商银行数据中心工商银行是中国最大的商业银行之一，拥有庞大的客户数量和复杂的金融业务。

为了支持这些业务的运作，工商银行建立了先进的数据中心，作为信息处理和存储的核心枢纽。

数据中心是银行业务的重要基础设施，承担着保护客户数据、支持交易处理、实现业务可靠性和故障恢复等关键功能。

数据中心的架构工商银行的数据中心采用了先进的技术架构，以确保高可靠性和安全性。

数据中心通常包括主干网络、服务器、存储系统、备份设备、安全设备等组成部分。

主干网络是数据中心内各设备的通信网络，负责传输数据和保障设备之间的连接畅通。

服务器是数据中心的核心组件，负责运行各种应用程序和服务。

工商银行的数据中心通常会部署大量的服务器，以支持业务系统的高效运作。

存储系统是数据中心的重要组成部分，用于存储各类数据，包括客户信息、交易记录、系统日志等。

工商银行的数据中心通常会采用高性能的存储设备，以满足不同数据访问需求。

备份设备是数据中心的关键设备之一，用于定期备份数据，以防止数据丢失或损坏。

工商银行通常会采用多重备份策略，确保数据的安全性和可靠性。

安全设备是数据中心的关键设备之一，用于保护数据中心免受网络攻击和物理入侵。

工商银行通常会采用防火墙、入侵检测系统、访问控制系统等多层安全措施，以确保数据的安全和隐私。

数据中心的运维管理为了确保数据中心的稳定运行，工商银行会采用先进的运维管理技术。

数据中心的运维管理包括监控设备运行状态、排除故障、定期维护设备、升级软件版本等一系列工作。

监控是数据中心运维管理的重要环节，通过监控系统可以实时监测设备运行状态、网络流量、存储容量等关键指标。

一旦发现异常情况，运维人员会及时采取措施，确保问题得到及时解决。

故障排除是数据中心运维管理的关键任务之一，一旦设备发生故障，运维人员会迅速响应，进行故障排查和修复工作。

工商银行通常会采用冗余设计和备用设备，以最大程度降低故障对业务的影响。

定期维护是数据中心运维管理的必要工作之一，包括对设备进行清洁、检查硬件状态、更新软件版本等工作。

工商银行上海数据中心灾备系统运维实践

工商银行上海数据中心灾备系统运维实践、“两地三中心”建设历程工商银行于1999年开启了数据中心集约化建设的先河，在北京、上海分别建设两大数据中心后，于2002年1月在国内同业率先启动了主机灾难备份工程。

经过多年的建设和持续投入，已经实现了高等级的核心系统灾备体系建设，完成了全行应用分等级灾备体系建设。

为进一步提升信息系统灾难恢复能力，工商银行启动了“两地三中心”工程建设。

根据规划，2014年将在上海嘉定建立同城数据中心，与上海外高桥数据中心构成同城双中心，同城双中心整体与北京异地灾备中心组成异地灾备模式（如图1所示）。

“两地三中心”模式可以满足不同灾难场景下的恢复要求，实现更灵活的风险应对。

在架构布局上，上海同城双中心具备基本相同的业务处理能力并通过高速链路进行实时数据同步，两个中心之间距离约55千米，日常情况下可按主/ 备或双活模式运行。

在发生区域级灾难某个中心失效时，可在基本不丢失数据的情况下进行双中心间的应急切换，保持业务连续运行。

北京异地灾备中心用于同城双中心的灾难恢复，当出现因大范围自然灾害等原因导致同城双中心同时失效时，异地灾备中心可以用灾备系统接管全行核心业务。

二、“两地三中心”技术手段和实施策略工商银行通过技术攻关，完成了“两地三中心”模式下的信息系统业务连续性架构设计和方案研究，提出了可以提供多层级业务连续性保障水平的解决方案。

信息系统可以给银行业务应用提供A/A、A/Q和A/S等多种部署模式，最终以业务影响分析结果作为应用部署模式选型的决策依据。

在具体实施中，工商银行坚持“全面覆盖基本保障能力、重点针对关键核心应用部署高等级灾备保障技术''原则，做好资源分等级和差异化配置。

如ATM、POS、柜面业务、资本市场等核心业务系统是银行的关键应用，与其相关的应用系统就具有较高的业务连续性等级。

自2010年工程启动以来，项目进展情况良好，完成方案规划设计和验证评审，在数据库复制技术全面推广、智能网管改造、55千米磁盘同步镜像等关键技术领域取得了突破；完成了核心主机并行系统投产，即双园区模拟同城双活的试运行，目前主机并行系统主要运行可分离查询交易，分流了部分核心生产系统的负载压力；完成13个开放平台应用服务器双活改造，预计今年将完成近50个开放平台应用的双活改造。

某银行IT应用体系架构

某银行IT应用体系架构介绍某银行是一家全国性的银行，拥有全面的金融服务产品线，包括个人银行业务、企业银行业务、投资银行业务等。

为了支持业务的快速发展和提供稳定高效的服务，某银行建立了一个完善的IT应用体系架构。

本文将介绍某银行的IT应用体系架构，包括架构的整体设计思路、主要模块和关键技术。

总体设计思路某银行的IT应用体系架构基于现代化的技术和架构原则，采用分布式架构和服务化架构的思想，以提高系统的可扩展性、可靠性和性能。

主要设计思路包括：1.分层架构：将系统按功能和职责划分为不同的层次，包括展示层、业务逻辑层和数据访问层，分层之间通过接口进行通信，提高了系统的松耦合性和可重用性。

2.微服务架构：将系统划分为多个独立的微服务，每个微服务专注于一个具体的业务功能，通过轻量级的通信协议进行交互，提高了系统的灵活性和可维护性。

3.弹性伸缩：通过容器化技术和自动化运维工具，实现系统的弹性伸缩，根据业务负载的变化自动调整系统的资源分配，保证系统的高可用性和性能。

4.数据治理：采用数据中心和数据湖的方式，统一管理和治理系统中的各种数据资源，提供一致的数据访问接口，支持数据分析和决策。

主要模块某银行的IT应用体系架构包括以下主要模块：1.前端应用：负责提供用户界面和交互功能，包括网银、手机银行等。

2.业务逻辑层：处理各类业务逻辑，负责核心业务流程的处理和决策。

3.服务层：提供各类中间件服务，包括身份认证、授权、缓存、消息中间件等。

4.微服务：独立的业务服务单元，实现具体的业务功能，例如账户管理、支付服务、风控服务等。

5.数据访问层：负责对各类数据源进行访问，包括关系型数据库、NoSQL数据库、大数据平台等。

6.数据中心：统一管理和治理各类数据资源，包括数据的采集、存储、加工和分析。

关键技术某银行的IT应用体系架构采用了多种关键技术和工具，以支持系统的稳定运行和高效开发：1.容器化技术（Docker、Kubernetes）：将应用程序和其依赖项打包到容器中，实现应用程序的快速部署和水平扩展。

银行IT系统运维管理平台方案

确保机房正常运行。
应用性能管理模块
应用性能监控
实时监控应用的响应时间、吞吐量、错误率等性能指标，评估应用性能状况。
业务交易监控
通过模拟用户交易，监控业务交易的完整性、准确性和性能，确保业务正常运行。
数据库监控
对数据库的性能、连接数、SQL执行等进行实时监控，及时发现数据库瓶颈和优化点。
04
外部环境风险应对措施
密切关注政策变化和市场竞争动态，加强与相关部门的沟通和合作，及时调整项目策略。
THANKS.
银行IT系统涉及大量敏感数据，数据安全风险较高。
外部环境风险
政策变化、市场竞争等外部环境变化带来的风险。
04
风险等级评估及优先级排序
数据安全风险
高风险，需重点关注。
技术风险
中高风险，需充分评估和预防。
项目管理风险
中等风险，需加强项目管理和监控。
外部环境风险
中低风险，需密切关注并及时应对。
针对性应对措施制定和预案准备
选用关系型数据库和NoSQL数据库相结合，满足结构化数据和非结构化数据存储需求，保证数据
一致性和可扩展性。
中间件技术
选用消息队列、缓存、分布式协调等中间件，实现异步通信、数据共享和分布式事务，提高系统ocker和Kubernetes容器化平台，实现应用快速部署、动态调度和自动扩容，提高资源利
用率和管理效率。
安全性与稳定性保障措施
数据加密与备份
对敏感数据进行加密存储和传输，定期备份重要数据，防止数据泄露和丢失。
访问控制与审计
实施严格的访问控制策略，记录用户操作日志，定期进行安全审计，确保系统安全合规。
监控与告警

工商银行全栈多异架构解决方案

472022 . 02 中国金融电脑ECOS 工程ECOS Project工商银行全栈多异架构解决方案中国工商银行软件开发中心专家徐翥中国工商银行软件开发中心专家徐翥近年来，面对日趋复杂的国际形势，如何守住我国的“金融边疆”，实现高标准的科技自立自强，已经上升为关乎国家安全的战略问题。

长期以来，银行传统的信息系统架构技术选型单一且产品不具可替代性，一旦发生供应链风险，金融信息系统将受到巨大影响。

面对上述挑战，工商银行积极践行大行担当，集中科技资源在计算、存储、数据库、终端、操作系统、云计算及分布式中间件等关键技术领域展开深耕细作，并结合不同系统业务特点，形成了可复制推广的全栈多异架构解决方案，力求从体系上避免单一技术依赖风险。

两年来，经过在办公、渠道、核心业务等大量业务场景中推行试点应用，总结形成了基本成熟、可借鉴、可复制的体系化行业级整体解决方案，以助力实现金融信息系统的高质量可持续发展。

工商银行全栈多异架构解决方案如图1所示。

实践中，工商银行以“信创工作与全行技术栈发展一体化”为原则，一方面前瞻性规划布局信创技术栈，真试真用；另一方面统筹全行技术栈发展方向，支持异构技术栈的并行，实现平稳过渡，支撑系统在实战中不断迭代完善、优胜劣汰，寻找最优路线。

同时，多异架构的规划建设以支撑工商银行全部IT 系统为目标，统筹全栈技术形成了逐层向上的基础支撑能力（自底向上分别为云平台层、开放架构层以及终端机具层），以达到合理分层解耦、降低转型成本、减少业务影响的总体转型目标。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

围绕智能运维平台的自动化开发
• 同城切换 • 环境搭建 • 集中监控 • 标准变更 • 业务级故障自愈 • 动态阈值 • 服务健康度评估 • 变更风险智能识别
同城切换
集中监控
智能运维
故障自愈
标准变更
环境搭建
自动化运维流程建设
运维操作服务化-日常操作
自动化运维流程建设
运维操作服务化-变更
自动化运维流程建设
智能运维场景挖掘
巡检平台建设
智能运维场景挖掘
巡检平台建设-变更巡检
智能运维场景挖掘
性能指标的动态阈值评估
区别于静态阈值的一刀切监控方案，动态阈值评估系统，能够更灵敏的捕捉系统性能的波动以t日为例,t-7 表示7日前同一时刻以此类推 X(t)标示t时刻实际值 Y(t)表示预测值 delta()
平台成效
• 上万台服务器操作，10分钟 • 全行数万台服务器监控指标采集 • 多操作系统支持
自动化运维流程建设
平台风险及防范措施
风险全局性误操作脚本健壮度运维技能退化
防范措施人员权限控制对象访问控制高危命令拦截强制分批执行脚本自动化测试操作服务化
3
智能运维场景挖掘
智能运维场景挖掘
5
工行自动化运维发展历程
银行业务多元化
传统银行业务
ATM POS 网银电话银行
互联网时代的银行业务
ETC 电子银行
聚合支付
快捷支付
生态云
工行自动化运维发展历程
数据库转型
业务支撑
单库已无法支撑业务规模的增长
控制成本
通过下移主机业务至平台，使用更廉价的硬件基础设施；自主可控,解决对商业产品的过度依赖
2
自动化运维流程建设
自动化运维流程建设
目的：运维流程闭环
报警
应急
答复
处置
申请
环境搭建
退库
搭建
智能运维平台
巡检
巡检
反馈
整改
变更
变更
复核
实施
自动化运维流程建设
平台选型的难点
1.操作系统种类繁多 2.服务器数量巨大 3.自主可控 4.行内系统兼容
自动化运维流程建设
自研智能运维平台架构
自动化运维流程建设
数据库转型
运维能力
传统的基础环境供应以及运维模式无法应对开发的敏捷迭代
降低风险
打散数据、解耦各应用业务层依赖、降低整体集中式风险
工行自动化运维发展历程
数据库转型
工行自动化运维发展历程
互联网时代的高并发挑战
工行自动化运维发展历程
运维方式升级
运维场景从简单到复杂运维手段从落后到先进运维数量从成百上千到数以万计
28
工行自动化运维发展历程
金融科技赋能全行转型发展
电子化
银行信息化
信息化银行
基础设施持续提升
大机延伸
数据集中
数据中心整合
两地三中心
客户视图统一境外应用一体
核算相对独立管理信息集中
产品灵活配置全面风险管理
智慧银行
ECOS
客户服务“智慧”普惠金融生态“开放”互联业务运营“共享”联动创新研发“高效”灵活业务科技“融合”共建
运维操作服务化-应急
智能运维场景挖掘
故障自愈
智能运维场景挖掘
巡检平台建设
巡检任务模型
巡检平台
录入任务
制定巡检指标
F-DCAP
开发巡检脚本
创建巡检任务表
脚本下发部署
设定巡检时间表
定制巡检报表
巡检任务启动
巡检任务引擎
W OP接口
发送邮件通知
抽象制定了标准的巡检任务模型，其他各项巡检任务均基于巡检任务模型进行详细定制实现了与SD、CMDB、DCAP等应用的交互实现了以应用、服务器、系统对象等维度的巡检
工商银行开放平台自动化运维演进之路
1
目录
C O N TEN TS
1.工行自动化运维发展历程 2.自动化运维流程建设 3.智能运维场景挖掘
1
工行自动化运维发展历程
工行自动化运维发展历程
银行业态转型
BANK
1.0时代传统网点服务客户历史的、传统的银行模式，以银行物理网点为基础的银行业务形态。
表示求数据的标准差预测值 Y(t)上限 = X(t-7)+3 delta((X(t-7)+X(t-14)+X(t-21)+X(t-28)+X(t-35)))
应用维度系统健康度评价
综合考虑CPU、内存、巡检结果、事件告警等因素，应用健康度评价模型，计算得分性能容量管理小帮手
THANK YOU！
BANK
ATM
$
2.0时代自助化服务客户借助电子技术延伸了物理网点的触点，用户通过ATM、网上银行等进行自助服务。
BANK
ATM
3.0时代移动化服务客户随着智能手机等移动技术的出现而飞速发展，被重新界定为随时随地满足需要的银行。
BANK
4.0时代无所不在智能服务新生态随着人工智能、5G、物联网等新技术的发展，已经开始构建全新的开放合作的渠道服务新生态。
人肉运维
1.0时代手工运维靠运气维持，对运维人员的专业度依赖大
脚本运维
服务化
2.0时代脚本运维
依托于一套成熟、
复杂的生产运维脚本，基于hpsa 等产品管控
3.0时代微服务
自主研发智能运
维平台，运维场景被抽象成为一系列原子服务
智能运维
4.0时代智能运维 AIOPS、机器学习、动态规划......