运维故障处理思路
运维工作思路与举措
运维工作思路与举措运维工作是指对软件系统或网络设备进行监控、维护和管理的工作。
在信息技术快速发展的今天，运维工作显得尤为重要。
为了保证系统的稳定性和安全性，运维人员需要制定合理的思路和采取相应的举措。
本文将从运维工作的思路和举措两个方面进行探讨。
一、运维工作的思路1. 分清主次：运维工作繁杂多样，需要合理分配任务的优先级。
首先要识别出系统中最重要的组件和服务，将其放在首要位置进行监控和维护。
此外，还要根据业务需求和风险评估确定其他任务的优先级。
2. 预防为主：运维工作不仅仅是发现问题后修复，更重要的是预防问题的发生。
通过监控和日志分析，及时发现系统的异常状况，预防潜在的风险。
此外，还要定期进行系统的备份和灾备演练，以应对突发情况。
3. 持续改进：运维工作需要不断地改进和优化。
通过对系统的性能和稳定性进行评估，找出存在的问题和瓶颈，并采取相应的措施进行优化。
此外，还要关注新技术的发展和行业的最佳实践，不断提升自身的技术水平和工作效率。
二、运维工作的举措1. 监控系统：通过搭建监控系统，对关键指标进行实时监控，及时发现系统的异常情况。
可以使用开源工具如Zabbix、Nagios等，也可以根据需求自行开发监控系统。
监控的指标包括但不限于CPU 利用率、内存使用率、磁盘空间、网络流量等。
2. 自动化运维：通过自动化工具和脚本，实现运维工作的自动化和批量处理。
例如，可以编写脚本进行日志分析、定时任务的管理、配置文件的修改等。
自动化运维可以提高工作效率，减少人为错误，确保操作的一致性和可追溯性。
3. 安全加固：运维工作中要特别注重系统的安全性。
可以采取一系列的安全加固措施，包括但不限于：及时打补丁、禁用不必要的服务、加强访问控制、定期进行安全审计等。
此外，还要关注系统和应用的漏洞信息，及时更新和修复。
4. 容灾备份：为了应对系统故障和灾难情况，需要建立完备的容灾备份机制。
可以使用冗余架构、集群技术、负载均衡等方式提高系统的可用性。
工程管理中的运维阶段重难点及改善思路
工程管理中的运维阶段重难点及改善思路在工程管理中，运维阶段常常是一个被忽视或者被低估重要性的环节。
然而，良好的运维工作对于项目的稳定性和可维护性至关重要。
本文将从深度和广度的角度来探讨工程管理中运维阶段的重难点，并提出改善思路。
1. 运维阶段的重难点1.1 系统稳定性在运维阶段，系统稳定性是一个至关重要的指标。
然而，由于系统的复杂性和多样性，很多时候系统稳定性很难得到保障。
特别是在大规模的分布式系统中，系统稳定性往往成为一个头疼的问题。
各种未知的风险、硬件故障、软件bug等都可能对系统的稳定性产生影响，给运维工作增加了难度。
1.2 故障排查与处理一旦系统出现故障，对于运维团队来说，排查与处理故障是一项极具挑战性的任务。
很多时候，故障的原因并不是显而易见的，需要深入的技术知识和丰富的经验来进行排查。
而且，在处理故障的过程中，需要保证对系统的影响最小化，这就需要高效的应急响应和快速的恢复能力。
1.3 资源管理运维阶段需要对资源进行合理的调配和管理，包括硬件资源、网络资源、人力资源等。
如何更加高效地利用资源，提高系统的利用率，降低成本，是一个需要考虑的重要问题。
2. 改善思路2.1 自动化运维自动化运维是提高运维效率和稳定性的重要手段。
通过自动化工具和流程，能够减少运维人员的重复劳动，提高工作效率，同时减少人为错误的发生。
在系统部署、配置管理、监控告警等方面都可以借助自动化来提高运维效率。
2.2 弹性架构设计在系统设计阶段就考虑到运维的需求，设计具有较强弹性的架构。
当系统出现负载异常、服务不可用等情况时，系统能够自动进行伸缩，从而确保系统的稳定性和可用性。
需要在架构设计中考虑到故障的隔离和容错性，以减小故障对整个系统的影响。
2.3 数据驱动的运维通过数据分析和挖掘，能够更好地了解系统的运行状况和性能问题。
基于数据驱动的运维，能够及时发现潜在问题，并提前做出预防和调整。
通过数据的支持，能够优化资源的调配和利用，提高运维的效率和成本控制。
运维 故障处理 实例
运维故障处理实例在日常的运维工作中，故障处理是必不可少的环节。
下面是一个典型的运维故障处理实例，旨在帮助读者了解故障处理的基本流程和技巧。
1. 故障现象某天早晨，公司内部系统出现大面积故障，导致员工无法正常工作。
系统页面显示“服务器繁忙，请稍后再试”的提示信息。
2. 故障分析首先，需要对故障现象进行初步分析。
根据系统页面的提示信息，可以判断是服务器繁忙导致的故障。
因此，需要进一步检查服务器是否正常运行。
其次，可以通过检查服务器的日志文件，来确定故障的具体原因。
例如，可以检查服务器的系统日志、应用程序日志等，查看是否有异常错误信息。
最后，需要对服务器进行全面的检查，包括硬件检查和软件检查。
例如，可以检查服务器的CPU、内存、磁盘等硬件是否正常，检查服务器的操作系统、应用程序等软件是否正常运行。
3. 故障处理经过检查发现，服务器的CPU使用率过高，导致系统运行缓慢。
进一步检查发现，是由于某个应用程序的运行导致的。
于是，可以采取以下措施来处理故障：首先，可以通过调整应用程序的配置参数，来降低CPU使用率。
例如，可以减少应用程序的并发连接数、缓存大小等参数，来降低CPU使用率。
其次，可以考虑对应用程序进行优化，来提高系统的运行效率。
例如，可以对应用程序进行代码优化、数据库优化等，来提高系统的运行效率。
最后，可以考虑对服务器进行升级，来提高服务器的性能和容量。
例如，可以考虑增加服务器的CPU、内存等硬件，来提高服务器的性能和容量。
4. 故障总结通过以上措施，成功解决了服务器的CPU使用率过高的问题，系统恢复正常运行。
在这次故障处理过程中，需要对故障现象进行初步分析，检查服务器的日志文件，对服务器进行全面的检查，确定故障的具体原因。
然后，采取相应的措施来处理故障，例如调整应用程序的配置参数、对应用程序进行优化、对服务器进行升级等。
总之，运维故障处理需要综合运用各种技能和工具，对故障进行快速定位和处理，以保障系统的正常运行。
软件系统运维技术中常见问题解决思路分享
软件系统运维技术中常见问题解决思路分享在软件系统运维过程中，经常会遇到各种问题，这些问题有时会威胁到系统的稳定性和安全性。
为了保证系统的正常运行，运维人员需要具备解决问题的能力和技巧。
本文将分享一些常见的软件系统运维问题解决思路，帮助运维人员更好地应对挑战。
一、系统性能问题1. 性能监控与调优在系统性能出现问题时，首先需要进行性能监控，查看系统资源的使用情况，包括CPU、内存、磁盘和网络等。
通过监控工具收集并分析性能数据，找出系统性能瓶颈所在。
根据监控结果，可以采取相应的优化措施，如增加硬件资源、优化代码、调整配置参数等。
2. 系统负载过高系统负载过高可能是由于请求量大、业务复杂、资源不足等原因引起的。
解决此类问题，可以通过增加硬件资源，如增加服务器数量、使用负载均衡等技术手段分担系统负载。
同时，还可以对系统进行优化，包括数据库索引优化、代码优化、缓存技术应用等。
二、安全问题1. 安全漏洞修复软件系统中存在安全漏洞可能会被黑客利用，危及系统的安全性。
及时修复安全漏洞是运维工作的重要一环。
首先，需要及时关注相关漏洞信息和公告，了解已知的安全漏洞。
其次，要及时更新系统和应用程序的补丁，以修复已知的漏洞。
此外，还应定期进行安全扫描和渗透测试，发现潜在的安全风险并采取措施加以修复。
2. 访问控制和权限管理在软件系统运维中，访问控制和权限管理是保护系统安全的重要手段。
通过设置合理的用户管理机制、角色分配和权限控制，可以限制用户的访问以及操作权限，防止未授权用户对系统数据和功能的滥用。
此外，还可以使用防火墙、入侵检测系统等安全工具，对系统进行全面的安全管理和防护。
三、数据备份和恢复问题1. 定期备份数据定期备份系统数据是防止数据丢失和系统故障的有效措施。
要设置合理的备份策略，包括备份频率、备份内容和备份存储位置等。
备份数据时，应注意选择可靠的备份介质，并确保备份数据的完整性和可恢复性。
2. 数据恢复与故障排除当系统数据丢失或系统发生故障时，需要进行数据恢复和故障排除。
运维故障排查思路
运维故障排查思路
1）确定故障现象并初判问题影响
在处理故障前，运维人员首先要知道故障现象，故障现象直接决定故障应急方案的制定，这依赖于运维人员需要对应用系统的整体功能有一定的熟悉程度。
确认了故障现象后，才能指导运维人员初判断故障影响。
2）应急恢复
运维最基本的指标就是系统可用性，应急恢复的时效性是系统可用性的关键指标。
有了上述故障现象与影响的判断后，就可以制定故障应急操作，故障应急有很多，比如：
服务整体性能下降或异常，可以考虑重启服务；
应用做过变更，可以考虑是否需要回切变更；
资源不足，可以考虑应急扩容；
应用性能问题，可以考虑调整应用参数、日志参数；
数据库繁忙，可以考虑通过数据库快照分析，优化SQL；
应用功能设计有误，可以考虑紧急关闭功能菜单；
还有很多……
3）快速定位故障原因
是否为偶发性、是否可重现
故障现象是否可以重现，对于快速解决问题很重要，能重现说明总会有办法或工具帮助我们定位到问题原因。
系统运维年终总结 系统稳定故障快速解决
系统运维年终总结系统稳定故障快速解决随着科技的快速发展，企业的信息化水平也越来越高。
作为一个系统运维人员，在过去的一年中，我积极参与并负责维护公司的各类信息系统，确保系统运行的稳定和故障的快速解决。
在这篇年终总结中，我将向大家分享我在系统稳定和故障解决方面所取得的成果和经验。
一、系统稳定保障在系统稳定保障方面，我主要采取了以下措施：1. 定期维护和更新系统：我及时通过软件升级和系统补丁修复等方式，保持系统的最新状态，预防潜在的安全漏洞和故障。
2. 实施监控和预警机制：通过引入先进的监控系统，我能够即时监测并获取系统的实时数据，一旦发现异常情况，能够立即采取措施进行处理，避免系统故障带来的损失。
3. 定期备份系统数据：为了防止数据丢失和系统故障，我每周都会进行系统数据的备份工作，确保在系统出现问题时能够快速恢复。
二、快速解决故障故障解决是系统运维工作中的一项重要任务，下面是我在快速解决故障方面的做法：1.建立故障排查流程：我与团队成员一起建立了一套完善的故障排查流程，包括故障报告、问题分析、定位和解决方案等各个环节。
这样能够有效地缩短故障解决的时间。
2.积极沟通与协作：在遇到较为复杂的故障时，我主动与其他相关部门进行联络和协作，充分发挥团队的力量，共同解决问题。
3.学习与总结：针对解决过的故障，我总结了解决方法和经验，形成了故障知识库，为以后的故障解决提供了参考和借鉴。
总结通过对系统稳定和故障解决的不断改进和总结，我能够及时发现并解决系统中的潜在问题，提高了公司系统运行的稳定性，减少了系统故障带来的损失。
同时，我也深刻认识到在系统运维工作中，持续学习和团队合作的重要性。
未来，我会继续努力提升自己的专业水平，为公司的信息系统运行保驾护航。
系统稳定和故障快速解决对于一个公司的信息化建设至关重要，相信在不久的将来，我会在这方面做得更好，为公司的发展做出更大的贡献。
感谢各位的支持和合作！。
系统运维工程师系统运维故障处理
系统运维工程师系统运维故障处理系统运维工程师作为企业中至关重要的一员，负责保障公司信息系统的稳定运行。
而在日常工作中，故障处理是系统运维工程师必不可少的一项技能。
在本文中，将重点介绍系统运维工程师在故障处理过程中应该采取的策略和步骤。
一、故障分析与诊断1. 确定故障现象：首先，系统运维工程师需要与用户或相关部门进行沟通，详细了解故障现象和用户遇到的问题。
同时，对系统的异常日志和报警信息进行分析，以便初步确定故障类型和范围。
2. 故障分类与优先级：根据故障现象的严重程度和影响面，对故障进行分类和确定优先级。
例如，重要的生产系统故障优先级较高，需要紧急处理，而一些服务性系统故障则可以稍后处理。
3. 系统状态分析：对故障系统的状态进行分析，包括系统日志、性能指标等信息的收集和分析。
通过对系统状态的分析，可以找出故障产生的原因和可能的解决方案。
二、故障处理步骤1. 制定故障处理计划：根据故障类型和优先级，制定故障处理的详细计划。
包括需要采取的措施、操作步骤和时间安排等。
2. 实施故障处理：按照制定的故障处理计划，逐步实施故障处理措施。
在处理过程中，应注意记录操作日志和故障处理过程中的关键信息。
3. 故障排除与验证：在故障处理过程中，需要不断进行故障排查和验证。
通过逐一排除可能的故障点，直到故障解决为止。
解决故障后，还需要对系统进行测试和验证，以确保故障完全修复。
4. 修复方案分析与总结：在故障处理完成后，系统运维工程师需要对故障处理过程进行分析和总结。
包括故障产生的原因、解决方案的有效性以及后续预防措施等。
通过对故障的分析与总结，可以提高日后故障处理的效率和准确性。
三、故障处理中的注意事项1. 沟通与协调：在故障处理过程中，与用户、运维团队和相关部门之间的沟通十分重要。
及时、准确地获取故障信息，并与他们保持紧密的沟通和协作。
2. 优先级管理：针对存在多个故障的情况，系统运维工程师需要根据优先级进行处理。
网络运维故障解决思路
为什么还要必备条件？因为这里所讲的网络排错并不仅仅是停留在某一个小小命令的使用上，而是一套系统的方法，如果没有这些条件，我真的不能保证下面讲的这些你可以听得懂，并且能运用到实际当中，所以还是先看看这些基础的条件吧。
1.熟悉OSI七层模型与TCP/IP协议栈这应该是网络排错要知道的最基本的知识了。
无论是OSI七层模型还是DoD模型，都是用来描述网络通信的一个过程，以让我们对网络数据的发送和接收有一个大致的过程。
OSI七层模型对应OSI七层模型的协议，DoD 模型对应DoD模型的协议，也就是TCP/IP协议栈。
TCP/IP协议栈里面的协议就显得十分重要了，比如DNS、TCP、UDP、IP、ICMP、ARP，这些最基本的应该得知道吧，我们不需要有像《TCP/IP协议栈》中说得的那么细，但至少，对于这些协议的基本功能我们是必须得要知道的，我想这些就不是我一两名可以说清楚的了，还是那句话，自己百度一下吧。
2.了解网络通信的基础设备和其对应的OSI层次像交换机、三层交换机、路由器、防火墙这些最基本的网络设备应该要有些了解，尤其是它们对应的OSI层次以及作用，比如普通的二层交换机对应OSI七层模型中的数据链路层，它可以隔绝冲突域，同时可能通过虚拟局域网技术（VLAN）来隔绝广播域，二层交换机通过二层地址即MAC地址来实现数据帧的转发；再比如路由器，它对应网络层，可以提供路由寻址的功能等等。
也许并不需要了解得那么细，但大概的一个过程我想还是应该要知道的。
3.了解中小型企业网络的基本架构其实就是要知道上面所说的那些网络设备一般是怎么连接起来的，如果在实际环境中排错，应该就要知道当前网络的一个基本架构情况。
这里简单提一下，一般中小型企业网络的基本架构都是这样的：接入层--汇聚层--核心层--网络出口。
下面给个图：如果使用的是Linux操作系统，那么也有对应的相关命令。
其实说到底就是要熟悉你所使用的设备，当然，在实际网络排错的过程中，如果只是为了测试网络通信是否正常，（说明：虽然是假设，但实际上该网络环境是博主通过GNS3联动虚拟机和真实网络架设起来的，所以是可以真实参考的）下面，我们就以上面这个网络环境为例子，详细介绍我们的网络排错思路，每一步要怎么做，每一步为什么要这样做以及这样做之后我们可以得到什么信息，都会做一个说明。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
事件/故障处理应该要有什么思路导读:在讲解事件、故障处理思路前,我先讲一个故障场景(以呼叫中心系统作为一例子):业务人员反映呼叫中心系统运行缓慢,部份电话在自助语言环节系统处理超时,话务转人工座席,人工座席出现爆线情况。
运维人员开始忙活了,查资源使用情况、查服务就是否正常、查日志就是否报错、查交易量还有没有……时间不知不觉的在敲键盘、敲键盘、敲键盘中过去,但就是原因还未定位。
经理过来了解情况:“系统恢复了不？”、“故障影响就是什么？”、“交易中断了不？”……运维人员赶紧敲键盘,写sql,瞧交易量;敲键盘,写命令,瞧系统资源、情况……最终,定位到问题原因就是其中一个功能没有控制返回数量,导致内存泄露。
针对这个故障,业务希望运维能否更快的解决故障的恢复,经理希望制定优化呼叫中心故障处理流程,做了以下几件事:1.优先故障处理过程的时间——”能通过鼠标完成的工作,不要用键盘“2.提前发现故障,加强监控——“技术早于业务发现问题,监控不仅就是报警,还要协助故障定位”3.完善故障应急方案——“应急方案就是最新的、准确的、简单明了的”4.长远目标:故障自愈——”能固化的操作自动化,能机器做的让机器做“下面将从故障常见的处理方法开始介绍,再从故障前的准备工作(完善监控、制定应急方案等方式)来解决经理提出的问题,并提出未来解决故障的想法。
1、常见的方法:1)确定故障现象并初判问题影响在处理故障前,运维人员首先要知道故障现象,故障现象直接决定故障应急方案的制定,这依赖于运维人员需要对应用系统的整体功能有一定的熟悉程度。
确认了故障现象后,才能指导运维人员初判断故障影响。
2)应急恢复运维最基本的指标就就是系统可用性,应急恢复的时效性就是系统可用性的关键指标。
有了上述故障现象与影响的判断后,就可以制定故障应急操作,故障应急有很多,比如:•服务整体性能下降或异常,可以考虑重启服务;•应用做过变更,可以考虑就是否需要回切变更;•资源不足,可以考虑应急扩容;•应用性能问题,可以考虑调整应用参数、日志参数;•数据库繁忙,可以考虑通过数据库快照分析,优化SQL;•应用功能设计有误,可以考虑紧急关闭功能菜单;•还有很多……另外,需要补充的就是,在故障应急前,在有条件的情况需要保存当前系统场景,比如在杀进程前,可以先抓个CORE文件或数据库快照文件。
3)快速定位故障原因•就是否为偶发性、就是否可重现故障现象就是否可以重现,对于快速解决问题很重要,能重现说明总会有办法或工具帮助我们定位到问题原因,而且能重现的故障往往可能就是服务异常、变更等工作导致的问题。
但,如果故障就是偶发性的,就是有极小概率出现的,则比较难排查,这依赖于系统就是否有足够的故障期间的现场信息来决定就是否可以定位到总就是原因。
•就是否进行过相关变更大部份故障就是由于变更导致,确定故障现象后,如果有应的变更,有助于从变更角度出现分析就是否就是变更引起,进而快速定位故障并准备好回切等应急方案。
•就是否可缩小范围一方面应用系统提倡解耦,一支交易会流经不同的应用系统及模块;另一方面,故障可能由于应用、系统软件、硬件、网络等环节的问题。
在排查故障原因时应该避免全面性的排查,建议先把问题范围缩小到一定程序后再开始协调关联团队排查。
•关联方配合分析问题与第(3)点避免同时各关联团队同时无头绪的排查的同时,对于牵头方在缩小范围后需要开放的态度去请求关联方配合定位,而对于关联方则需要有积极配合的工作态度。
•就是否有足够的日志定位故障原因,最常用的方法就就是分析应用日志,对运维人员不仅需要知道业务功能对应哪个服务进程,还要知道这个服务进程对应的哪些应用日志,并具备一些简单的应用日志异常错误的判断能力。
•就是否有core或dump等文件故障期间的系统现场很重要,这个在故障应急前建议在有条件的情况下留下系统现场的文件,比如CORE\DUMP,或TRACE采集信息等,备份好一些可能被覆盖的日志等。
上述就是一般性的故障常见的方法,在重大故障或多方处理的故障出现时,往往小范围的排查不利于快速解决,需要启动紧急处理的流程,建议可以考虑以下沟通:•召集相关人员•描述故障现状•说明正常应用逻辑流程•陈述变更•排查进展,展示信息•领导决策2、完善监控1)从监控可视化上完善完善的监控策略需要有统一的可视化操作界面,在制定完善的监控策略后,故障处理人员需要能够快速的瞧到相应的运行数据,比如:能够瞧到一段时间的趋势、故障期间的数据表现、性能分析的情况等等数据,且这些数据可以提前制定好策略直接推出分析结果给故障处理人员,这样就大大提高了故障的处理效率,以呼叫中心系统为例,需要提前配置好以下实时交易数据,以便故障定位:-交易性能数据:平均交易耗时、系统内部模块交易耗时(IVR交易耗时、接口总线交易耗时)、关联系统交易耗时(核心交易耗时、工单系统交易耗时等)-重要交易指标数据:交易量、IVR交易量、话务量、座席通话率、核心交易笔数、工单等系统交易量-交易异常情况数据:交易成功率、失败率、错误码最多交易-按服务器分析交易数据:按server统计各服务交易处理笔数,交易总耗时有了以上交易数据,并通过监控按一定频率统计,运维人员在出现故障时,通过鼠标即点击即可瞧到故障什么时候开始,就是系统内部有问题还就是关联系统有问题,最突出的交易就是哪一支,各服务器交易量就是否均衡等情况。
2)从监控面上完善监控最基本的工作就就是实现对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理。
在应用软件类的监控工作中,不仅需要有服务进程、端口等监控,还需要有业务、交易层的监控。
全面性的应用监控可以让故障提前预警,并保存了影响应用运行环境的数据,以缩短故障处理时间。
3)从监控告警上完善完善的监控策略需要有清晰的监控告警提示,值班人员要以根据监控告警即可作出简单的问题定位与应急处理方案。
比如类似以下的监控短信:22时,【理财应用系统】中【应用服务器LC_APPsvrA 10、2、111、111】的【前置应用模块】出现【应用端口:9080】不存在,该端口作用【提供理财应用处理(负载均衡部署)】,原因可能为【SERVER1服务异常停止】,监控系统己进行以下应急处理【自动执行端口进程启动】,该事件紧急程度【高】。
管理员可以通过短信内容瞧到哪个系统、哪个应用、哪个模块出了什么问题,可能就是什么原因,对业务有什么影响,就是否需要马上处理(比如凌晨出现此预警就是否可以延迟到次日处理)等信息。
4)从监控分析上完善完善的监控策略不仅需要有实时的数据告警,也要有汇总数据的分析告警,实时数据分析的告警的重要性不用多说,对于汇总分析的数据则能发现潜在风险,同时也为分析疑难杂症提供帮忙。
5)从监控主动性上完善监控不仅仅就是报警,它还可以做得更多,只要我们想办法赋予它主动解决事件的规则,它便有为管理员处理故障的能力。
3、应急方案提前制定好故障应急方案就是很有必要的,但在日常工作过程中我们的应急方案遇到一些问题:1)应急方案缺乏持续维护,缺乏演练,信息不及时、不准确;2)应急方案过于追求大而全,导致不利于阅读与使用;3)应急方案形式大于实际使用效果,方案针对性不强;4)只关注应急方案的内容,但没有关注运维人员对方案的理解;针对上述常见问题,我认为应急方案需要做到以下几点:1)内容精&简很多人可能会认为故障出现的形式各种各样,所以应急方案需要涉及到方方面面。
但实际的故障处理过程中,我们可以发现其实我们的应急措施往往重复使用几个常用的步骤,所以我认为应急方案要有重点,如果一个应急方案可以应对平时故障处理80%的场景,那这个应急手册应该就是合格的。
过于追求影响应用系统方方面面的内容,会导致这个方案可读性变差,最终变更一个应付检查的文档。
以下就是我觉得应用系统应急方案应该有的内容:(1)系统级:能知道当前应用系统在整个交易中的角色,当前系统出现问题或上下游出现问题时,可以知道如何配合上下游分析问题,比如:上下游系统如何通讯,通讯就是否有唯一的关键字等。
另外,系统级里还涉及一些基本应急操作,比如扩容、系统及网络参数调整等。
(2)服务级:能知道这个服务影响什么业务,服务涉及的日志、程序、配置文件在哪里,如何检查服务就是否正常,如何重启服务,如何调整应用级参数等。
(3)交易级:能知道如何查到某支或某类交易出现了问题,就是大面积、局部,还就是偶发性问题,能用数据说明交易影响的情况,能定位到交易报错的信息。
这里最常用的方法就就是数据库查询或工具的使用。
知道最重要的交易如何检查就是否正常,重要的定时任务的应急处理方案,比如开业、换日、对账的时间要求及应急措施。
(4)辅助工具的使用:有时候,需要借助一些工具或自动化工具辅助分析并应急,这时需要有辅助工具如何使用的方法。
(5)沟通方案:沟通方案涉及通讯录,包括上下游系统、第三方单位、业务部门等渠道。
(6)其它:上述5点内容如何都完备,相信这个应急手册己可以解决80%的故障恢复工作。
2)应急方案就是一项持续的工作有了应急方案,如何让运维人员持续去更新就是难点。
我认为要解决这个难点,需要先让运维人员经常使用这个手册。
如果一个手册没有场景可以用,那就需要管理者为运维人员创造机会去使用这个手册,比如应急演练。
3)关注运维人员对应用关键信息的认识前两点关注了手册,最后一点我觉得有必要关注使用这个手册的人。
有些运维人员认为应用运维人员没有能力去把应用系统本身的内容了解得很透彻,所以应用运维人员在故障处理过程中的地位很尴尬,运维人员掌握操作权,但却不知道应该操作什么。
对此,我认同应用运维人员不需要掌握应用系统的业务功能,但我觉得就对应用系统本身来讲应用运维人员需要具备以下最基本的能力:(1)知道应用系统这个就是干什么的,基本的业务就是什么;(2)知道应用架构部署、上下游系统逻辑关系;(3)知道应用下的服务的作用、端口、服务级的应急处理,日志等数据信息如何找到并简单定位。
(4)知道应用系统重要的时间点及任务,比如开业、停业、换日、定时任务的时间点以及如何判断这些任务就是否正确(5)知道最重要的几支交易的流程;(6)知道常见数据库表结构,并能使用。
4、智能化事件处理处理方法如下图(详细的智能化涉及监控、规则引擎、配置工具、CMDB、应用配置库等模块协同工作,具体介绍后续分析)。